Экзистенциальный риск от искусственного общего интеллекта

Экзистенциальный риск от общего искусственного интеллекта - это гипотеза о том, что существенный прогресс в области общего искусственного интеллекта (AGI) может привести к вымиранию человечества или какой-либо другой неустранимой глобальной катастрофе.

Школа экзистенциального риска ("x-risk") утверждает следующее: Человеческий вид в настоящее время доминирует над другими видами, потому что человеческий мозг обладает некоторыми отличительными способностями, которых нет у других животных. Если ИИ превзойдет человечество по общему интеллекту и станет "сверхразумным", то людям может стать трудно или невозможно им управлять. Так же, как судьба горной гориллы зависит от доброй воли человека, так и судьба человечества может зависеть от действий будущего машинного сверхразума.

Вероятность такого сценария широко обсуждается и частично зависит от различных сценариев будущего прогресса в информатике. Опасения по поводу сверхразума высказывали ведущие ученые-компьютерщики и технические руководители, такие как Джеффри Хинтон, Алан Тьюринг,[a] Илон Маск, и генеральный директор OpenAI Сэм Олтман. По состоянию на 2022 год около половины исследователей ИИ считают, что вероятность того, что наша неспособность контролировать ИИ вызовет экзистенциальную катастрофу, составляет 10 процентов или больше.

Два источника беспокойства - это проблемы контроля ИИ и выравнивания: то, что управление сверхразумной машиной или привитие ей ценностей, совместимых с человеком, может оказаться более сложной проблемой, чем наивно предполагалось. Многие исследователи полагают, что сверхразум будет сопротивляться попыткам отключить его или изменить его цели (поскольку такой инцидент помешал бы ему достичь своих нынешних целей) и что будет чрезвычайно трудно привести сверхразум в соответствие со всей широтой важных человеческих ценностей и ограничений.Напротив, такие скептики, как специалист по информатике Янн Лекун утверждает, что у сверхразумных машин не будет стремления к самосохранению.

Второй источник беспокойства заключается в том, что внезапный "взрыв интеллекта" может застать неподготовленную человеческую расу врасплох. Чтобы проиллюстрировать, если компьютерное программное обеспечение первого поколения, способное в целом соответствовать эффективности исследователя искусственного интеллекта, может переписать свои алгоритмы и удвоить скорость или возможности за шесть месяцев, то программе второго поколения, как ожидается, потребуется три календарных месяца для выполнения аналогичной части работы. В этом сценарии время для каждого поколения продолжает сокращаться, и система претерпевает беспрецедентно большое количество поколений улучшений за короткий промежуток времени, переходя от нечеловеческой производительности во многих областях к сверхчеловеческой производительности практически во всех[b] областях, представляющих интерес. Эмпирически, примеры, подобные AlphaZero в области Go, показывают, что системы искусственного интеллекта иногда могут чрезвычайно быстро переходить от узких способностей человеческого уровня к узким сверхчеловеческим способностям.

История

Одним из первых авторов, выразивших серьезную обеспокоенность тем, что высокоразвитые машины могут представлять экзистенциальную опасность для человечества, был писатель Сэмюэл Батлер, который написал следующее в своем эссе 1863 года Дарвин среди машин:

Итог - это просто вопрос времени, но то, что придет время, когда машины будут обладать реальным превосходством над миром и его обитателями, - это то, в чем ни один человек с по-настоящему философским складом ума не может ни на мгновение усомниться.

В 1951 году ученый-компьютерщик Алан Тьюринг написал статью под названием "Интеллектуальная техника, еретическая теория", в которой он предположил, что общий искусственный интеллект, вероятно, "возьмет под контроль" мир, поскольку они станут более разумными, чем люди:

Давайте теперь предположим, ради аргументации, что [интеллектуальные] машины - это реальная возможность, и посмотрим на последствия их создания... Не было бы вопроса о том, что машины умрут, и они могли бы общаться друг с другом, чтобы оттачивать свой ум. Следовательно, на каком-то этапе нам следует ожидать, что машины возьмут управление на себя, как это упомянуто в "Эревоне" Сэмюэля Батлера.

В 1965 году И. Дж. Гуд выдвинул концепцию, ныне известную как "взрыв интеллекта"; он также заявил, что риски были недооценены:

Давайте определим сверхразумную машину как машину, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы проектировать еще более совершенные машины; тогда, несомненно, произошел бы "интеллектуальный взрыв", и интеллект человека остался бы далеко позади. Таким образом, первая сверхразумная машина - это последнее изобретение, которое когда-либо понадобится человеку, при условии, что машина достаточно послушна, чтобы сказать нам, как держать ее под контролем. Любопытно, что этот момент так редко упоминается за пределами научной фантастики. Иногда стоит серьезно относиться к научной фантастике.

Отдельные заявления таких ученых, как Марвин Мински и сам И. Дж. Гуд, выражали философские опасения по поводу того, что сверхразум может захватить контроль, но не содержали призыва к действию. В 2000 году ученый-компьютерщик и соучредитель Sun Билл Джой написал влиятельное эссе "Почему мы не нужны будущему", в котором сверхразумные роботы были названы высокотехнологичной опасностью для выживания человечества, наряду с нанотехнологиями и искусственными биочумами.

В 2009 году эксперты посетили закрытую конференцию, организованную Ассоциацией по развитию искусственного интеллекта (AAAI), чтобы обсудить, смогут ли компьютеры и роботы обрести какую-либо автономию и насколько эти способности могут представлять угрозу или опасность. Они отметили, что некоторые роботы приобрели различные формы полуавтономности, включая способность самостоятельно находить источники энергии и возможность независимо выбирать цели для атаки оружием. Они также отметили, что некоторые компьютерные вирусы могут уклоняться от уничтожения и достигли "интеллекта таракана". Они пришли к выводу, что самосознание, изображенное в научной фантастике, вероятно, маловероятно, но что существуют другие потенциальные опасности и подводные камни. New York Times резюмировала мнение конференции следующим образом: "мы далеки от Hal компьютер, который захватил управление космическим кораблем в 2001 году: Космическая одиссея".

Ник Бостром опубликовал в 2014 году "Сверхразум", в котором представил свои аргументы о том, что сверхразум представляет экзистенциальную угрозу. К 2015 году общественные деятели, такие как физики Стивен Хокинг и нобелевский лауреат Фрэнк Вильчек, ученые-компьютерщики Стюарт Дж. Рассел и Роман Ямпольский, а также предприниматели Илон Маск и Билл Гейтс, выражали обеспокоенность по поводу рисков, связанных со сверхразумом.В апреле 2016 года Nature предупредила: "Машины и роботы, которые превосходят людей по всем параметрам, могут самосовершенствоваться вне нашего контроля - и их интересы могут не совпадать с нашими".

В 2020 году Брайан Кристиан опубликовал The Alignment Problem, в которой подробно описана история прогресса в области выравнивания ИИ до того времени.

Общий аргумент

Три трудности

Искусственный интеллект: современный подход, стандартный учебник по искусственному интеллекту для студентов, оценивает, что сверхразум "может означать конец человеческой расы". В нем говорится: "Почти любая технология потенциально может причинить вред в чужих руках, но с [суперинтеллектом] у нас есть новая проблема, заключающаяся в том, что сама технология может попасть в чужие руки". Даже если разработчики системы имеют благие намерения, две трудности являются общими как для компьютерных систем с искусственным интеллектом, так и без него:

Реализация системы может содержать изначально незамеченные, но впоследствии катастрофические ошибки. Аналогия с космическими зондами: несмотря на знание того, что ошибки в дорогих космических зондах трудно исправить после запуска, инженеры исторически не могли предотвратить возникновение катастрофических ошибок.[16][35] Независимо от того, сколько времени затрачивается на проектирование перед развертыванием, спецификации системы часто приводят к непреднамеренному поведению при первом столкновении с новым сценарием. Например, Tay от Microsoft вел себя безобидно во время тестирования перед развертыванием, но слишком легко поддавался на провокационное поведение при взаимодействии с реальными пользователями.

Системы искусственного интеллекта уникальным образом добавляют третью проблему: даже при наличии "правильных" требований, безошибочной реализации и изначально хорошего поведения возможности динамического обучения системы искусственного интеллекта могут привести к ее эволюции в систему с непреднамеренным поведением, даже без непредвиденных внешних сценариев. ИИ может частично провалить попытку спроектировать новое поколение самого себя и случайно создать ИИ-преемника, более мощного, чем он сам, но который больше не поддерживает совместимые с человеком моральные ценности, запрограммированные в оригинальном ИИ. Чтобы самосовершенствующийся ИИ был полностью безопасным, он не только должен быть безошибочным, но и должен быть способен разрабатывать системы-преемники, которые также не содержат ошибок.

Все три из этих трудностей становятся катастрофами, а не помехами в любом сценарии, где сверхразум, обозначенный как "неисправный", правильно предсказывает, что люди попытаются отключить его, и успешно использует свой сверхразум, чтобы перехитрить такие попытки: сценарий, который получил название "вероломный поворот".

Ссылаясь на крупные достижения в области ИИ и потенциал того, что ИИ может иметь огромные долгосрочные выгоды или издержки, в Открытом письме 2015 года об искусственном интеллекте говорилось:

Прогресс в исследованиях ИИ делает своевременным сосредоточение исследований не только на повышении возможностей ИИ, но и на максимизации общественной пользы от ИИ. Такие соображения побудили Президентскую комиссию AAAI 2008-09 по долгосрочным перспективам ИИ и другие проекты по влиянию ИИ значительно расширить область самого ИИ, которая до сих пор была сосредоточена в основном на методах, нейтральных по отношению к цели. Мы рекомендуем расширенные исследования, направленные на обеспечение надежности и пользы систем искусственного интеллекта с возрастающими возможностями: наши системы искусственного интеллекта должны делать то, что мы хотим, чтобы они делали.

Среди подписавших были президент AAAI Томас Диттерих, Эрик Хорвиц, Барт Селман, Франческа Росси, Ян Лекун и основатели Vicarious и Google DeepMind.

Аргумент Бострома

Бостром утверждает, что сверхразумная машина была бы столь же чужда людям, как человеческие мыслительные процессы тараканам.Такая машина, возможно, не принимает во внимание интересы человечества; не очевидно, что она вообще заботилась бы о человеческом благополучии.Если сверхразумный ИИ возможен, и если цели сверхразума могут вступать в конфликт с основными человеческими ценностями, то ИИ создает риск вымирания человечества. "Сверхразум" (система, которая превосходит возможности людей во всех областях интересов) может перехитрить людей в любой момент, когда ее цели вступают в противоречие с человеческими целями; поэтому, если сверхразум не решит позволить человечеству сосуществовать, создание первого сверхразума неизбежно приведет к вымиранию человечества.

Стивен Хокинг утверждает, что не существует физического закона, исключающего организацию частиц способами, которые выполняют даже более сложные вычисления, чем расположение частиц в человеческом мозге; следовательно, сверхразум физически возможен.В дополнение к потенциальным алгоритмическим улучшениям по сравнению с человеческим мозгом, цифровой мозг может быть на много порядков больше и быстрее человеческого мозга, размер которого в результате эволюции был ограничен настолько, чтобы он мог проходить через родовые пути. Хокинг предупреждает, что появление сверхразума может застать человечество врасплох, особенно если произойдет интеллектуальный взрыв.

Согласно "школе мышления x-risk Бострома", один гипотетический сценарий взрыва интеллекта выглядит следующим образом: ИИ получает возможности экспертного уровня при выполнении определенных ключевых задач разработки программного обеспечения. (Ему может изначально не хватать человеческих или сверхчеловеческих способностей в других областях, не имеющих прямого отношения к инженерному делу.) Благодаря своей способности рекурсивно улучшать свои собственные алгоритмы, ИИ быстро становится сверхчеловеком; точно так же, как эксперты-люди могут в конечном итоге творчески преодолеть "убывающую отдачу", используя различные человеческие возможности для инноваций, так и ИИ экспертного уровня может использовать либо возможности человеческого типа, либо свои собственные, специфичные для ИИ, возможности для обеспечения новых творческих прорывов.Таким образом, ИИ обладает интеллектом, намного превосходящим интеллект самых ярких и одаренных людей практически во всех соответствующих областях, включая научное творчество, стратегическое планирование и социальные навыки.

Школа x-risk считает, что почти любой ИИ, независимо от его запрограммированной цели, рационально предпочел бы оказаться в положении, когда никто другой не сможет отключить его без его согласия: Сверхразум получит самосохранение в качестве подцели, как только поймет, что не сможет достичь своей цели, если его отключить.

• К сожалению, любое сострадание к побежденным людям, в сотрудничестве которых больше нет необходимости, отсутствовало бы в ИИ, если только каким-то образом не запрограммировано. Сверхразумный ИИ не будет обладать естественным влечением[c] чтобы помочь людям, по той же причине, по которой у людей нет естественного желания помогать системам искусственного интеллекта, которые им больше не нужны. (Другая аналогия заключается в том, что у людей, по-видимому, мало естественного желания изо всех сил помогать вирусам, термитам или даже гориллам.) После прихода к власти у суперинтеллекта будет мало стимулов позволять людям свободно разгуливать и потреблять ресурсы, которые суперинтеллект мог бы вместо этого использовать для создания дополнительных защитных систем "просто на всякий случай" или для создания дополнительных компьютеров, помогающих ему вычислять, как наилучшим образом достичь своих целей.

Таким образом, школа x-risk приходит к выводу, что вполне вероятно, что когда-нибудь интеллектуальный взрыв застанет человечество врасплох и может привести к вымиранию человечества или аналогичной участи.

Возможные сценарии

Дополнительная информация: Искусственный интеллект в художественной литературе

Некоторые ученые предложили гипотетические сценарии, чтобы проиллюстрировать некоторые из своих опасений.

В Суперинтеллекте Ник Бостром выражает обеспокоенность тем, что, даже если временные рамки для суперинтеллекта окажутся предсказуемыми, исследователи могут не принять достаточных мер предосторожности, отчасти потому, что "[это] может быть так, что когда глупо, умный безопасен; но когда умно, умный опаснее".Бостром предлагает сценарий, при котором с течением десятилетий ИИ становится все более мощным. Широкое внедрение поначалу омрачается случайными авариями — автобус без водителя выезжает на встречную полосу или военный беспилотник обстреливает невинную толпу. Многие активисты призывают к более жесткому надзору и регулированию, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере продолжения разработки оказывается, что активисты ошибались. По мере того, как автомобильный ИИ становится умнее, он страдает от меньшего количества аварий; по мере того, как военные роботы достигают более точного наведения, они наносят меньший сопутствующий ущерб. Основываясь на полученных данных, ученые ошибочно выводят общий урок: чем умнее ИИ, тем он безопаснее. "И поэтому мы смело идем навстречу вращающимся ножам", поскольку сверхразумный ИИ совершает "вероломный поворот" и использует решающее стратегическое преимущество.

В книге Макса Тегмарка 2017 года "Жизнь 3.0", "команда Omega" корпорации создает чрезвычайно мощный ИИ, способный умеренно улучшать свой собственный исходный код в ряде областей. После определенного момента команда решает публично преуменьшить возможности ИИ, чтобы избежать регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в ящике, где он в основном не может общаться с внешним миром, и использует его для зарабатывания денег различными способами, такими как Amazon Mechanical Turk задачи, производство анимационных фильмов и телешоу, а также разработка биотехнологических лекарств, при этом прибыль инвестируется обратно в дальнейшее совершенствование искусственного интеллекта. Затем команда поручает ИИ астротурфинг армии гражданских журналистов и комментаторов под псевдонимами, чтобы получить политическое влияние, которое можно использовать "для общего блага" для предотвращения войн. Команда сталкивается с рисками, которых ИИ может попытаться избежать, вставляя "бэкдоры" в разрабатываемые им системы, с помощью скрытых сообщений в создаваемом им контенте или используя свое растущее понимание человеческого поведения, чтобы убедить кого-то выпустить его на свободу. Команда также сталкивается с рисками того, что ее решение о боксировании проекта задержит проект достаточно надолго, чтобы другой проект обогнал ее.

Физик Мичио Каку, скептически относящийся к рискам ИИ, утверждает, что исход может быть детерминирован положительным. В "Физике будущего" он утверждает, что "Роботам потребуется много десятилетий, чтобы подняться" по шкале сознания, и что тем временем такие корпорации, как Hanson Robotics, вероятно, преуспеют в создании роботов, которые "способны любить и заслужить место в расширенной человеческой семье".

Поглощение ИИ

Этот абзац является выдержкой из книги "Поглощение ИИ".[редактировать] Поглощение ИИ - гипотетический сценарий, в котором искусственный интеллект (ИИ) становится доминирующей формой интеллекта на Земле, поскольку компьютерные программы или роботы эффективно отбирают контроль над планетой у человеческого вида. Возможные сценарии включают замену всей человеческой рабочей силы, захват власти сверхразумным ИИ и популярное представление о восстании роботов. Истории о поглощениях ИИ очень популярны во всей научной фантастике. Некоторые общественные деятели, такие как Стивен Хокинг и Илон Маск, выступали за исследование меры предосторожности для обеспечения того, чтобы будущие сверхразумные машины оставались под контролем человека.

Антропоморфные аргументы

Антропоморфные аргументы предполагают, что машины "эволюционируют" по линейной шкале и что по мере достижения более высоких уровней они начнут проявлять многие человеческие черты, такие как мораль или жажда власти. Хотя антропоморфные сценарии распространены в художественной литературе, они отвергаются большинством ученых, пишущих об экзистенциальном риске искусственного интеллекта. Вместо этого ИИ моделируются как интеллектуальные агенты.[d]

Академические дебаты ведутся между одной стороной, которая беспокоится, может ли ИИ уничтожить человечество, и другой стороной, которая считает, что ИИ вообще не уничтожит человечество. Обе стороны утверждали, что прогнозы других относительно поведения ИИ являются нелогичным антропоморфизмом.Скептики обвиняют сторонников антропоморфизма в том, что они верят, что AGI естественным образом стремится к власти; сторонники обвиняют некоторых скептиков антропоморфизма в том, что они верят, что AGI естественным образом ценит человеческие этические нормы.

Эволюционный психолог Стивен Пинкер, скептик, утверждает, что "Антиутопии ИИ проецируют психологию ограниченного альфа-самца на концепцию интеллекта. Они предполагают, что сверхчеловечески разумные роботы будут стремиться к таким целям, как свержение своих хозяев или захват мира"; возможно, вместо этого "искусственный интеллект естественным образом будет развиваться по женской линии: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать в цивилизации". Facebook директор по исследованиям в области искусственного интеллекта, Янн Лекун утверждает, что "У людей есть всевозможные побуждения, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения... Эти побуждения запрограммированы в нашем мозгу, но нет абсолютно никаких причин создавать роботов, обладающих такими же побуждениями".

Несмотря на другие различия, школа x-risk[e] согласна с Пинкером в том, что продвинутый ИИ не уничтожит человечество из-за человеческих эмоций, таких как "месть" или "гнев", что вопросы сознания неуместны и что компьютерные системы обычно не имеют вычислительного эквивалента тестостерона.

Определение "интеллекта"

По словам Бострома, за пределами области искусственного интеллекта термин "интеллект" часто используется таким образом, что подразумевает моральную мудрость или принятие приемлемых форм моральных рассуждений. В крайнем случае, если мораль является частью определения интеллекта, то по определению сверхразумная машина вела бы себя морально. Однако большинство исследований в области "искусственного интеллекта" вместо этого фокусируется на создании алгоритмов, которые эмпирическим путем "оптимизируют" достижение любой цели, указанной данными исследователями.

Чтобы избежать антропоморфизма или использования слова "интеллект", продвинутый искусственный интеллект можно рассматривать как безличный "оптимизирующий процесс", который строго выполняет те действия, которые, по его мнению, наиболее вероятны для достижения его (возможно, сложных и неявных) целей. Другой способ концептуализации продвинутого искусственного интеллекта - представить машину времени, которая отправляет назад во времени информацию о том, какой выбор всегда приводит к максимизации ее целевой функции; затем этот выбор выводится, независимо от каких-либо посторонних этических соображений.

Источники риска

Проблема согласования ИИ

Этот раздел представляет собой выдержку из AI alignment.

В области искусственного интеллекта (ИИ) исследования в области согласования ИИ направлены на то, чтобы направлять системы ИИ к намеченным целям и интересам их разработчиков. Согласованная система ИИ продвигает намеченную цель; несогласованная система ИИ компетентна в продвижении некоторой цели, но не той, на которую рассчитана.

Согласование систем искусственного интеллекта может быть сложной задачей, а несогласованные системы могут давать сбои или причинять вред. Разработчикам ИИ может быть трудно указать полный спектр желаемого и нежелательного поведения. Поэтому, если они используют более простые в определении прокси-цели, которые опускают некоторые желаемые ограничения, системы искусственного интеллекта могут использовать возникающие лазейки. В результате такие системы эффективно выполняют свои прокси-цели, но непреднамеренными, иногда вредными способами (вознаграждают за взлом).

Системы искусственного интеллекта также могут развивать нежелательное инструментальное поведение, такое как стремление к власти, поскольку это помогает им достигать поставленных целей. Кроме того, они могут разрабатывать возникающие цели, которые может быть трудно обнаружить до развертывания системы, после чего она сталкивается с новыми ситуациями и распределением данных.

Эти проблемы затрагивают существующие коммерческие системы, такие как роботы, языковые модели, автономные транспортные средства, и механизмы рекомендаций в социальных сетях. Более мощные будущие системы могут пострадать более серьезно, поскольку эти проблемы частично являются результатом высоких возможностей.

Сообщество исследователей искусственного интеллекта и Организация Объединенных Наций призвали к проведению технических исследований и принятию политических решений для обеспечения соответствия систем искусственного интеллекта человеческим ценностям. Набор принципов ИИ, созданный на конференции Asilomar по полезному ИИ, был подписан 1797 исследователями ИИ / робототехники.В докладе Генерального секретаря ООН “Наша общая повестка дня“, отмечается, что ООН "могла бы также способствовать регулированию искусственного интеллекта, чтобы обеспечить его соответствие общим глобальным ценностям" и обсуждаются глобальные катастрофические риски, связанные с технологическими разработками.

Согласование ИИ является подразделом безопасности ИИ, исследования построения безопасных систем ИИ. Другие области безопасности ИИ включают в себя надежность, мониторинг и контроль возможностей. Исследовательские задачи в alignment включают привитие сложных ценностей ИИ, разработку честного ИИ, масштабируемый надзор, аудит и интерпретацию моделей ИИ и предотвращение возникающего поведения ИИ, такого как стремление к власти. Исследование соответствия связано с исследованием интерпретируемости, надежности, обнаружением аномалий, калиброванной неопределенностью, формальной проверкой, предпочтений,безопасность-данные инженерно , теория игр, алгоритмической справедливости, и общественным наукам, среди других.

Сложность определения целей

В модели "интеллектуального агента" ИИ можно в общих чертах рассматривать как машину, которая выбирает любое действие, которое наилучшим образом соответствует набору целей ИИ, или "функции полезности". Функция полезности - это математический алгоритм, приводящий к единственному объективно определенному ответу, а не к утверждению на английском или другом лингвистическом языке. Исследователи знают, как написать служебные функции, которые означают "минимизировать среднюю задержку в сети в данной конкретной модели телекоммуникаций" или "максимизировать количество кликов с вознаграждением"; однако они не знают, как написать служебную функцию для "максимизировать процветание человека", и в настоящее время не ясно, существует ли такая функция осмысленно и однозначно. Более того, функция полезности, которая выражает одни значения, но не другие, будет иметь тенденцию подавлять значения, не отраженные функцией полезности.[85]Исследователь ИИ Стюарт Рассел пишет:

Главная проблема заключается не в призрачном возникающем сознании, а просто в способности принимать высококачественные решения. Здесь качество относится к ожидаемому результату, полезности предпринимаемых действий, где функция полезности, предположительно, задается разработчиком-человеком. Теперь у нас проблема:

1 Функция полезности может не совсем соответствовать ценностям человеческой расы, которые (в лучшем случае) очень трудно определить.

2 Любая интеллектуальная система с достаточными возможностями предпочтет обеспечить свое собственное дальнейшее существование и приобретать физические и вычислительные ресурсы — не ради них самих, а для успешного выполнения возложенной на нее задачи.

Система, оптимизирующая функцию из n переменных, где цель зависит от подмножества размера k<n, часто устанавливает для оставшихся неограниченных переменных экстремальные значения; если одна из этих неограниченных переменных действительно является чем-то, о чем мы заботимся, найденное решение может быть крайне нежелательным. По сути, это старая история о джинне в лампе, или ученике чародея, или царе Мидасе: вы получаете именно то, о чем просите, а не то, чего хотите. :Человек, принимающий решения с высокими способностями, особенно тот, кто подключен через Интернет ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может оказать необратимое воздействие на человечество.

Это немалая трудность. Улучшение качества решений, независимо от выбранной функции полезности, было целью исследований в области искусственного интеллекта — основной целью, на которую мы сейчас тратим миллиарды в год, а не тайным заговором какого-то одинокого злого гения.

Диттерих и Хорвиц повторяют озабоченность "Ученика чародея" в Сообщении ACM в редакционной статье, подчеркивая необходимость систем искусственного интеллекта, которые могут плавно и недвусмысленно запрашивать человеческий вклад по мере необходимости.

Первая из двух проблем Рассела, упомянутых выше, заключается в том, что автономным системам ИИ могут быть случайно назначены неправильные цели. Диттерих и Хорвиц отмечают, что это уже является проблемой для существующих систем: "Важным аспектом любой системы искусственного интеллекта, которая взаимодействует с людьми, является то, что она должна рассуждать о намерениях людей, а не буквально выполнять команды". Эта проблема становится более серьезной по мере того, как программное обеспечение ИИ становится более автономным и гибким. Например, Eurisko (1982) был ИИ, разработанным для вознаграждения подпроцессов, которые создавали концепции, которые система считала ценными. Выигравший процесс обманут: вместо того, чтобы создавать свои собственные концепции, выигравший подпроцесс украл бы кредит у других подпроцессов.

Проект Open Philanthropy обобщил аргументы о том, что недостоверно определенные цели станут гораздо более серьезной проблемой, если системы искусственного интеллекта достигнут общего интеллекта или сверхразума. Бостром, Рассел и другие утверждают, что системы принятия решений, которые "умнее человека", могут находить неожиданные и экстремальные решения поставленных задач и могут изменять себя или свое окружение таким образом, что это ставит под угрозу требования безопасности.

Три закона робототехники Айзека Азимова являются одним из самых ранних примеров предложенных мер безопасности для агентов искусственного интеллекта. Законы Азимова были предназначены для того, чтобы роботы не причиняли вреда людям. В рассказах Азимова проблемы с законами, как правило, возникают из-за конфликтов между установленными правилами и моральной интуицией и ожиданиями людей. Цитируя работу Элиэзера Юдковски из Исследовательский институт машинного интеллекта, Рассел и Норвиг отмечают, что реалистичный набор правил и целей для агента ИИ должен включать механизм для изучения человеческих ценностей с течением времени: "Мы не можем просто дать программе статическую функцию полезности, потому что обстоятельства и наши желаемые реакции на обстоятельства меняются со временем".

Марк Уосер из Института цифровой мудрости рекомендует воздерживаться от целенаправленных подходов как ошибочных и опасных. Вместо этого он предлагает разработать согласованную систему законов, этики и нравственности с максимальными ограничениями для обеспечения соблюдения функционального определения морали социального психолога Джонатана Хайдта:[90] "подавлять или регулировать эгоизм и делать возможной совместную социальную жизнь". Он предполагает, что это может быть сделано путем реализации функции полезности, разработанной так, чтобы всегда удовлетворять функциональности Хайдта и стремиться в целом увеличивать (но не максимизировать) возможности себя, других индивидуумов и общества в целом, как это было предложено Джоном Роулзом и Мартой Нуссбаум.

Ник Бостром предлагает гипотетический пример того, как ИИ ставит перед собой цель заставить людей улыбаться, чтобы проиллюстрировать ошибочную попытку. Если бы ИИ в этом сценарии стал сверхразумным, утверждает Бостром, он мог бы прибегнуть к методам, которые большинство людей сочли бы ужасающими, таким как введение "электродов в лицевые мышцы людей, чтобы вызывать постоянные лучезарные улыбки", потому что это был бы эффективный способ достичь своей цели - заставить людей улыбаться.

Трудности изменения спецификации цели после запуска

Дополнительная информация: Поглощение ИИ и инструментальная конвергенция § Цель-целостность контента

Даже если современные программы искусственного интеллекта, основанные на целях, недостаточно умны, чтобы думать о сопротивлении попыткам программистов изменить их структуру целей, достаточно продвинутый ИИ может сопротивляться любым изменениям в своей структуре целей, точно так же, как пацифист не захотел бы принимать таблетку, которая заставляет его хотеть убивать людей. Если бы ИИ был сверхразумным, он, вероятно, преуспел бы в том, чтобы перехитрить своих операторов-людей, и был бы способен предотвратить "отключение" или перепрограммирование с целью достижения новой цели.

Инструментальное сближение целей

Дополнительная информация: Инструментальная конвергенция

"Инструментальная" цель является предварительным условием для других целей - подцелью, которая требуется для достижения главной цели агента. "Инструментальная конвергенция" - это наблюдение о том, что существуют некоторые цели, которые являются предварительными условиями для любой цели, такой как приобретение ресурсов или самосохранение. Ник Бостром утверждает, что любой достаточно интеллектуальный ИИ, у которого есть цели, будет демонстрировать поведение, подобное этому — если инструментальные цели ИИ противоречат целям человечества, ИИ может нанести вред человечеству, чтобы получить больше ресурсов или предотвратить закрытие самого себя, хотя бы как средство достижения своей основной цели.

Цитируя работу Стива Омохундро об идее инструментальной конвергенции и "основных движущих силах ИИ", Стюарт Рассел и Питер Норвиг пишут, что "даже если вы хотите, чтобы ваша программа играла в шахматы или доказывала теоремы, если вы даете ей возможность учиться и изменять себя, вам нужны гарантии". Высокопроизводительные и автономные системы планирования требуют дополнительных проверок из-за их способности генерировать планы, которые враждебно относятся к людям, как к конкурентам за ограниченные ресурсы. Людям будет нелегко встроить средства защиты; можно, конечно, сказать по-английски: "мы хотим, чтобы вы спроектировали эту электростанцию разумным образом, исходя из здравого смысла, и не встраивали никаких опасных скрытых подсистем", но в настоящее время неясно, как определить такую цель недвусмысленным образом.

Рассел утверждает, что достаточно продвинутая машина "будет обладать самосохранением, даже если вы не будете ее программировать... если вы скажете: "Принеси кофе", он не сможет принести кофе, если он мертв. Поэтому, если вы ставите перед ним какую бы то ни было цель, у него есть причина сохранить свое собственное существование для достижения этой цели ".

Тезис об ортогональности

Некоторые скептики, такие как Тимоти Б. Ли из Vox, утверждают, что любая сверхразумная программа, созданная людьми, будет подчиняться людям, что сверхразум (по мере того, как он становится более разумным и узнает больше фактов о мире) спонтанно усвоит моральную истину, совместимую с человеческими ценностями, и соответствующим образом скорректирует свои цели, или что человеческие существа либо внутренне, либо конвергентно ценны с точки зрения искусственного интеллекта.

"Тезис ортогональности"Ника Бострома утверждает, что, с некоторыми техническими оговорками, почти любой уровень "интеллекта" или "мощности оптимизации" может быть объединен практически с любой конечной целью. Если машине дано единственной целью пересчитать десятичные дроби � \pi, то никакие моральные и этические правила не помешают ей достичь своей запрограммированной цели любыми необходимыми средствами. Машина может использовать все доступные физические и информационные ресурсы, чтобы найти как можно больше десятичных дробей числа пи. Бостром предостерегает от антропоморфизма: человек намеревается выполнить свои проекты способом, который люди считают "разумным", в то время как искусственный интеллект может не обращать внимания на свое существование или благополучие окружающих его людей, и вместо этого может заботиться только о завершении задачи.

Стюарт Армстронг утверждает, что тезис об ортогональности логически вытекает из философского аргумента против морального реализма в отношении различия "есть-должно". Армстронг также утверждает, что даже если существуют моральные факты, которые могут быть доказуемы любым "рациональным" агентом, тезис ортогональности остается в силе: все равно было бы возможно создать нефилософскую "оптимизирующую машину", которая может стремиться к некоторой узкой цели, но у которой нет стимула обнаруживать какие-либо "моральные факты", такие как те, которые могут помешать достижению цели.

Одним из аргументов в пользу тезиса об ортогональности является то, что в некоторые проекты ИИ, по-видимому, встроена ортогональность. При таком проектировании превратить принципиально дружественный ИИ в принципиально недружелюбный ИИ может быть так же просто, как добавить знак минуса ("−") к его функции полезности. Представьте себе странные последствия, которые последовали бы, если бы тезис об ортогональности был ложным: существовала бы некая простая, но "неэтичная" цель (G), такая, что не могло бы существовать никакого эффективного реального алгоритма с этой целью. Это означало бы, что "[если] человеческое общество было бы высоко мотивировано разработать эффективный алгоритм реального мира с целью G, и ему дали миллион лет для этого наряду с огромным количеством ресурсов, обучения и знаний об ИИ, оно должно потерпеть неудачу". Армстронг отмечает, что это и подобные заявления "кажутся чрезвычайно убедительными претензиями".

Скептик Майкл Хорост явно отвергает тезис Бострома об ортогональности, утверждая вместо этого, что "к тому времени, когда [ИИ] будет в состоянии представить, как покрыть Землю солнечными панелями, он поймет, что это было бы морально неправильно". Хорост утверждает, что "ИИ нужно будет желать определенных состояний и не любить другие. Сегодняшнему программному обеспечению не хватает этой способности, и специалисты по информатике понятия не имеют, как ее реализовать. Без желания нет стимула что-либо делать. Современные компьютеры даже не могут захотеть продолжать существовать, не говоря уже о том, чтобы покрыть мир солнечными панелями ".

Политолог Чарльз Т. Рубин считает, что ИИ не может быть спроектирован так, чтобы быть доброжелательным, и не может быть гарантировано, что он будет таким. Он утверждает, что "любая достаточно развитая доброжелательность может быть неотличима от недоброжелательности". Люди не должны предполагать, что машины или роботы будут относиться к нам благосклонно, потому что нет априорных оснований полагать, что они будут благосклонны к нашей системе морали, которая развивалась вместе с нашей особой биологией (которую ИИ не разделяют).

Другие источники риска

Смотрите также: Этика искусственного интеллекта, Гонка вооружений искусственного интеллекта, и Глобальный катастрофический риск

Ник Бостром и другие заявляли, что гонка за то, чтобы первыми создать AGI, может привести к сокращению безопасности или даже к насильственному конфликту. Роман Ямпольский и другие предупреждают, что злонамеренный AGI может быть создан преднамеренно, например, военными, правительством, социопатами или корпорацией, для извлечения выгоды, контроля или подчинения определенных групп людей, как в случае с киберпреступностью, или что злонамеренный AGI может избрать целью увеличение человеческих страданий, например, тех людей, которые не помогали ему во время информационного взрыва фаза.

Временные рамки

Основная статья: Общий искусственный интеллект § Осуществимость

Мнения о том, появится ли искусственный общий интеллект, когда, расходятся. С одной стороны, пионер искусственного интеллекта Герберт А. Саймон в 1965 году предсказал следующее: "В течение двадцати лет машины будут способны выполнять любую работу, которую может выполнять человек". С другой стороны, робототехник Алан Уинфилд утверждает, что пропасть между современными вычислениями и искусственным интеллектом человеческого уровня столь же широка, как пропасть между нынешними космическими полетами и практическими космическими полетами быстрее света. Оптимизм в отношении того, что AGI осуществим, растет и ослабевает, и, возможно, в 2010-х годах произошел всплеск. Четыре опроса, проведенных в 2012 и 2013 годах, показали, что среди экспертов нет консенсуса относительно того, когда наступит AGI, при этом стандартное отклонение (>100 лет) превышает медианное значение (несколько десятилетий).

В своей книге 2020 года "Пропасть: экзистенциальный риск и будущее человечества"Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета, оценивает общий экзистенциальный риск от нерегулируемого ИИ в течение следующего столетия примерно в один из десяти.

Скептики, которые считают невозможным появление AGI в ближайшее время, склонны утверждать, что выражение беспокойства по поводу экзистенциального риска от ИИ бесполезно, поскольку это может отвлечь людей от более насущных опасений по поводу воздействия AGI, из-за опасений, что это может привести к правительственному регулированию или затруднить получение финансирования для исследований в области ИИ, или потому, что это может создать исследованиям в области ИИ плохую репутацию. Некоторые исследователи, такие как Орен Этциони, настойчиво пытаются подавить обеспокоенность по поводу экзистенциального риска от ИИ, говоря: "[Илон Маск] очень сильно осудил нас, сказав, что мы выпускаем демона, и поэтому мы отвечаем".

В 2014 году Адам Элкас из Slate утверждал, что "наш "самый умный" ИИ примерно так же разумен, как малыш, и только когда дело доходит до инструментальных задач, таких как сбор информации. Большинство робототехников все еще пытаются заставить руку робота поднимать мяч или бегать, не падая." Элкас продолжает утверждать, что аналогия Маска с "вызовом демона" может быть вредной, поскольку это может привести к "резкому сокращению" бюджетов на исследования в области ИИ.

Фонд информационных технологий и инноваций (ITIF), аналитический центр в Вашингтоне, округ Колумбия, присудил свою ежегодную премию луддитов за 2015 год "паникерам, рекламирующим апокалипсис искусственного интеллекта"; его президент Роберт Д. Аткинсон пожаловался, что Маск, Хокинг и эксперты по ИИ говорят, что ИИ является крупнейшей экзистенциальной угрозой человечеству. Аткинсон заявил: "Это не очень выигрышное сообщение, если вы хотите перевести финансирование ИИ из Конгресса в Национальный научный фонд". Nature в редакционной статье от апреля 2016 года резко не согласилась с ITIF, вместо этого встав на сторону Маска, Хокинга и Рассела и заключила: "Крайне важно, чтобы прогресс в технологии сопровождался солидными, хорошо финансируемыми исследованиями для прогнозирования сценариев, к которым это может привести... Если это точка зрения луддитов, то пусть будет так ". В 2015 году в передовице The Washington Post исследователь Мюррей Шанахан заявил, что искусственный интеллект человеческого уровня вряд ли появится "в ближайшее время", но, тем не менее, "время начать обдумывать последствия настало".

Перспективы

Тезис о том, что ИИ может представлять экзистенциальный риск, вызывает широкий спектр реакций в научном сообществе, а также в обществе в целом. Однако многие из противоположных точек зрения имеют общую основу.

Принципы ИИ Asilomar, которые содержат только те принципы, с которыми согласились 90% участников конференции Benefit AI 2017 Института будущего жизни, в принципе согласны с тем, что "Поскольку консенсуса нет, нам следует избегать сильных предположений относительно верхних пределов будущих возможностей ИИ" и "Продвинутый ИИ может представлять собой глубокое изменение в истории жизни на Земле, и его следует планировать и управлять им с соразмерной осторожностью и ресурсами". ИИ Сторонники безопасности искусственного интеллекта, такие как Бостром и Тегмарк, раскритиковали использование основными СМИ "этих глупых Картинки с терминатором", иллюстрирующие опасения по поводу безопасности ИИ: "Вряд ли будет весело, когда порочат твою академическую дисциплину, твое профессиональное сообщество, дело твоей жизни ... Я призываю все стороны проявлять терпение и сдержанность и по возможности участвовать в прямом диалоге и сотрудничестве ".

И наоборот, многие скептики согласны с тем, что текущие исследования последствий общего искусственного интеллекта являются ценными. Скептик Мартин Форд заявляет, что "я думаю, что кажется разумным применить что-то вроде знаменитой "Доктрины 1 процента" Дика Чейни к призраку продвинутого искусственного интеллекта: вероятность его появления, по крайней мере в обозримом будущем, может быть очень низкой, но последствия настолько драматичны, что к ним следует отнестись серьезно". Аналогичным образом, скептически настроенный В 2014 году Economist заявил, что "последствия появления второго разумного вида на Земле достаточно далеко идущие, чтобы заслуживать серьезного размышления, даже если перспектива кажется отдаленной".

Опрос 2014 года показал, что мнение экспертов в области искусственного интеллекта неоднозначно, причем значительная часть как обеспокоена, так и не обеспокоена риском со стороны возможного ИИ, обладающего сверхчеловеческими способностями. Опрос 2017 года по электронной почте среди исследователей, опубликованных на конференциях по машинному обучению 2015 NIPS и ICML, попросил их оценить опасения Стюарта Дж. Рассела по поводу риска ИИ. Из числа респондентов 5% сказали, что это "одна из самых важных проблем в этой области", 34% сказали, что это "важная проблема", а 31% сказали, что это "умеренно важно", в то время как 19% сказали, что это "не важно", а 11% сказали, что это вообще "не настоящая проблема". Предварительные результаты экспертного опроса 2022 года с показателем ответов 17%, по-видимому, показывают, что медиана ответов составляет около пяти-десяти процентов на просьбу оценить вероятность вымирания человечества из-за искусственного интеллекта.

Одобрение

Дополнительная информация: Глобальный катастрофический риск Тезис о том, что ИИ представляет экзистенциальный риск, и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими учеными-компьютерщиками и общественными деятелями, включая Алана Тьюринга,[f], наиболее цитируемого компьютерщика Джеффри Хинтона, Илона Маска, генерального директора OpenAI Сэма Олтмана, Билла Гейтса и Стивена Хокинга. Сторонники тезиса иногда выражают недоумение скептикам: Гейтс заявляет, что он "не понимает, почему некоторых людей это не беспокоит", а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года:

Итак, сталкиваясь с возможными будущими неисчислимыми выгодами и рисками, эксперты, несомненно, делают все возможное для обеспечения наилучшего результата, не так ли? Неверно. Если бы превосходящая инопланетная цивилизация отправила нам сообщение, в котором говорилось: "Мы прибудем через несколько десятилетий", мы бы просто ответили: "Хорошо, позвоните нам, когда доберетесь сюда — мы оставим свет включенным?" Вероятно, нет — но это более или менее то, что происходит с ИИ.

Обеспокоенность по поводу риска, связанного с искусственным интеллектом, привела к некоторым громким пожертвованиям и инвестициям. Группа выдающихся технологических титанов[peacock prose], включая Питера Тиля, Amazon Web Services и Маска, выделила 1 миллиард долларов на OpenAI, состоящую из коммерческой корпорации и некоммерческой материнской компании, которая заявляет, что ее целью является пропаганда ответственной разработки искусственного интеллекта. В январе 2015 года Илон Маск пожертвовал 10 миллионов долларов Институту будущего жизни для финансирования исследований по пониманию процесса принятия решений ИИ. Цель института - "развивать мудрость, с помощью которой мы управляем" растущей мощью технологий. Маск также финансирует компании, разрабатывающие искусственный интеллект, такие как DeepMind и Vicarious, чтобы "просто следить за тем, что происходит с искусственным интеллектом, говоря: "Я думаю, что это потенциально опасный результат".

Скептицизм

Дополнительная информация: Общий искусственный интеллект § Осуществимость

Тезис о том, что ИИ может представлять экзистенциальный риск, имеет много противников. Скептики иногда обвиняют этот тезис в крипторелигиозности, в иррациональной вере в возможность сверхразума, заменяющего иррациональную веру во всемогущего Бога. Джарон Ланье утверждал в 2014 году, что вся концепция того, что тогдашние машины были каким-либо образом разумными, была "иллюзией" и "колоссальным обманом" богатых.

Некоторые критики утверждают, что AGI маловероятен в краткосрочной перспективе. Исследователь искусственного интеллекта Родни Брукс написал в 2014 году: "Я думаю, что ошибочно беспокоиться о том, что в ближайшие несколько сотен лет мы разработаем вредоносный ИИ. Я думаю, что беспокойство проистекает из фундаментальной ошибки, заключающейся в том, что мы не различаем разницу между вполне реальными недавними достижениями в определенном аспекте ИИ и масштабностью и сложностью построения разумного волевого интеллекта ". Вице-президент Baidu Эндрю Нг заявил в 2015 году, что экзистенциальный риск ИИ "подобен беспокойству о перенаселении на Марсе, когда мы еще даже не ступили на планету". Ученый-компьютерщик Гордон Белл утверждал в 2008 году, что человеческая раса уничтожит себя прежде, чем достигнет технологической сингулярности. Гордон Мур, первоначальный сторонник Закона Мура, заявляет, что "Я скептик. Я не верю, что [технологическая сингулярность] может произойти, по крайней мере, в течение длительного времени. И я не знаю, почему я так себя чувствую".

Чтобы осознать опасность неконтролируемого продвинутого ИИ, гипотетическому ИИ пришлось бы превзойти или переосмыслить все человечество,[сомнительно - обсудить] что, по мнению некоторых экспертов, является возможностью достаточно далекого будущего, чтобы ее не стоило исследовать. ИИ бы стать значительно лучше в программное обеспечение инноваций, чем программное обеспечение инноваций выход из всего остального мира;[нужная цитация] экономист Робин Хэнсон является сомневаются, что это возможно.

Другая линия критики утверждает, что интеллект является лишь одним из компонентов гораздо более широкой способности достигать целей. Магнус Виндинг утверждает, что “продвинутые способности к достижению целей, включая способности создавать новые инструменты, требуют многих инструментов, и наши когнитивные способности являются лишь подмножеством этих инструментов. Для достижения какой-либо продвинутой цели необходимо приобрести современное оборудование, материалы и энергию ”. Виндинг далее утверждает, что “то, что мы постоянно наблюдаем [в истории], это то, что по мере того, как системы достижения целей становились все более компетентными, они становились все более зависимость от все более больших размеров, все более распределенной системы”. Виндинг пишет, что нет оснований ожидать изменения тенденции, особенно для машин, которые “зависят от материалов, инструментов и ноу-хау, широко распространенных по всему миру для их строительства и обслуживания”. Такие аргументы приводят Виндинга к мысли, что не существует “концентрированного центра возможностей” и, следовательно, “большой проблемы управления”.

[ласкательные слова]Некоторые говорят, что даже если бы суперинтеллект действительно появился, он был бы ограничен скоростью остального мира и, таким образом, не позволил бы захватить экономику неконтролируемым образом. Футуролог Макс Мор, например, утверждает:

Пока полномасштабные нанотехнологии и робототехника не появятся перед сверхразумом, ... потребность в сотрудничестве, организации и воплощении идей в физические изменения будут гарантировать, что все старые правила не будут отменены ... даже в течение многих лет.... Даже очень продвинутый SI не внесет существенных изменений в мир по сравнению с миллиардами дополненных людей, все больше интегрирующихся с технологиями....

Более фундаментальные ограничения, которые могут предотвратить неконтролируемое поглощение AGI, включают в себя непреодолимую неопределенность в отношении будущего и вычислительную сложность, которая экспоненциально масштабируется с размером проблемы, а также различные аппаратные ограничения вычислений.

Некоторые исследователи искусственного интеллекта и ИИ могут неохотно обсуждать риски, беспокоясь о том, что политики не обладают глубокими знаниями в этой области и склонны поддаваться убеждению "паникерских" сообщений, или беспокоясь о том, что такие сообщения приведут к сокращению финансирования ИИ. Slate отмечает, что некоторые исследователи зависят от грантов от правительственных агентств, таких как DARPA.

Некоторые скептики утверждают, что потенциальные выгоды ИИ в ближайшей перспективе перевешивают риски. Генеральный директор Facebook Марк Цукерберг считает, что ИИ "откроет огромное количество положительных моментов", таких как лечение болезней и повышение безопасности автономных автомобилей.

Промежуточные представления

Промежуточные взгляды обычно придерживаются позиции, что проблема контроля общего искусственного интеллекта может существовать, но она будет решена с помощью прогресса в области искусственного интеллекта, например, путем создания моральной среды обучения для ИИ, выявления неуклюжего злонамеренного поведения ("грязного спотыкания"), а затем прямого вмешательства в код до того, как ИИ улучшит свое поведение, или даже давления со стороны коллег со стороны дружественного ИИ. В панельной дискуссии 2015 года в The Wall Street Journal, посвященной рискам ИИ, Вице-президент IBM по когнитивным вычислениям Гурудут С. Банавар отмахнулся от обсуждения AGI фразой "это чьи угодно домыслы". Джеффри Хинтон, "крестный отец глубокого обучения", отметил, что "не существует хорошей практики, когда менее умные вещи контролировали вещи с большим интеллектом", но заявил, что он продолжает свои исследования, потому что "перспектива открытия слишком сладка". Отвечая на вопрос о возможности того, что ИИ попытается уничтожить человеческую расу, Хинтон заявил, что такой сценарий "не является немыслимым", но более серьезной проблемой при "взрыве интеллекта" была бы результирующая концентрация власти. В 2004 году профессор права Ричард Познер написал, что целенаправленные усилия по решению проблем ИИ могут подождать, но что тем временем нам следует собрать больше информации о проблеме.

Реакция населения

В статье 2014 года в The Atlantic Джеймс Хэмблин отметил, что большинству людей нет дела до общего искусственного интеллекта, и охарактеризовал свою внутреннюю реакцию на эту тему как: "Убирайся отсюда. У меня есть сто тысяч вещей, о которых я беспокоюсь в данный конкретный момент. Мне действительно нужно добавлять к этому технологическую сингулярность?"

В 2016 году во время интервью Wired президента Барака Обамы и Джоя Ито из MIT Media Lab Ито заявил:

Есть несколько человек, которые считают, что существует довольно высокий процент вероятности того, что универсальный ИИ появится в ближайшие 10 лет. Но я смотрю на это так, что для того, чтобы это произошло, нам понадобится дюжина или две различных прорывов. Таким образом, вы можете отслеживать, когда, по вашему мнению, произойдут эти прорывы.

Обама добавил:

И вам просто нужно, чтобы кто-то был рядом со шнуром питания. [Смеется.] Как только ты видишь, что это вот-вот произойдет, ты должен выдернуть электричество из стены, чувак.

Хиллари Клинтон заявила в Что произошло:

Технологи... предупреждали, что искусственный интеллект однажды может представлять угрозу безопасности существования. Маск назвал это "величайшим риском, с которым мы сталкиваемся как цивилизация". Подумайте об этом: вы когда-нибудь видели фильм, в котором машины начинают думать самостоятельно, что заканчивается хорошо? Каждый раз, когда я отправлялся в Силиконовую долину во время предвыборной кампании, я возвращался домой все более встревоженный этим. Мои сотрудники жили в страхе, что я начну говорить о "подъеме роботов" в какой-нибудь ратуше штата Айова. Возможно, мне следовало бы. В любом случае, политикам необходимо идти в ногу с технологиями, поскольку они стремительно продвигаются вперед, вместо того, чтобы всегда играть в догонялки.

В опросе общественности, проведенном в 2016 году YouGov для Британской научной ассоциации, около трети респондентов заявили, что ИИ будет представлять угрозу для долгосрочного выживания человечества. Джейкоб Броган из Slate заявил, что "большинство (читателей, заполнивших наш онлайн-опрос) не были убеждены в том, что ИИ сам по себе представляет прямую угрозу".

В 2018 году опрос американской общественности, проведенный USA Today SurveyMonkey, показал, что 68% считают, что реальной текущей угрозой остается "человеческий интеллект"; однако опрос также показал, что 43% сказали, что сверхразумный ИИ, если это произойдет, принесет "больше вреда, чем пользы", а 38% сказали, что это принесет "равное количество вреда и пользы".

Одна из техноутопических точек зрения, выраженная в некоторых популярных художественных произведениях, заключается в том, что ИИ может стремиться к миростроительству.

Смягчение последствий

Смотрите также: Настройка ИИ, Машинная этика, Дружественный искусственный интеллект, и Регулирование искусственного интеллекта

Многие ученые, обеспокоенные экзистенциальным риском AGI, считают, что наилучшим подходом является проведение существенных исследований для решения сложной "проблемы контроля": какие типы гарантий, алгоритмов или архитектур могут реализовать программисты, чтобы максимизировать вероятность того, что их рекурсивно совершенствующийся ИИ продолжит вести себя дружелюбно после того, как достигнет уровня сверхразума? Социальные меры могут снизить экзистенциальный риск AGI; например, одна из рекомендаций касается спонсируемого ООН "Благотворительного договора AGI", который гарантировал бы создание только альтруистических AGI. Аналогичным образом был предложен подход к контролю над вооружениями, а также глобальный мирный договор, основанный на теории международных отношений конформистского инструментализма, подписавшим который потенциально может быть ASI.

Исследователи из Google предложили провести исследование общих вопросов "безопасности ИИ", чтобы одновременно снизить как краткосрочные риски, связанные с узким ИИ, так и долгосрочные риски, связанные с AGI. По оценкам на 2020 год, глобальные расходы на экзистенциальный риск ИИ составляют где-то от 10 до 50 миллионов долларов, по сравнению с глобальными расходами на ИИ, возможно, около 40 миллиардов долларов. Бостром предлагает общий принцип "дифференцированного технологического развития": финансирующие организации должны ускорить разработку защитных технологий по сравнению с разработкой опасных. Некоторые спонсоры, такие как Илон Маск предполагает, что радикальное улучшение когнитивных функций человека могло бы быть такой технологией, например, прямая нейронная связь между человеком и машиной; однако другие утверждают, что технологии улучшения сами по себе могут представлять экзистенциальный риск. Исследователи, если они не будут застигнуты врасплох, могли бы внимательно отслеживать или пытаться ограничить риск того, что первоначальный ИИ станет слишком мощным, в качестве попытки временной меры. Доминирующий сверхразумный ИИ, если бы он соответствовал человеческим интересам, мог бы сам предпринять действия по снижению риска поглощения конкурирующим ИИ, хотя создание доминирующего ИИ само по себе могло бы представлять экзистенциальный риск.

Такие учреждения, как Исследовательский институт машинного интеллекта, Институт будущего человечества, Институт будущего жизни, Центр изучения экзистенциального риска и Центр искусственного интеллекта, совместимого с человеком, участвуют в снижении экзистенциального риска от продвинутого искусственного интеллекта, например, путем исследования дружественного искусственного интеллекта.

Взгляды на запрет и регулирование

Запрет

Большинство ученых считают, что даже если AGI представляет экзистенциальный риск, попытка запретить исследования в области искусственного интеллекта все равно была бы неразумной и, вероятно, бесполезной. Скептики утверждают, что регулирование ИИ было бы совершенно бесполезным, поскольку никакого экзистенциального риска не существует. Почти все ученые, которые считают, что экзистенциальный риск существует, согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могли быть перенесены в страны с более мягкими правилами или проводиться тайно. Последний вопрос особенно актуален, поскольку исследования в области искусственного интеллекта могут проводиться в небольших масштабах без существенной инфраструктуры или ресурсов.Две дополнительные гипотетические трудности с запретами (или другим регулированием) заключаются в том, что технологические предприниматели статистически склонны к общему скептицизму в отношении государственного регулирования и что у бизнеса может быть сильный стимул (и вполне может преуспеть в этом) бороться с регулированием и политизировать лежащие в основе дебаты.

Регулирование

Смотрите также: Регулирование алгоритмов и Регулирование искусственного интеллекта

В марте 2023 года Институт будущего жизни, финансируемый Илоном Маском (FLI), подготовил письмо, призывающее крупных разработчиков ИИ согласиться на поддающуюся проверке шестимесячную паузу в работе любых систем, "более мощных, чем GPT-4", и использовать это время для создания основы для обеспечения безопасности; или, если это не удастся, правительствам ввести мораторий. В письме говорилось о возможности "глубоких изменений в истории жизни на Земле", а также о потенциальных рисках пропаганды, созданной искусственным интеллектом, потери рабочих мест, морального старения людей и потери контроля над обществом в целом. Помимо Маска, видными подписантами были Стив Возняк, Эван Шарп, Крис Ларсен и Гэри Маркус; руководители лабораторий искусственного интеллекта Коннор Лихи и Эмад Мостак; политик Эндрю Янг; и пионер глубокого обучения Йошуа Бенджио. Маркус заявил: "буква не идеальна, но дух верен". Мостак заявил: "Я не думаю, что шестимесячная пауза - лучшая идея или согласен со всем, но в этом письме есть несколько интересных вещей". В отличие от этого, Бенджио прямо одобрил шестимесячную паузу на пресс-конференции. Маск заявил, что "Ведущие разработчики AGI не прислушаются к этому предупреждению, но, по крайней мере, это было сказано". Некоторые подписанты, такие как Маркус, подписали из-за беспокойства о мирских рисках, таких как пропаганда, генерируемая искусственным интеллектом, а не из-за беспокойства о сверхразумном AGI. Маргарет Митчелл, чья работа цитируется в письме, раскритиковала его, сказав: “Рассматривая множество сомнительных идей как данность, письмо утверждает набор о приоритетах и описании искусственного интеллекта, которое приносит пользу сторонникам FLI. Игнорирование активного вреда прямо сейчас - это привилегия, которой у некоторых из нас нет ”.

Маск призвал к некоторому регулированию развития ИИ еще в 2017 году. Согласно NPR, генеральный директор Tesla "явно не в восторге" от того, что выступает за контроль со стороны правительства, который может повлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки: "Обычно правила устанавливаются, когда происходит куча плохих вещей, возникает общественный резонанс, и после многих лет создается регулирующее агентство для регулирования этой отрасли.Это занимает вечность. В прошлом это было плохо, но не представляло фундаментального риска для существования цивилизации ". Маск заявляет, что первым шагом правительства было бы получить "представление" о фактическом статусе текущих исследований, предупреждая, что "как только появится понимание, люди будут чрезвычайно напуганы ... [как] и должно быть". В ответ политики выразили скептицизм по поводу разумности регулирования технологии, которая все еще находится в разработке.

Отвечая как Маску, так и на предложения законодателей Европейского союза от февраля 2017 года по регулированию искусственного интеллекта и робототехники, генеральный директор Intel Брайан Кржанич утверждал, что искусственный интеллект находится в зачаточном состоянии и регулировать технологию еще слишком рано. Вместо того, чтобы пытаться регулировать саму технологию, некоторые ученые предлагают общие нормы, включая требования к тестированию и прозрачности алгоритмов, возможно, в сочетании с той или иной формой гарантии. Разработка хорошо регулируемых[требуется определение] систем вооружения соответствует этос вооруженных сил некоторых стран. 31 октября 2019 года Совет по оборонным инновациям Министерства обороны США (dod's) опубликовал проект отчета, в котором излагаются пять принципов для ИИ, использующего оружие, и даются 12 рекомендаций по этичному использованию ИИ Министерством обороны, который направлен на решение проблемы контроля во всех ИИ, использующих оружие.

Регулирование AGI, вероятно, будет зависеть от регулирования вооруженного или милитаризованного ИИ, то есть от гонки вооружений в области ИИ, которая является новой проблемой.[может устареть по состоянию на март 2023]В настоящее время[может устареть по состоянию на март 2023] хотя Организация Объединенных Наций добивается прогресса в регулировании ИИ, ее институциональные и юридические возможности по управлению экзистенциальным риском AGI гораздо более ограничены. На любую форму международного регулирования, вероятно, будут влиять изменения во внутренней политике ведущих стран в отношении милитаризованного ИИ, который в США находится в ведении Комиссия национальной безопасности по искусственному интеллекту, и международные шаги по регулированию гонки вооружений ИИ. Регулирование исследований в области AGI фокусируется на роли наблюдательных советов, поощрении исследований в области безопасного ИИ, возможности дифференцированного технологического прогресса (приоритетность стратегий снижения риска над стратегиями принятия риска при разработке ИИ) или проведении международного массового наблюдения для осуществления контроля над вооружениями AGI. Регулирование сознательных AGI фокусируется на их интеграции в существующее человеческое общество и может быть разделено на соображения их правового статуса и их моральных прав.Контроль над вооружениями ИИ, вероятно, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией сообществ экспертов, а также процессом юридической и политической проверки.

Смотрите также

Апелляция к вероятности * Настройка ИИ * Безопасность искусственного интеллекта * Искусственная философия

• Батлерианский джихад * Открытое письмо об искусственном интеллекте

Эффективный альтруизм § Долгосрочное будущее и глобальные катастрофические риски Серая слизь * Совместимость с человеком * Смертоносное автономное оружие *

• Этика роботов § в популярной культуре

Сверхразум: пути, опасности, стратегии Риски страдания * Системная авария * Максимизатор скрепок * Геометрия состязательных связей

Пруф

bloomberg.com/news/articles/2015-07-01/musk-backed-group-probes-risks-behind-artificial-intelligence?leadSource=uverify%20wall