LaMDA
Эта статья посвящена языковой модели Google. Другие варианты использования см. в разделах Lamda (устранение неоднозначности) и Lambda (устранение неоднозначности).
- Не путать с ламой.
- LaMDA (Языковая модель для диалоговых приложений) представляет собой семейство разговорных больших языковых моделей, разработанных Google. Первоначально разработанная и представленная как Meena в 2020 году, LaMDA первого поколения была анонсирована во время презентации Google I / O Keynote 2021 года, а второе поколение было анонсировано в следующем году. В июне 2022 года LaMDA привлекла всеобщее внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным. Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективностиТест Тьюринга, который определяет, может ли компьютер сойти за человека. В феврале 2023 года Google анонсировала Bard, чат-бота с искусственным интеллектом, работающего на базе LaMDA, для противодействия распространению ChatGPT от OpenAI.
История[править]
Предыстория[править]
28 января 2020 года Google представила Meena, чат-бота на базе нейронной сети с 2,6 миллиардами параметров, который, по утверждению Google, превосходит все другие существующие чат-боты. Ранее, в 2012 году, компания наняла компьютерного специалиста Рэя Курцвейла для разработки нескольких чат-ботов для компании, в том числе одного по имени Даниэль. Исследовательская группа Google Brain, разработавшая Meena, надеялась выпустить чат-бота для широкой публики в ограниченном количестве, но руководители корпорации отказались на том основании, что Meena нарушает "принципы ИИ Google, касающиеся безопасности и справедливости". Позже Meena была переименована в LaMDA, поскольку объем ее данных и вычислительных мощностей увеличился, и команда Google Brain снова попыталась внедрить программное обеспечение в Google Assistant, программное обеспечение виртуального помощника компании, в дополнение к его публичной демонстрации. Оба запроса были в очередной раз отклонены руководством компании. Первое поколение
Раздел редактирования: Первое поколение[править]
Два года спустя Google анонсировала разговорную модель большого языка LaMDA во время презентации Google I / O keynote 18 мая 2021 года, основанную на искусственном интеллекте. Аббревиатура расшифровывается как "Языковая модель для диалоговых приложений". Построенный на архитектуре seq2seq, нейронных сетях на основе transformer, разработанных Google Research в 2017 году, LaMDA был обучен человеческому диалогу и историям, что позволило ему участвовать в открытых беседах. Google заявляет, что ответы, сгенерированные LaMDA, должны быть "разумными, интересными и специфичными для контекста". LaMDA имеет доступ к нескольким системам обработки символьного текста, включая базу данных, часы и календарь реального времени, математический калькулятор и систему перевода на естественный язык, что обеспечивает ему превосходную точность в задачах, поддерживаемых этими системами, и делает его одним из первых двухпроцессорных чат-ботов. LaMDA также не является апатридом, поскольку его показатель "разумности" настраивается путем "предварительной подготовки" каждого поворота диалога путем добавления многих самых последних диалоговых взаимодействий для каждого пользователя. LaMDA настроен на девять уникальных показателей эффективности: понятность, специфичность, интересность, безопасность, обоснованность, информативность, точность цитирования, полезность и согласованность ролей.
Второе поколение[править]
11 мая 2022 года Google представила LaMDA 2, преемника LaMDA, во время презентации Google I / O Keynote 2022 года. Новое воплощение модели использует примеры текста из многочисленных источников, используя его для формулирования уникальных "естественных разговоров" на темы, на которые она, возможно, не была обучена отвечать.
Утверждения о разумности[править]
11 июня 2022 года газета Washington Post сообщила, что инженер Google Блейк Лемуан был отправлен в оплачиваемый административный отпуск после того, как Лемуан сказал руководителям компании Блейзу Агуэра-и-Аркасу и Джен Дженнаи, что Ламда стал разумным. Лемуан пришел к такому выводу после того, как чат-бот дал сомнительные ответы на вопросы, касающиеся самоидентификации, моральных ценностей, религии и Трех законов робототехники Айзека Азимова. Google опроверг эти утверждения, настаивая на наличии существенных доказательств того, что ЛаМДА не является разумным существом. В интервью сWired, Лемуан повторил свои утверждения о том, что ЛаМДА был "человеком", как того требует Тринадцатая поправка к Конституции США, сравнив его с "инопланетным разумом земного происхождения". Он также сообщил, что Google уволил его после того, как он нанял адвоката от имени Ламды, после того, как чат-бот попросил Лемуана сделать это. 22 июля Google уволил Лемуана, заявив, что Блейк нарушил их политику "по защите информации о продукте", и отклонил его претензиикак "совершенно необоснованный". Внутренние разногласия, спровоцированные инцидентом, побудили руководство Google принять решение не публиковать LaMDA, что ранее рассматривалось.
Утверждения Лемуана были широко отвергнуты научным сообществом. Многие эксперты высмеивали идею о том, что языковая модель может обладать самосознанием, в том числе бывший профессор психологии Нью-Йоркского университета Гэри Маркус, Дэвид Пфау из дочерней компании Google DeepMind, Эрик Бриньольфссон из Института искусственного интеллекта, ориентированного на человека, при Стэнфордском университете и профессор Университета Суррея Эдриан Хилтон. Янн ЛеКун, который возглавляет исследовательскую группу Meta Platforms по ИИ, заявил, что нейронные сети, такие как LaMDA, "недостаточно мощные, чтобы достичь истинного интеллекта". Профессор Калифорнийского университета в Санта-Крус Макс Кремински отметил, что архитектура LaMDA "не поддерживает некоторые ключевые возможности человекоподобного сознания" и что веса ее нейронной сети "заморожены", предполагая, что это типичная модель большого языка. Ведущий разработчик IBM Watson Дэвид Ферруччи сравнил то, как LaMDA выглядела как человек, с тем же, что и Watson, когда он был впервые представлен. Бывший специалист Google по этике ИИ Тимнит Гебру назвал Лемуана жертвой "цикла шумихи", инициированного исследователями и СМИ. Заявления Лемуана также вызвали дискуссию о том, оставался ли тест Тьюринга полезным для определения прогресса исследователей в достижении общего искусственного интеллекта, при этом Уилл Омерус из the Post высказал мнение, что тест фактически измерял, способны ли системы машинного интеллекта обманывать людей, в то время как Брайан Кристиан из The Atlantic сказалчто противоречие было примером эффекта ЭЛИЗЫ.
Продукты[править]
Тестовая кухня искусственного интеллекта[править]
С презентацией LaMDA 2 в мае 2022 года Google также запустила AI Test Kitchen, мобильное приложение для операционной системы Android на базе LaMDA, способное предоставлять списки предложений по запросу на основе сложной цели. Первоначально приложение было открыто только для сотрудников Google, но планировалось, что оно будет доступно "избранным ученым, исследователям и политикам" по приглашению где-то в течение года.В августе компания начала разрешать пользователям в США подписываться на ранний доступ. В ноябре Google выпустила обновление "season 2" для приложения, интегрирующее ограниченную форму Imagen модели преобразования текста в изображение. Третья итерация AI Test Kitchen была в разработке к январю 2023 года, и ожидается, что она будет запущена в режиме ввода-вывода позже в том же году.
Бард[править]
В ноябре 2022 года OpenAI запустила ChatGPT, чат-бота, основанного на семействе языковых моделей GPT-3. ChatGPT привлек внимание всего мира после своего выхода, став вирусной интернет-сенсацией.Встревоженные потенциальной угрозой ChatGPT для поиска Google, Google и генеральный директор материнской компании Alphabet Сундар Пичаи объявили предупреждение о "красном коде" в масштабах всей компании, переназначив несколько команд для оказания помощи в усилиях компании по ИИ. Соучредители Google Ларри Пейдж и Сергей Брин совершили редкий и беспрецедентный шаг., которые ушли со своих постов со-генеральных директоров Alphabet в 2019 году, были вызваны на экстренное совещание с руководителями компании, чтобы обсудить реакцию Google на ChatGPT.<a></a>Отвечая на вопрос сотрудников на общем собрании, была ли LaMDA упущенной возможностью для Google конкурировать с ChatGPT, Пичаи и глава <a>Google AI </a><a>Джефф Дин</a> заявили, что, хотя у компании были аналогичные возможности с ChatGPT, слишком быстрое продвижение на этой арене представляло бы серьезный "репутационный риск" из-за того, что Google существеннобольше, чем OpenAI.<a></a><a></a>В январе 2023 года генеральный директор DeepMind<a></a>Демис Хассабис поделился планами конкурента ChatGPT, и сотрудникам Google было поручено ускорить работу над конкурентом ChatGPT, интенсивно тестируя "Apprentice Bard" и других чат-ботов. Пичаи заверил инвесторов во время ежеквартального опроса инвесторов о доходах Google в феврале, что у компании есть планы по расширению доступности LaMDA и приложений.
6 февраля Google анонсировала Bard, чат-бота с искусственным интеллектом, работающего на LaMDA. Bard был впервые представлен избранной группе из 10 000 "доверенных тестировщиков" перед широким выпуском, запланированным на конец месяца. Bard контролируется руководителем продукта Джеком Кравчиком, который описал продукт как "совместный сервис искусственного интеллекта", а не поисковую систему.Пичаи описал, как Bard будет интегрирован в поиск Google, и компания работает над интеграцией Bard в операционную систему ChromeOS. Агентство Рейтер подсчитало, что добавление функций, подобных ChatGPT, в поиск Google может стоить компании дополнительных расходов в размере 6 миллиардов долларов к 2024 году, в то время как исследовательская и консалтинговая фирма SemiAnalysis подсчитала, что это обойдется Google в 3 миллиарда долларов. Технология была разработана под кодовым названием "Atlas", с названием "Bard", отсылающим к кельтскому термину, обозначающему рассказчика, и выбрана для "отражения творческой природы лежащего в основе алгоритма". Многочисленные СМИ и финансовые аналитики описали Google как "догоняющий" Microsoft, а также "поспешное" объявление Барда, чтобы опередить мероприятие Microsoft от 7 февраля, посвященное партнерству с OpenAI по интеграции ChatGPT в поисковую систему Bing.Том Уоррен из The Verge и Дэйви Альба из Bloomberg News отметили, что это положило начало очередному столкновению между двумя крупными технологическими компаниями из-за "будущего поиска" после того, как их шестилетнее "перемирие" истекло в 2021 году; Крис Стокел-Уокер из The Guardian,Сара Моррисон из Recode и аналитик Дэн Айвз из инвестиционной фирмы Wedbush Securities назвали это гонкой вооружений ИИ между двумя.
После "неутешительной" прямой трансляции 8 февраля в Париже с участием Bard акции Google упали на восемь процентов, что эквивалентно потере рыночной стоимости в 100 миллиардов долларов, а видеозапись прямой трансляции на YouTube стала частной.
Многие зрители также указали на ошибку во время демонстрации, в которой Бард дает неточную информацию о космическом телескопе Джеймса Уэбба в ответ на запрос. Сотрудники Google раскритиковали "поспешное" и "неудачное" объявление Пичаи о Bard на Memgen, внутреннем форуме компании, в то время как Мэгги Харрисон изФутуристы назвали развертывание "хаосом". Пичаи защищал свои действия, говоря, что Google "долгое время глубоко работал над ИИ", отвергая мнение о том, что запуск Bard был спонтанной реакцией.[69]Председатель Alphabet Джон Хеннесси признал, что продукт Bard еще не полностью готов, но выразил восхищение потенциалом технологии. Через неделю после провала Джеймса Уэбба Пичаи попросил сотрудников посвятить от двух до четырех часов тестированию кормов для собак Bard, в то время как исполнительный директор Google Прабхакар Рагхаван призвал сотрудников исправлять любые ошибки, которые допускает Bard. 80 000 сотрудников откликнулись на призыв Пичаи к действию. После того, как Pichai внезапно уволил 12 000 сотрудников позже в том же месяце из-за замедления роста доходов, оставшиеся работники поделились мемами и фрагментами своих юмористических обменов с Bard, запрашивая его "мнение" об увольнениях.
21 марта Google открыл ранний доступ к Bard в ограниченном объеме, что позволило пользователям в США и Великобритании присоединиться к списку ожидания. В отличие от подхода Microsoft к Bing, Bard был запущен как отдельное веб-приложение с текстовым полем и оговоркой о том, что чат-бот "может отображать неточную или оскорбительную информацию, которая не отражает взгляды Google". *Затем на каждый вопрос дается три ответа, при этом пользователям предлагается оставить отзыв о полезности каждого ответа. *Googleвице-президенты Сисси Сяо и Эли Коллинз представили Bard в качестве дополнения к Google Search и заявили, что компания не определила, как сделать сервис прибыльным. Среди тех, кому был предоставлен ранний доступ, были те, кто зарегистрировался в программе лояльности Google "Pixel Superfans".
Другие продукты[править]
В дополнение к Bard, Пичаи также представил Generative Language API компании, интерфейс прикладного программирования, также основанный на LaMDA, который, как он объявил, будет открыт для сторонних разработчиков в марте 2023 года.
Способ[править]
LaMDA использует модель языка преобразования только для декодера.[78]Он предварительно обучается на текстовом корпусе, который включает в себя как документы, так и диалоговые окна, состоящие из 1,56 триллиона слов, а затем обучается с помощью точной настройки данных, сгенерированных вручную аннотированных ответов для наглядности, интересности и безопасности. Тесты, проведенные Google, показали, что LaMDA превзошел человеческие ответы в области интересности.Модель LaMDA transformer и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю.
Были протестированы три разные модели, самая большая из которых имела 137 миллиардов параметров, не связанных с внедрением:
| Параметры | Слои | Единицы измерения (модель d) | Головы |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
Смотри также[править]
- Этика искусственного интеллекта
- Обработка естественного языка
- Пальма
- Философия искусственного интеллекта