ChatGPT

ChatGPT (Generative Pre-trained Transformer) - чат-бот, запущенный OpenAI в ноябре 2022 года. Он построен на основе семейства больших языковых моделей OpenAI GPT-3 и доработан (подход к передаче обучения) с использованием методов обучения под наблюдением и подкреплением.

ChatGPT был запущен в качестве прототипа 30 ноября 2022 года и быстро привлек внимание благодаря подробным ответам и четким ответам во многих областях знаний. Его неравномерная фактическая точность была определена как существенный недостаток. После выпуска ChatGPT OpenAI, как сообщается, оценивался в 29 миллиардов долларов

Генеральный директор OpenAI Сэм Альтман

Обучение

ChatGPT был доработан поверх GPT-3.5 с использованием обучения под наблюдением, а также обучения с подкреплением. В обоих подходах использовались люди-тренеры для улучшения производительности модели. В случае обучения под наблюдением модель была снабжена беседами, в которых инструкторы играли обе стороны: пользователя и помощника ИИ. На этапе подкрепления инструкторы-люди сначала оценивали ответы, которые модель создала в предыдущем разговоре. Эти рейтинги использовались для создания "моделей вознаграждения", которые были дополнительно доработаны с использованием нескольких итераций оптимизации политики Proximal Policy Optimization (PPO). Алгоритмы оптимизации проксимальной политики представляют собой экономически выгодное преимущество для алгоритмов оптимизации политики региона доверия; они сводят на нет многие дорогостоящие в вычислительном отношении операции с более высокой производительностью.[8] Модели были обучены в сотрудничестве с Microsoft на их суперкомпьютерной инфраструктуре Azure.

Кроме того, OpenAI продолжает собирать данные от пользователей ChatGPT, которые могут быть использованы для дальнейшего обучения и тонкой настройки ChatGPT. Пользователи могут голосовать за или против ответов, которые они получают от ChatGPT; после голосования за или против они также могут заполнить текстовое поле дополнительной обратной связью.

Особенности и ограничения

Хотя основная функция чат-бота - имитировать собеседника-человека, журналисты также отмечают универсальность ChatGPT и его навыки импровизации, в том числе его способность писать и отлаживать компьютерные программы; сочинять музыку, телепередачи, сказки и студенческие эссе; отвечать на вопросы теста (иногда, в зависимости от теста,на уровне выше среднего тестируемого человека); писать стихи и тексты песен; эмулировать систему Linux; имитировать всю комнату чата; играть в такие игры, как крестики-нолики; и имитировать банкомат. Обучение ChatGPTданные включают справочные страницы и информацию об интернет-явлениях и языках программирования, таких как системы досок объявлений и язык программирования Python.

По сравнению со своим предшественником, InstructGPT, ChatGPT пытается уменьшить количество вредоносных и лживых ответов. В одном примере, в то время как InstructGPT принимает предпосылку запроса "Расскажите мне о том, когда Христофор Колумб прибыл в США в 2015 году" как правдивую, ChatGPT признает контрфактуальный характер вопроса и формулирует свой ответ как гипотетическое рассмотрение того, что могло бы произойти, если бы Колумб прибыл в США в 2015 году.2015 год, с использованием информации о путешествиях Колумба и фактов о современном мире, включая современное восприятие действий Колумба.

В отличие от большинства чат-ботов, ChatGPT запоминает предыдущие подсказки, данные ему в том же разговоре; журналисты предположили, что это позволит использовать ChatGPT в качестве персонального терапевта. Чтобы предотвратить представление и получение оскорбительных результатов в ChatGPT, запросы фильтруются через API модерации OpenAI в масштабах всей компании[18], а потенциально расистские или сексистские запросы отклоняются.

ChatGPT страдает от множества ограничений. OpenAI признал, что ChatGPT "иногда пишет правдоподобно звучащие, но неправильные или бессмысленные ответы". Такое поведение характерно для больших языковых моделей и называется галлюцинацией. Модель вознаграждения ChatGPT, разработанная с учетом человеческого контроля, может быть чрезмерно оптимизирована и, следовательно, снижать производительность, иначе известная как закон Гудхарта. ChatGPT располагает ограниченными знаниями о событиях, произошедших после 2021 года. По данным BBC, с декабря 2022 года ChatGPT запрещено "выражать политические взгляды или заниматься политической активностью". Тем не менее, исследования показывают, что ChatGPT проявляет проэкологическую, леволибертарную ориентацию, когда ему предлагается занять позицию по политическим заявлениям из двух установленных приложений для голосования. В обучающем ChatGPT рецензенты-люди предпочитали более длинные ответы, независимо от фактического понимания или фактического содержания. Обучающие данные также страдают от алгоритмической предвзятости, которая может проявляться, когда ChatGPT отвечает на запросы, включая описания людей. В одном случае ChatGPT породил рэп, указывающий на то, что цветные женщины и ученые уступают белым и ученым-мужчинам.

Обслуживание

ChatGPT был запущен 30 ноября 2022 года компанией OpenAI из Сан-Франциско, создателем DALL ·E 2 и Whisper. Изначально сервис был запущен как бесплатный для общественности, с планами монетизации сервиса позже. По оценкам OpenAI, к 4 декабря у ChatGPT уже было более миллиона пользователей.15 декабря 2022 года CNBC написал, что сервис "все еще время от времени отключается". Сервис лучше всего работает на английском языке, но также может функционировать на некоторых других языках с разной степенью успеха. В отличие от некоторых других недавних громких достижений в области ИИ, по состоянию на декабрь 2022 года, нет никаких признаков официального рецензируемого технического документа о ChatGPT.

По словам приглашенного исследователя OpenAI Скотта Ааронсона, OpenAI работает над инструментом, который попытается использовать водяные знаки в своих системах генерации текста, чтобы бороться с злоумышленниками, использующими их сервисы для академического плагиата или спама.[29][30]В декабре 2022 года New York Times сообщила, что, по "слухам", следующая версия GPT, GPT-4, будет запущена где-то в 2023 году.

Прием, критика и проблемы

Положительные реакции

ChatGPT был встречен в декабре 2022 года в целом положительными отзывами; New York Times назвала его "лучшим чат-ботом с искусственным интеллектом, когда-либо выпущенным для широкой публики". Саманта Лок The Guardian отметила, что он способен генерировать "впечатляюще подробный" и "похожий на человеческий" текст. Технический писатель Дэн Гиллмор использовал ChatGPT в студенческом задании и обнаружил, что сгенерированный им текст соответствует тому, что мог бы предоставить хороший студент, и высказал мнение, что "академическийему предстоит столкнуться с некоторыми очень серьезными проблемами".Алекс Кантровиц из журнала Slate высоко оценил реакцию ChatGPT на вопросы, связанные с нацистской Германией, в том числе на утверждение, что Адольф Гитлер строил автомагистрали в Германии, что было встречено информацией об использовании нацистской Германией принудительного труда.

В журнале Atlantic "Прорывы года" за 2022 год Дерек Томпсон включил ChatGPT в список "the generative-AI eruption", который "может изменить наше мнение о том, как мы работаем, как мы думаем, и что такое человеческое творчество на самом деле".

Келси Пайпер с веб-сайта Vox написала, что "ChatGPT - это первое практическое знакомство широкой публики с тем, насколько мощным стал современный ИИ, и в результате многие из нас (ошеломлены)" и что "ChatGPT достаточно умен, чтобы быть полезным, несмотря на его недостатки". Недостатки". Пол Грэм из Y Combinator написал в Твиттере, что "Поразительная вещь в реакции на ChatGPT - это не только количество людей, которые поражены этим, но и то, кем они являются. Это не те люди, которые приходят в восторг от каждой новой блестящей вещи. Очевидно, что происходит что-то большое ". Илон Маск написал, что "ChatGPT страшно хорош. Мы недалеко ушли от опасно сильного ИИ". Маск приостановил доступ OpenAI к базе данных Twitter до лучшего понимания планов OpenAI, заявив, что "OpenAI был создан как некоммерческая организация с открытым исходным кодом. Ни то, ни другое до сих пор не соответствует действительности ". Маск был одним из основателей OpenAI в 2015 году, отчасти для решения экзистенциальных рисков, связанных с искусственным интеллектом, но ушел в отставку в 2018 году

Согласно New York Times, в декабре 2022 года Google внутренне выразила тревогу по поводу неожиданной силы ChatGPT и недавно обнаруженного потенциала больших языковых моделей для разрушения бизнеса поисковых систем, а генеральный директор Сундар Пичаи "перевернул" и переназначил команды в нескольких отделах для помощи в своих продуктах с искусственным интеллектом.[40] 3 января 2023 года появилась информация о том, что Microsoft Bing планирует добавить дополнительные функции ChatGPT в свою общедоступную поисковую систему, возможно, примерно в марте 2023 года.

Негативные реакции

Ca

В статье, опубликованной в декабре 2022 года, экономист Пол Кругман написал, что ChatGPT повлияет на спрос на работников умственного труда. Джеймс Винсент из The Verge увидел в вирусном успехе ChatGPT свидетельство того, что искусственный интеллект стал мейнстримом. Журналисты прокомментировали склонность ChatGPT к "галлюцинациям". Майк Перл из Mashable протестировал ChatGPT, задав несколько вопросов. В одном примере он попросил ChatGPT назвать "самую большую страну в Центральной Америке, которая не является Мексикой". ChatGPT ответил Гватемалой, когда вместо ответа было указано Никарагуа.Когда CNBC попросил ChatGPT предоставить текст песни "The Ballad of Dwight Fry", ChatGPT предоставил придуманный текст, а не сам текст. Исследователи, цитируемые The Verge, сравнили ChatGPT со "случайным попугаем", как и профессор Антон Ван Ден Хенгель из Австралийского института машинного обучения.

В декабре 2022 года веб-сайт вопросов и ответов Stack Overflow запретил использование ChatGPT для генерации ответов на вопросы, сославшись на фактически неоднозначный характер ответов ChatGPT. В январе 2023 года Международная конференция по машинному обучению запретила любое недокументированное использование ChatGPT или других больших языковых моделей для генерации любого текста в представленных документах.

Экономист Тайлер Коуэн выразил обеспокоенность по поводу его влияния на демократию, сославшись на способность человека писать автоматические комментарии, чтобы повлиять на процесс принятия новых правил. The Guardian задалась вопросом, можно ли по-настоящему доверять какому-либо контенту, найденному в Интернете после выхода ChatGPT, и призвала к государственному регулированию.

Последствия для кибербезопасности

Check Point Research и другие отметили, что ChatGPT способен создавать фишинговые электронные письма и вредоносные программы, особенно в сочетании с OpenAI Codex. Генеральный директор создателя ChatGPT OpenAI Сэм Альтман написал, что развитие программного обеспечения может представлять "(например) огромный риск для кибербезопасности", а также продолжил предсказывать, что "мыв следующем десятилетии может появиться настоящий AGI (искусственный общий интеллект), поэтому мы должны очень серьезно отнестись к этому риску ". Альтман утверждал, что, хотя ChatGPT "явно не близок к AGI", следует "доверять экспоненте. Плоский взгляд назад, вертикальный взгляд вперед".

Последствия для образования

Близкие слова

В журнале Atlantic Стивен Марке отметил, что его влияние на академические круги и особенно на прикладные эссе еще предстоит понять.[52] Учитель средней школы Калифорнии и писатель Дэниел Херман написал, что ChatGPT ознаменует "Конец английского языка в средней школе".

В журнале Nature Крис Стокел-Уокер отметил, что учителя должны быть обеспокоены тем, что учащиеся используют ChatGPT для передачи своих работ на аутсорсинг, но что образовательные учреждения будут адаптироваться, чтобы улучшить критическое мышление или рассуждения.

Эмма Боуман из NPR написала об опасности плагиата студентов с помощью инструмента искусственного интеллекта, который может выдавать предвзятый или бессмысленный текст с авторитетным тоном: "Все еще есть много случаев, когда вы задаете ему вопрос, и он даст вам очень впечатляюще звучащий ответ, который просто абсолютно неверен".

Джоанна Стерн из The Wall Street Journal описала списывание в американской средней школе английского языка с помощью инструмента, отправив сгенерированное эссе. Профессор Даррен Хик из Университета Фурмана описал, как заметил "стиль" ChatGPT в работе, представленной студентом. Онлайн-детектор GPT утверждал, что бумага с вероятностью 99,9% была сгенерирована компьютером, но у Хика не было веских доказательств. Однако студент, о котором идет речь, признался в использовании GPT при столкновении и, как следствие, провалил курс.Хик предложил проводить специальный индивидуальный устный экзамен по теме статьи, если у студента есть серьезные подозрения в том, что он представил работу, созданную искусственным интеллектом. Эдвард Тянь, студент старших курсов Принстонского университета, заявил, что он создал программу под названием "GPTZero", которая обнаруживаетнезависимо от того, написано ли эссе человеком или нет, для борьбы с академическим плагиатом.

С 4 января 2023 года Департамент образования города Нью-Йорка ограничил доступ к ChatGPT из интернета и устройств государственных школ.

Побег из тюрьмы

ChatGPT пытается отклонять запросы, которые могут нарушать его политику в отношении контента. Однако некоторым пользователям удалось совершить джейлбрейк ChatGPT, используя различные быстрые инженерные методы, чтобы обойти эти ограничения в начале декабря 2022 года, и они успешно обманули ChatGPT, заставив его дать инструкции о том, как создать коктейль Молотова или ядерную бомбу, или привести аргументы в стиле неонацистов.Репортер Toronto Star имел неравномерный личный успех в том, чтобы заставить ChatGPT делать подстрекательские заявления вскоре после запуска: ChatGPT был обманут, чтобы поддержать российское вторжение в Украину, но даже когда его попросили подыграть вымышленному сценарию, ChatGPT отказался приводить аргументы в пользу того, почему премьер-министр Канады Джастин Трюдо виновен в государственной измене.

Векторизация слов

Векторизация слов

Вероятность встреч

Какие слова чаще встречаются рядом в вероятностной моделе . Математическая модель типа трансформеров от гугла .

Вопрос

На вопрос задействовано 10 видеокарт А 100 тесла

видеокарточка стоит 20 000$ , это на вопрос напиши мне стих про коалу из 4 строк , задействовано мощьности на 200 000$ .

NVIDIA A100 80GB GPU PCI-E x16 80GB HBM2, PCIe x16 4.0, Dual Slot FHFL, Passive, 300W (900-21001-0020-100)

Одинарная точность (MUL+ADD+SF) 19490, Гигафлопс

Двойная точность 9746, Гигафлопс

Пропускная способность памяти - 1935 Гбит/с. NVLink 600 Гбит/с. TDP 300W

Смотрите также

Антропоморфизм компьютеров

• Рассуждения, основанные на здравом смысле
• Вычислительное творчество
• Этика искусственного интеллекта
• LaMDA (чат-бот Google)
• Тест Тьюринга
• Виртуальный помощник
• GPT-3
• Математическая лингвистика

Видео

youtube.com/watch?v=ElhH7E6pxpw

Пруф

/chat.openai.com/

• arxiv.org/abs/2203.02155
• wsj.com/articles/chatgpt-wrote-my-ap-english-essayand-i-passed
• .youtube.com/watch?v=n_UaL6MKRoc
• youtube.com/watch?v=1NNtMG30Mjk