Каркас памяти-предсказания

Структура памяти-предсказания-это теория функции мозга, созданная Джеффом Хокинсом и описанная в его книге 2004 года по интеллекту . Эта теория касается роли неокортекса млекопитающих и его ассоциаций с гиппокампом и таламусом в согласовании сенсорных входов с сохраненными паттернами памяти и того, как этот процесс приводит к предсказаниям того, что произойдет в будущем.

Обзор

Эта теория мотивирована наблюдаемым сходством между структурами головного мозга (особенно неокортикальной тканью), которые используются для широкого спектра доступных млекопитающим форм поведения. Теория утверждает, что удивительно однородное физическое расположение кортикальной ткани отражает единый принцип или алгоритм, который лежит в основе всей обработки кортикальной информации. Основной принцип обработки гипотетически является петлей обратной связи / напоминания, которая включает в себя как корковое, так и внекорковое участие (последнее из таламуса и гиппокампа в частности).

Основная теория: распознавание и предсказание в двунаправленных иерархиях

Центральная концепция структуры памяти-предсказания заключается в том , что входы снизу вверх согласовываются в иерархии распознавания и вызывают ряд ожиданий сверху вниз, закодированных как потенциалы. Эти ожидания взаимодействуют с восходящими сигналами снизу вверх для анализа этих входных данных и формирования прогнозов из последующих ожидаемых вводимых ресурсов. Каждый уровень иерархии запоминает часто наблюдаемые временные последовательности входных паттернов и генерирует метки или "имена" для этих последовательностей. Когда входная последовательность совпадает с запомненной последовательностью на данном уровне иерархии, метка или " имя " распространяется вверх по иерархии – таким образом, устраняя детали на более высоких уровнях и позволяя им изучать последовательности более высокого порядка. Этот процесс создает повышенную инвариантность на более высоких уровнях. Более высокие уровни предсказывают будущие входные данные, сопоставляя частичные последовательности и проецируя свои ожидания на более низкие уровни. Однако, когда возникает несоответствие между входными и запоминаемыми/предсказанными последовательностями, более полное представление распространяется вверх. Это приводит к тому, что альтернативные "интерпретации" активируются на более высоких уровнях, что, в свою очередь, порождает другие прогнозы на более низких уровнях.

Рассмотрим, например, процесс зрения . Восходящая снизу информация начинается как низкоуровневые ретинальные сигналы (указывающие на наличие простых зрительных элементов и контрастов). На более высоких уровнях иерархии извлекается все более значимая информация, касающаяся наличия линий, областей , движений и т. д. Еще выше по иерархии активность соответствует наличию определенных объектов-а затем и поведению этих объектов. Нисходящая информация заполняет детальные сведения о распознаваемых объектах, а также об их ожидаемом поведении с течением времени.

Сенсорная иерархия вызывает ряд различий между различными уровнями. По мере движения вверх по иерархии представления увеличиваются:

• Экстент-например, более крупные области зрительного поля или более обширные тактильные области.
• Временная стабильность-объекты более низкого уровня меняются быстро, в то время как перцепты более высокого уровня имеют тенденцию быть более стабильными.
• Абстрагирование-через процесс последовательного извлечения инвариантных признаков распознаются все более абстрактные сущности.

Связь между сенсорной и моторной обработкой является важным аспектом основной теории. Предлагается, что моторные области кортекса состоят из поведенческой иерархии, подобной сенсорной иерархии, с самыми низкими уровнями, состоящими из явных моторных команд к мускулатуре и самых высоких уровней, соответствующих абстрактным предписаниям (например, "изменить размер браузера"). Сенсорная и моторная иерархии тесно связаны, причем поведение порождает сенсорные ожидания и сенсорные восприятия, управляющие моторными процессами.

Наконец, важно отметить, что все воспоминания в кортикальной иерархии должны быть изучены – эта информация не предварительно связана с мозгом. Таким образом, процесс извлечения этого представления из потока входных данных и поведения теоретизируется как процесс, который постоянно происходит в процессе познания .

Другие термины

Хокинс имеет обширную подготовку в качестве инженера-электрика. Другой способ описания теории (на который намекает в своей книге) заключается в том, что она представляет собой обучающую иерархию питающих вперед стохастических государственных машин . С этой точки зрения мозг анализируется как проблема кодирования, не слишком отличающаяся от предсказывающих будущее кодов коррекции ошибок. Иерархия-это иерархия абстракции, с состояниями машин более высокого уровня, представляющими более абстрактные условия или события, и эти состояния предрасполагают машины более низкого уровня выполнять определенные переходы. Машины более низкого уровня моделируют ограниченные Домены опыта, или контролируют или интерпретируют датчики или эффекторы. Вся эта система фактически контролирует поведение организма. Поскольку государственная машина является "подачей вперед", организм реагирует на будущие события, предсказанные из прошлых данных. Поскольку эта система иерархична, она проявляет поведенческую гибкость, легко производя новые последовательности поведения в ответ на новые сенсорные данные. Поскольку система учится, новое поведение приспосабливается к изменяющимся условиям.

То есть эволюционная цель мозга состоит в том, чтобы предсказывать будущее, по общему признанию ограниченными способами, чтобы изменить его.

Нейрофизиологическая реализация

Теоретически описанные выше иерархии возникают главным образом в неокортексе млекопитающих. В частности, предполагается, что неокортекс состоит из большого количества колонок (как предположил также Вернон Бенджамин Монткастл из анатомических и теоретических соображений). Каждый столбец настраивается на определенный объект на заданном уровне иерархии. Он получает входы снизу вверх с более низких уровней, а входы сверху вниз с более высоких уровней. (Другие столбцы на том же уровне также подают в данный столбец и служат в основном для подавления эксклюзивных представлений активации.) Когда входной сигнал распознан – то есть получено приемлемое согласие между восходящими и нисходящими источниками-столбец генерирует выходные данные, которые в свою очередь распространяются как на более низкие, так и на более высокие уровни.

Cortex

Эти процессы хорошо соотносятся с определенными слоями коры головного мозга млекопитающих. (Кортикальные слои не следует путать с различными уровнями иерархии обработки: все слои в одном столбце участвуют как один элемент в одном иерархическом уровне). Вход снизу вверх поступает в слой 4 (L4), откуда он распространяется на L2 и L3 для распознавания инвариантного содержимого. Активация сверху-вниз поступает в L2 и L3 через L1 (в основном аксональный слой, который распределяет активацию локально по столбцам). L2 и L3 сравнивают информацию снизу вверх и сверху вниз и генерируют либо инвариантные "имена", когда достигается достаточное соответствие, либо более переменные сигналы, которые возникают, когда это не удается. Эти сигналы распространяются вверх по иерархии (через L5), а также вниз по иерархии (через L6 и L1).

Таламус

Для учета хранения и распознавания последовательностей паттернов предлагается комбинация двух процессов. Неспецифический таламус действует как "линия задержки" -то есть L5 активирует эту область мозга, которая повторно активирует L1 после небольшой задержки. Таким образом, выход одного столбца генерирует активность L1, которая будет совпадать с входом в столбец, который является временным последующим внутри последовательности. Это упорядочение по времени работает в сочетании с идентификацией последовательности более высокого уровня, которая не изменяется во времени; следовательно, активация представления последовательности приводит к тому, что компоненты более низкого уровня предсказываются один за другим. (Помимо этой роли в секвенировании, таламус также активен как сенсорная Путевая станция - эти роли, по-видимому, связаны с различными областями этой анатомически неоднородной структуры.)

Гиппокамп

Другая анатомически разнообразная структура мозга, которая предположительно играет важную роль в иерархическом познании, - это гиппокамп . Хорошо известно, что повреждение обоих гиппокампов затрудняет формирование долговременной декларативной памяти; люди с такими повреждениями не могут сформировать новые воспоминания эпизодической природы, хотя они могут вспомнить более ранние воспоминания без трудностей и могут также научиться новым навыкам. В современной теории гиппокампы считаются высшим уровнем кортикальной иерархии; они специализируются на сохранении воспоминаний о событиях, которые распространяются до самого верха. Поскольку такие события укладываются в предсказуемые схемы, они становятся запоминаемыми на более низких уровнях иерархии. (Такое движение воспоминаний вниз по иерархии, между прочим, является общим предсказанием теории. Таким образом, гиппокамп постоянно запоминает "неожиданные" события (то есть те, которые не были предсказаны на более низких уровнях); если они повреждены, весь процесс запоминания через иерархию ставится под угрозу. Дополнительная информация: Разместить ячейку Дополнительная информация: Схема Papez

В 2016 году Джефф Хокинс предположил, что кортикальные колонки не просто захватывают ощущение, но и относительное расположение этого ощущения, в трех измерениях, а не в двух ( расположенный захват), по отношению к тому, что было вокруг него.[1]" Когда мозг строит модель мира, все имеет место относительно всего остального " [1] —Джефф Хокинс.

Объяснительные успехи и прогнозы

Структура памяти-предсказания объясняет ряд психологически значимых аспектов познания. Например, способность специалистов в любой области легко анализировать и запоминать сложные проблемы в своей области является естественным следствием их формирования все более утонченных концептуальных иерархий. Кроме того, переход от "восприятия" к "пониманию" легко объясним в результате сопоставления ожиданий сверху вниз и снизу вверх. Несоответствия же, напротив, порождают исключительную способность биологического познания обнаруживать неожиданные восприятия и ситуации. (Недостатки в этом отношении являются общей характеристикой современных подходов к искусственному интеллекту.)

Помимо этих субъективно удовлетворяющих объяснений, фреймворк также делает ряд проверяемых прогнозов. Например, важная роль, которую предсказание играет во всех сенсорных иерархиях, требует опережающей нервной активности в определенных клетках во всей сенсорной коре. Кроме того, ячейки, которые "называют" определенные инварианты, должны оставаться активными на протяжении всего существования этих инвариантов, даже если исходные данные изменяются. Предсказанные паттерны восходящей и нисходящей активности-причем первая из них является более сложной, когда ожидания не оправдываются-могут быть обнаружены, например, с помощью функциональной магнитно-резонансной томографии ( фМРТ ).

Хотя эти предсказания не очень специфичны для предлагаемой теории, они достаточно однозначны, чтобы сделать возможной верификацию или отклонение ее основных постулатов. Смотрите раздел об интеллекте для получения подробной информации о прогнозах и выводах.

Вклад и ограничения

По замыслу, нынешняя теория основывается на работах многих нейробиологов, и можно утверждать, что большинство этих идей уже было предложено такими исследователями, как Гроссберг и Монткастл . С другой стороны, новое отделение концептуального механизма (т. е. двунаправленной обработки и инвариантного распознавания) от биологических деталей (т. е. нейронных слоев, колонок и структур) закладывает основу для абстрактного мышления о широком спектре когнитивных процессов.

Наиболее существенным ограничением этой теории является ее нынешнее отсутствие детализации. Например, понятие инвариантности играет решающую роль; Хокинс постулирует "ячейки имен" по крайней мере для некоторых из этих инвариантов. (Смотрите также кодирование нейронного ансамбля#для бабушкиных нейронов, выполняющих этот тип функции, и зеркальных нейронов для соматосенсорной системы точка зрения.) Но далеко не очевидно, как разработать математически строгое определение, которое будет нести необходимую концептуальную нагрузку через области, представленные Хокинсом. Точно так же полная теория потребует достоверных подробностей как о краткосрочной динамике, так и о процессах обучения, которые позволят кортикальным слоям вести себя так, как это рекламируется.

IBM реализует модель Хокинса.

Модели машинного обучения

Теория памяти-предсказания утверждает, что общий алгоритм используется всеми областями неокортекса. Теория дала начало ряду программных моделей, направленных на моделирование этого общего алгоритма с использованием иерархической структуры памяти. Год в списке ниже указывает, когда модель была обновлена в последний раз.

Модели, основанные на байесовских сетях

Следующие модели используют распространение убеждений или пересмотр убеждений в односвязных байесовских сетях .

• Иерархическая временная память (HTM), модель, связанная с ней платформа разработки и исходный код от Numenta, Inc. (2008).
• HtmLib [ dead link], альтернативная реализация алгоритмов HTM Грега Коханиака с рядом модификаций для повышения точности и скорости распознавания (2008).
• Project Neocortex, проект с открытым исходным кодом для моделирования структуры памяти-предсказания (2008).
• Научная страница Саулюса Гаралевичуса, научные статьи и программы, представляющие экспериментальные результаты с моделью структуры памяти-предсказания, являющейся основой для проекта Neocortex (2007).
• George, Dileep (2005). "Иерархическая байесовская модель инвариантного распознавания образов в зрительной коре". CiteSeerX 10.1.1.132.6744. статья, описывающая более раннюю байесовскую модель pre-HTM соучредителем Numenta . Это первая модель структуры памяти-предсказания, которая использует байесовские сети, и все вышеперечисленные модели основаны на этих исходных идеях. Исходный код Matlab этой модели был свободно доступен для скачивания в течение ряда лет.

Другие модели

• Реализация MPF, статья Саулюса Гаралевичуса, описывающая метод классификации и прогнозирования в модели, которая хранит временные последовательности и использует бесконтрольное обучение (2005).
• M5, машина картины для OS ладони которая хранит последовательности картины и вспоминает картины уместные к своей настоящей окружающей среде (2007).
• BrainGame, класс предикторов с открытым исходным кодом, который изучает шаблоны и может быть связан с другими предикторами (2005).

Смотрите также

• Вернон Монткастл, нейробиолог, открывший и охарактеризовавший столбчатую организацию коры головного мозга.
• Адаптивная резонансная теория, нейросетевая архитектура, разработанная Стивеном Гроссбергом .
• Вычислительная нейробиология
• Нейронный Дарвинизм
• Прогнозирующее кодирование
• Прогностическое обучение
• Разреженная распределенная память]]

Дальнейшее чтение

Джефф Хокинс (2004), On Intelligence, New York: Henry Holt. Библиография, указатель, 251 страница.

Пруф

poggio-lab.mit.edu/

• web.archive.org/web/20060510035807/http://neurosecurity.com/
• .technologyreview.com/s/407297/building-the-cortex-in-silicon/