Передача обучения

Трансфертное обучение-это исследовательская задача в машинном обучении, которая фокусируется на хранении знаний, полученных при решении одной проблемы, и применении ее к другой, но связанной с ней проблеме. например, знания, полученные во время обучения распознаванию автомобилей, могут применяться при попытке распознать грузовики. Эта область исследования имеет некоторое отношение к долгой истории психологической литературы по переносу обучения , хотя формальные связи между этими двумя областями ограничены.

История

Самая ранняя цитируемая работа по передаче в машинном обучении относится к Лориену Пратту, который сформулировал алгоритм передачи на основе различимости (DBT) в 1993 году.

В 1997 году журнал Machine Learning опубликовал специальный выпуск, посвященный трансфертному обучению , а к 1998 году область продвинулась вперед, чтобы включить многозадачное обучение [4] наряду с более формальным анализом его теоретических основ. Учимся учиться, отредактированный Праттом и Себастьяном Труном , является обзором 1998 года предмета.

Передача обучения также была применена в когнитивной науке, с журналом Connection Science публикация специального выпуска по повторному использованию нейронных сетей посредством переноса в 1996 году.

Определение

Определение трансфертного обучения дается в терминах предметной области и задачи. Область D Дсостоит из: пространства признаков X Икси распределения предельной вероятности P ( X ) P (X), где X = { x 1 , . . . , x n } ∈ X ,...,x_{n}\}\in X} ,..., x_{n}\}\in X}. Учитывая конкретную область D = { X , P ( X ) } , задача состоит из двух компонентов: пространства меток Y Годи целевой прогностической функции f ( ⋅ ) f (\cdot )(обозначаемой T = { Y , f ( ⋅ ) } \}} , которая извлекается из данных обучения , состоящих из пар , которые состоят из пар { x i , y i } ,y_{i}\}} , y_{i}\}}, где x i ∈ X x_{i}\in Xи y i ∈ Y y_{i}\in Y. Функция f ( ⋅ ) f (\cdot )может использоваться для прогнозирования соответствующей метки f ( x ) f (x)нового экземпляра x икс.[8]]

Учитывая исходную область D S D_{S}и задачу обучения T S T_{S}, целевую область D T D_{T}и задачу обучения T T T_{T}, transfer learning стремится помочь улучшить изучение целевой прогнозирующей функции f T ( ⋅ ) (\cdot )} (\cdot )}при D T D_{T}использовании знаний в D S D_{S}и T S T_{S}, где D S = D T =D_{T}}или T S = T T =T_{T}}

Приложения

Алгоритмы доступны для обучения передаче в марковских логических сетях и байесовских сетях . изучение передачи также было применено к подтипу рака открытие, использование здания, общая игра, классификация текста и фильтрация спама .

См. также

• Кроссовер (генетический алгоритм)
• Адаптация домена
• Общая игра
• Многозадачное обучение
• Многозадачная оптимизация

Источник

Трон, Себастьян; Пратт, Лориен (6 Декабря 2012). Учимся учиться . Springer Science & Business Media.

Пруф

machinelearning.ru/