Адаптация домена

Адаптация домена - это область, связанная с машинным обучением и обучением передаче . Этот сценарий возникает, когда мы стремимся изучить из распределения исходных данных хорошо работающую модель на другом (но связанном) целевом распределении данных. Например, одна из задач общей проблемы фильтрации спама заключается в адаптации модели от одного пользователя (исходного дистрибутива) к новому, получающему существенно отличающиеся электронные письма (целевой дистрибутив). Было также показано, что адаптация предметной области полезна для изучения несвязанных источников. Обратите внимание, что при наличии нескольких исходных дистрибутивов проблема называется адаптацией нескольких исходных доменов.

Различие между обычной установкой машинного обучения и обучением передаче, и позиционированием адаптации домена.

Формализация

Позвольте X Иксбыть входным пространством (или пространством описания) и позвольте Y Годбыть выходным пространством (или пространством метки). Цель алгоритма машинного обучения состоит в том, чтобы изучить математическую модель (гипотезу) h : X → Y h:X\to Y, способную прикрепить метку от Y Годк примеру от X Икс. Эта модель изучается на примере обучения S = { ( x i , y i ) ∈ ( X × Y ) } i = 1 m ,y_{i})\in (X\times Y)\}_{i=1}^{m}} , y_{i})\in (X\times Y)\}_{i=1}^{m}}.

Обычно в контролируемом обучении (без адаптации предметной области) мы предполагаем, что примеры ( x i , y i ) ∈ S ,y_{i})\in S} (x_{i},y_{i})\in Sвзяты i.я Ди. из распределения D S D_{S}поддержки X × Y X\times Y(неизвестный и фиксированный). Цель состоит в том, чтобы узнать h {\displaystyle h} ч(от S С), что он совершает наименьшую возможную ошибку для маркировки новых примеров, поступающих из дистрибутива D S D_{S}.

Основное различие между контролируемым обучением и адаптацией предметной области заключается в том, что в последней ситуации мы изучаем два разных (но связанных) распределения D S D_{S}и D T D_{T}далее X × Y X\times Y. Задача адаптации предметной области состоит в передаче знаний из исходной предметной D S D_{S}области в целевую D T D_{T}. Цель состоит в том, чтобы узнать h ч(из помеченных или немаркированных образцов, поступающих из двух доменов), что он совершает как можно меньше ошибок в целевом домене D T D_{T}.

Основная проблема заключается в следующем: если модель изучается из исходного домена, какова ее способность правильно маркировать данные, поступающие из целевого домена?

Различные типы адаптации домена

Существует несколько контекстов адаптации домена. Они отличаются информацией, рассматриваемой для целевой задачи.

• 1 Адаптация неконтролируемой области: обучающая выборка содержит набор помеченных исходных примеров, набор немаркированных исходных примеров и немаркированный набор целевых примеров.
• 2 Адаптация области с полунаблюдением: в этой ситуации мы также рассматриваем "небольшой" набор помеченных целевых примеров.
• 3 Адаптация контролируемого домена: все рассмотренные примеры должны быть помечены.

Четыре алгоритмических принципа

Алгоритмы перевеса

Цель состоит в том, чтобы перевесить исходный маркированный образец таким образом, чтобы он "выглядел" как целевой образец (с точки зрения рассматриваемой меры ошибки)

Итеративные алгоритмы

Метод адаптации заключается в итеративном "автоматическом маркировании" целевых примеров. Принцип прост:

• 1 модель h чизучается из помеченных примеров;
• 2 h ч автоматически помечает некоторые целевые примеры;
• 3 новая модель изучается на новых примерах с метками.

Обратите внимание, что существуют и другие итеративные подходы, но они обычно требуют целевых помеченных примеров.

Поиск общего пространства представления

Цель состоит в том, чтобы найти или построить общее пространство представления для этих двух областей. Цель состоит в том, чтобы получить пространство, в котором Домены находятся близко друг к другу, сохраняя при этом хорошие характеристики на задаче маркировки источника. Это может быть достигнуто за счет использования методов состязательного машинного обучения, в которых представления признаков из образцов в различных областях поощряются к неразличимости.

Иерархическая байесовская модель

Цель состоит в том , чтобы построить байесовскую иерархическую модель p ( n ) p(n), которая по существу является моделью факторизации для подсчетов n северный, чтобы получить зависящие от домена скрытые представления, позволяющие как доменные, так и глобальные общие скрытые факторы.