Признание деятельности
Признание деятельности направлено на признание действий и целей одного или нескольких агентов из серии наблюдений за действиями агентов и условиями окружающей среды. С 1980 - х годов эта область исследований привлекла внимание нескольких сообществ компьютерных наук из-за своей силы в обеспечении персонализированной поддержки многих различных приложений и ее связи со многими различными областями исследований, такими как медицина, взаимодействие человека и компьютера или социология.
Из-за его многогранного характера различные области могут относиться к распознаванию действий как распознаванию планов, распознаванию целей, распознаванию намерений, распознаванию поведения, оценке местоположения и службам на основе местоположения.
Типы[править]
Сенсорное распознавание однопользовательской активности[править]
Распознавание активности на основе датчиков интегрирует новую область сенсорных сетей с новыми методами интеллектуального анализа данных и машинного обучения для моделирования широкого спектра человеческой деятельности. мобильные устройства (например, смартфоны) обеспечивают достаточные данные датчиков и вычислительную мощность, чтобы распознавание физической активности обеспечивало оценку потребления энергии в повседневной жизни. Сенсорное распознавание активности исследователи считают, что, расширяя возможности вездесущих компьютеров а датчики для наблюдения за поведением агентов (по согласованию), эти компьютеры будут лучше подходить для действий от нашего имени.
Уровни распознавания активности на основе датчиков[править]
Распознавание активности на основе датчиков является сложной задачей из-за присущей шумности входного сигнала. Таким образом, статистическое моделирование было основным направлением в этом направлении в слоях, где ведется и связано распознавание на нескольких промежуточных уровнях. На самом низком уровне, где собираются данные датчика, статистическое изучение касается того, как найти подробные местоположения агентов из полученных данных сигнала. На промежуточном уровне статистический вывод могут быть обеспокоены тем, как распознать действия отдельных лиц из предполагаемых последовательностей местоположения и условий окружающей среды на более низких уровнях. Кроме того, на самом высоком уровне основной задачей является выяснение общей цели или подцели агента из последовательностей активности посредством сочетания логических и статистических рассуждений.
Сенсорное, многопользовательское распознавание активности[править]
Распознавание действий для нескольких пользователей с использованием датчиков на теле впервые появилось в работе ORL с использованием активных систем значков в начале 90-х годов. Другие сенсорные технологии, такие как датчики ускорения, использовались для идентификации моделей групповой деятельности во время офисных сценариев. деятельность нескольких пользователей в интеллектуальных средах рассматривается в Gu et al. В этой работе они исследуют фундаментальную проблему распознавания действий для нескольких пользователей из показаний датчиков в домашней среде и предлагают новый подход к анализу шаблонов для распознавания как однопользовательских, так и многопользовательских действий в едином решении.
Распознавание активности группы на основе датчиков[править]
Распознавание действий группы принципиально отличается от распознавания действий одного или нескольких пользователей тем, что целью является распознавание поведения группы как сущности, а не действий отдельных ее членов. поведение группы является эмерджентным по своей природе, что означает, что свойства поведения группы принципиально отличаются от свойств поведения индивидов внутри нее или любой суммы этого поведения. Основные проблемы заключаются в моделировании поведения отдельных членов группы, а также ролей индивида в рамках групповой динамики [8] и их взаимосвязи с эмерджентным поведением группы параллельно. Проблемы, которые все еще должны быть решены, включают количественную оценку поведения и ролей людей, которые присоединяются к группе, интеграцию явных моделей для описания роли в алгоритмы вывода и оценки масштабируемости для очень больших групп и толп. Распознавание активности группы имеет приложения для управления толпой и реагирования в чрезвычайных ситуациях, а также для социальных сетей и количественных самостоятельных приложений.
Подходы[править]
Распознавание активности через логику и рассуждение[править]
Логические подходы отслеживают все логически последовательные объяснения наблюдаемых действий. Таким образом, должны быть рассмотрены все возможные и последовательные планы или цели. Каутц представил формальную теорию признания плана. Он описал распознавание плана как логический процесс умозаключения. Все действия, планы единообразно называются целями, а знания распознавателя представлены набором операторов первого порядка, называемых иерархией событий, закодированной в логике первого порядка, которая определяет абстракцию, декомпозицию и функциональные отношения между типами событий.[11]]
Общая структура Kautz для распознавания плана имеет экспоненциальную временную сложность в худшем случае, измеренную в размере входной иерархии. Леша и Эциони сделали еще один шаг вперед и представили методы масштабирования распознавания целей для увеличения объема вычислительной работы. В отличие от подхода Каутца, в котором библиотека планов явно представлена, подход Леша и Эциони позволяет автоматически строить библиотеку планов из примитивов домена. Кроме того, они ввели компактные представления и эффективные алгоритмы для распознавания целей в библиотеках большого плана.[12]]
Непоследовательные планы и цели неоднократно обрезаются, когда появляются новые действия. Кроме того, они также представили методы адаптации распознавателя целей для обработки индивидуального идиосинкразического поведения, учитывая образец недавнего поведения человека. Pollack et al. описана модель прямой аргументации, которая может знать об относительной силе нескольких видов аргументов для описания убеждения и намерения.
Серьезной проблемой логических подходов является их неспособность или присущая им неосуществимость представлять неопределенность. Они не предлагают механизма для предпочтения одного последовательного подхода другому и неспособны решить, является ли один конкретный план более вероятным, чем другой, пока оба они могут быть достаточно последовательными, чтобы объяснить наблюдаемые действия. Существует также отсутствие способности к обучению, связанной с методами, основанными на логике.
Другой подход к основанному на логике распознаванию деятельности должен использовать рассуждение потока, основанное на программировании набора ответа, и был применен к признанию действий для связанных со здоровьем приложений, который использует слабые ограничения, чтобы смоделировать степень двусмысленности/неопределенности.
Признание деятельности через вероятностное рассуждение[править]
Теория вероятностей и статистические модели обучения в последнее время применяются в распознавании деятельности для рассуждения о действиях, планах и целях в условиях неопределенности.[15] в литературе было несколько подходов, которые явно представляют неопределенность в рассуждении о планах и целях агента.
Используя данные датчиков в качестве входных данных, Hodges и Pollack разработали системы машинного обучения для идентификации людей, когда они выполняют повседневные действия, такие как приготовление кофе.[16] Лаборатория Intel Research (Сиэтл) и Вашингтонский университет в Сиэтле провели ряд важных работ по использованию датчиков для обнаружения планов человека.[17] [18] [19] некоторые из этих работ выводят режимы транспортировки пользователей из показаний радиочастотных идентификаторов (RFID) и глобальных систем позиционирования (GPS).
Было показано, что использование временных вероятностных моделей хорошо работает в распознавании активности и в целом превосходит невременные модели. генеративные модели, такие как скрытая Марковская модель (HMM) и более широко сформулированные динамические байесовские сети (DBN), являются популярным выбором в моделировании деятельности из данных датчиков. Дискриминационные модели, такие как условные случайные поля (CRF), также широко применяются и также дают хорошую производительность при распознавании активности.
Генеративные и дискриминационные модели имеют свои плюсы и минусы, а идеальный выбор зависит от области их применения. Здесь можно найти набор данных вместе с реализациями ряда популярных моделей (HMM, CRF) для распознавания активности .
Обычные временные вероятностные модели, такие как модель скрытого Маркова (HMM) и модель условных случайных полей (CRF), непосредственно моделируют корреляции между действиями и наблюдаемыми данными датчика. В последние годы все больше данных свидетельствует в пользу использования иерархических моделей, которые учитывают богатую иерархическую структуру, существующую в поведенческих данных человека. Основная идея здесь заключается в том, что модель напрямую не коррелирует действия с данными датчика, а вместо этого разбивает активность на под-действия (иногда называемые действиями) и моделирует соответствующие корреляции. Примером может быть деятельность по приготовлению спагетти, которая может быть разбита на подактивности или действия резки овощей, обжаривания овощей на сковороде и подачи его на тарелке. Примеры такой иерархической модели-слоистые скрытые Марковские модели (LHMMs) и иерархическая скрытая Марковская модель (HHMM), которая, как было показано, значительно превосходит своего неиерархического аналога в распознавании активности
Подход к распознаванию активности на основе интеллектуального анализа данных[править]
В отличие от традиционных подходов машинного обучения, недавно был предложен подход, основанный на интеллектуальном анализе данных. В работе Гу и др. задача распознавания деятельности сформулирована как задача классификации на основе паттернов. Они предложили подход к интеллектуальному анализу данных, основанный на дискриминационных шаблонах, которые описывают значительные изменения между любыми двумя классами активности данных для распознавания последовательных, чередующихся и параллельных действий в едином решении.[29] Gilbert et al. используйте 2D углы как в пространстве, так и во времени. Они сгруппированы пространственно и временно, используя иерархический процесс, с увеличивающейся областью поиска. На каждом этапе иерархии наиболее отличительные и описательные признаки изучаются эффективно с помощью интеллектуального анализа данных (правило априори).
Использование датчика[править]
Распознавание активности на основе видения[править]
Это очень важная и сложная задача для отслеживания и понимания поведения агентов через видео, снятые различными камерами. Основным методом является компьютерное зрение. Зрение-основанное опознавание деятельности находило много применений как взаимодействие людск-компьютера, конструкция пользовательского интерфейса , учить робота, и наблюдение, среди других. Научные конференции, где часто появляется работа по распознаванию активности, основанной на видении, - это ICCV и CVPR .
В области признания деятельности, основанной на видении, проделана большая работа. Исследователи попытались использовать ряд методов , таких как оптический поток , фильтрация Калмана , скрытые Марковские модели и др., под различными модальностями как одиночная камера, стерео, и ультракрасный. В добавлении, исследователя рассматривали множественные аспекты на этой теме, включая одиночный пешеходный отслеживать, отслеживать группы, и обнаруживать упаденные предметы.
Недавно некоторые исследователи использовали RGBD-камеры, такие как Microsoft Kinect, для обнаружения человеческой деятельности. Камеры глубины добавляют дополнительный размер т. е. глубину которая нормальная 2d камера не сумеет обеспечить. Сенсорная информация от этих камер глубины была использована для того чтобы произвести модель в реальном времени скелета людей с различными положениями тела. Эти скелетные данные предоставляют значимую информацию, которую исследователи использовали для моделирования человеческой деятельности, которая обучается, а затем используется для распознавания неизвестных видов деятельности.
Несмотря на значительный прогресс в распознавании активности на основе зрения, его использование для большинства актуальных приложений визуального наблюдения остается отдаленным стремлением . И наоборот, человеческий мозг, похоже, усовершенствовал способность распознавать человеческие действия. Эта способность опирается не только на приобретенные знания, но и на способность извлекать информацию, относящуюся к данному контексту и логическим рассуждениям. Основываясь на этом наблюдении, было предложено улучшить основанные на видении системы распознавания активности путем интеграции рассуждений здравого смысла и контекстуальное и здравомыслящее знание. Эксперименты, проведенные с использованием видео-и RGBD-камер, демонстрируют добавленную стоимость такого подхода .
Уровни распознавания активности на основе зрения[править]
В распознавании активности на основе зрения вычислительный процесс часто делится на четыре этапа, а именно обнаружение человека, отслеживание человека, распознавание активности человека, а затем оценка активности на высоком уровне.
Локализация мелкозернистых действий[править]
Главная статья: сегментация объекта
В распознавании активности, основанном на компьютерном зрении, локализация мелкозернистого действия обычно обеспечивает маски сегментации изображения, очерчивающие человеческий объект и его категорию действия (например, сегмент-трубка ). Такие методы , как динамические сети Маркова, CNN и LSTM, часто используются для использования семантических корреляций между последовательными видеокадрами.
Автоматическое распознавание походки[править]
Главная статья: признание походки
Один из способов определить конкретных людей-это то, как они ходят. Программное обеспечение распознавания походки может использоваться для записи профиля походки или функции походки человека в базе данных с целью последующего распознавания этого человека, даже если он носит маскировку.
Распознавание активности на основе Wi-Fi[править]
Когда распознавание активности выполняется в помещении и в городах с использованием широко доступных сигналов Wi-Fi и точек доступа 802.11, возникает много шума и неопределенности. Эти неопределенности могут быть смоделированы с использованием динамической Байесовской сетевой модели. в модели множественных целей,которая может рассуждать о целях чередования пользователя, применяется детерминированная модель перехода состояния.Другой возможный метод моделирует параллельные и чередующиеся действия в вероятностном подходе. модель обнаружения действий пользователя может сегментировать сигналы Wi-Fi для создания возможных действий.
Приложения[править]
Автоматически контролируя деятельность человека, можно обеспечить реабилитацию на дому для людей, страдающих от черепно-мозговых травм. Можно найти приложения, начиная от связанных с безопасностью приложений и логистической поддержки до услуг на основе местоположения .[40] системы распознавания деятельности были разработаны для наблюдения за дикой природой [41] и энергосбережения в зданиях.