Алгоритмическая предвзятость

Блок-схема, показывающая решения, принятые механизмом рекомендаций, около 2001

Алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки в компьютерной системе, которые приводят к "несправедливым" результатам, таким как "предоставление привилегий" одной категории перед другой способами, отличными от предполагаемой функции алгоритма.

Предвзятость может возникнуть из-за многих факторов, включая, но не ограничиваясь этим, конструкцию алгоритма или непреднамеренное или непредвиденное использование или решения, касающиеся способа кодирования, сбора, выбора или использования данных для обучения алгоритма. Например, алгоритмическая предвзятость наблюдалась в результатах поисковых систем и платформах социальных сетей. Эта предвзятость может иметь последствия, варьирующиеся от непреднамеренных нарушений конфиденциальности до усиления социальных предубеждений, связанных с расой, полом, сексуальностью и этнической принадлежностью. Изучение алгоритмической предвзятости больше всего связано с алгоритмами, которые отражают "систематическую и несправедливую" дискриминацию. Эта предвзятость лишь недавно была устранена в правовых рамках, таких как Общее положение Европейского союза о защите данных (2018) и предлагаемый Закон об искусственном интеллекте (2021).

По мере того, как алгоритмы расширяют свои возможности по организации общества, политики, институтов и поведения, социологи стали интересоваться способами, с помощью которых непредвиденный вывод и манипулирование данными могут повлиять на физический мир. Потому что алгоритмы часто считаются нейтральными и объективными, они могут неточно проекта больший авторитет, чем человеческий опыт (в частности из-за психологического феномена автоматизации уклоном), а в ряде случаев, опоры на алгоритмы могут вытеснить человека ответственность за свои результаты. Предвзятость может возникнуть в алгоритмических системах в результате ранее существовавших культурных, социальных или институциональных ожиданий; из-за технических ограничений их дизайна; или из-за использования в непредвиденных контекстах или аудиторией, которая не учитывалась при первоначальном проектировании программного обеспечения.

Алгоритмическая предвзятость приводилась в различных случаях, начиная от результатов выборов и заканчивая распространением разжигающих ненависть высказываний в Интернете. Она также возникла в сфере уголовного правосудия, здравоохранения и найма на работу, усугубляя существующие расовые, социально-экономические и гендерные предубеждения. Относительная неспособность технологии распознавания лиц точно идентифицировать лица с более темной кожей была связана с многочисленными неправомерными арестами чернокожих мужчин, проблема, возникающая из-за несбалансированных наборов данных. Проблемы в понимании, исследовании и обнаружении алгоритмической предвзятости сохраняются из-за частной природы алгоритмов, которые обычно рассматриваются как коммерческая тайна. Даже когда обеспечивается полная прозрачность, сложность определенных алгоритмов создает барьер для понимания их функционирования. Кроме того, алгоритмы могут изменяться или реагировать на ввод или вывод способами, которые невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях, даже в рамках одного веб-сайта или приложения, не существует единого "алгоритма" для проверки, а существует сеть из множества взаимосвязанных программ и вводимых данных, даже между пользователями одного и того же сервиса.

Диаграмма 1969 года, показывающая, как простая компьютерная программа принимает решения, иллюстрирующая очень простой алгоритм

Определения

Алгоритмы трудно поддаются определению, но в целом их можно понимать как списки инструкций, которые определяют, как программы считывают, собирают, обрабатывают и анализируют данные для генерации выходных данных. Подробное техническое введение см. в разделе Алгоритмы. Достижения в области компьютерного оборудования привели к расширению возможностей обработки, хранения и передачи данных. Это, в свою очередь, ускорило разработку и внедрение таких технологий, как машинное обучение и искусственный интеллект. Анализируя и обрабатывая данные, алгоритмы являются основой поисковых систем, сайтов социальных сетей, системы рекомендаций,[7] онлайн-торговля, онлайн-реклама, и многое другое.

Современные социологи обеспокоены алгоритмическими процессами, встроенными в аппаратные и программные приложения, из-за их политического и социального воздействия и ставят под сомнение основополагающие предположения о нейтральности алгоритма. Термин алгоритмическая предвзятость описывает систематические и повторяющиеся ошибки, которые приводят к несправедливым результатам, таким как предоставление привилегий одной произвольной группе пользователей по сравнению с другими. Например, алгоритм оценки кредитоспособности может отказать в выдаче кредита, не будучи несправедливым, если он последовательно взвешивает соответствующие финансовые критерии. Если алгоритм рекомендует кредиты одной группе пользователей, но отказывает в займах другой группе почти идентичных пользователей на основании несвязанных критериев, и если такое поведение может повторяться в нескольких случаях, алгоритм можно описать как предвзятый.2 Эта предвзятость может быть преднамеренной или непреднамеренной (например, она может исходить из предвзятых данных, полученных от работника, который ранее выполнял работу, которую алгоритм собирается выполнять с этого момента).

Методы

Предвзятость может быть внесена в алгоритм несколькими способами. Во время сборки набора данных данные могут быть собраны, оцифрованы, адаптированы и введены в базу данных в соответствии с разработанными человеком критериями каталогизации.[16]: 3 Далее программисты назначают приоритеты, или иерархии, для того, как программа оценивает и сортирует эти данные. Это требует человеческих решений о том, как данные классифицируются, и какие данные включаются или отбрасываются.[16]: 4 Некоторые алгоритмы собирают свои собственные данные на основе выбранных человеком критериев, которые также могут отражать предвзятость разработчиков-людей.[16]: 8 Другие алгоритмы могут усиливать стереотипы и предпочтения при обработке и отображении "релевантных" данных для пользователей-людей, например, путем выбора информации на основе предыдущих выборов аналогичного пользователя или группы пользователей.[16]: 6

Помимо сбора и обработки данных, предвзятость может возникнуть в результате проектирования.[17] Например, алгоритмы, которые определяют распределение ресурсов или контроль (например, определение места в школе), могут непреднамеренно дискриминировать категорию при определении риска на основе схожих пользователей (как в кредитных рейтингах).[18]: 36 Между тем, механизмы рекомендаций, которые работают, связывая пользователей с похожими пользователями, или которые используют предполагаемые маркетинговые характеристики, могут полагаться на неточные ассоциации, которые отражают широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример связан с определением критериев того, что включено, а что исключено из результатов. Этот критерий может привести к непредвиденным результатам в результатах поиска, например, при использовании программного обеспечения, рекомендующего рейсы, которое пропускает рейсы, не соответствующие маршрутам полета авиакомпании-спонсора. Алгоритмы также могут проявлять предвзятость к неопределенности, предлагая более уверенные оценки при наличии больших наборов данных. Это может привести к искажению алгоритмических процессов в сторону результатов, которые более точно соответствуют более крупным выборкам, что может не учитывать данные из недопредставленных групп населения.

История

Ранняя критика

Эта карта использовалась дятлом для загрузки программного обеспечения в старый мэйнфреймовый компьютер. Каждый байт (например, буква "А") вводится путем пробивания отверстий. Хотя современные компьютеры более сложны, они отражают этот человеческий процесс принятия решений при сборе и обработке данных.

Самые ранние компьютерные программы были разработаны, чтобы имитировать человеческие рассуждения и дедукции, и считались функционирующими, когда они успешно и последовательно воспроизводили человеческую логику. В своей книге 1976 года "Компьютерная мощь и человеческий разум" пионер в области искусственного интеллекта Джозеф Вайценбаум предположил, что предвзятость может возникать как из-за данных, используемых в программе, так и из-за способа кодирования программы.[20]: 149

Вейценбаум писал, что программы представляют собой последовательность правил, созданных людьми для того, чтобы компьютер мог им следовать. Последовательно следуя этим правилам, такие программы "воплощают закон",[20]: 40 то есть применяют определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как эти проблемы могут быть решены. Это означает, что код может включать в себя представление программиста о том, как устроен мир, включая его предубеждения и ожидания.[20]: 109 Хотя компьютерная программа может включать предвзятость таким образом, Вейценбаум также отметил, что любые данные, подаваемые на машину, дополнительно отражают "процессы принятия решений человеком" при отборе данных.

Наконец, он отметил, что машины могут также передавать достоверную информацию с непреднамеренными последствиями, если пользователям неясно, как интерпретировать результаты. Вейценбаум предостерегал от доверия решениям, принимаемым компьютерными программами, которые пользователь не понимает, сравнивая такую веру с туристом, который может найти дорогу в гостиничный номер исключительно путем поворота влево или вправо при подбрасывании монеты. Важно отметить, что турист не имеет основы для понимания того, как или почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс является точным или надежным.

Ранний пример алгоритмической предвзятости привел к тому, что с 1982 по 1986 год до 60 женщинам и представителям этнических меньшинств было отказано в поступлении в медицинскую школу больницы Святого Георгия в год на основании внедрения новой компьютерной системы оценки, которая отказывала в приеме женщинам и мужчинам с "именами, звучащими по-иностранному", на основе исторических тенденций в приеме. В то время как многие школы в то время использовали аналогичные предубеждения в процессе отбора, Сент-Джордж был наиболее известен автоматизацией указанной предвзятости с помощью алгоритма, тем самым привлекая внимание людей в гораздо более широком масштабе.

В последние годы, когда все больше алгоритмов начали использовать методы машинного обучения для обработки реальных данных, алгоритмическая предвзятость встречается чаще из-за предвзятости, существующей в данных.

Современная критика и ответы

Хотя хорошо разработанные алгоритмы часто определяют результаты, которые являются такими же (или более) справедливыми, чем решения людей, случаи предвзятости все еще происходят, и их трудно предсказать и проанализировать.Сложность анализа алгоритмической предвзятости возрастает вместе со сложностью программ и их дизайна. Решения, принятые одним разработчиком или командой разработчиков, могут быть скрыты среди множества фрагментов кода, созданных для одной программы; со временем эти решения и их коллективное влияние на результат программы могут быть забыты. Теоретически, эти предубеждения могут создавать новые модели поведения, или "сценарии", в связи с конкретными технологиями, поскольку код взаимодействует с другими элементами общества. Предвзятость также может влиять на то, как общество формирует себя вокруг точек данных, которые требуются алгоритмам. Например, если данные показывают большое количество арестов в определенном районе, алгоритм может назначить больше полицейских патрулей в этот район, что может привести к большему количеству арестов.

Решения алгоритмических программ могут рассматриваться как более авторитетные, чем решения людей, которым они призваны помогать, процесс, описанный автором Клэем Ширки как "алгоритмический авторитет".[28] Ширки использует этот термин для описания "решения считать авторитетным неуправляемый процесс извлечения ценности из разнообразных, ненадежных источников", таких как результаты поиска. Эта нейтральность также может быть искажена формулировками, используемыми экспертами и средствами массовой информации, когда результаты представляются общественности. Например, список новостей, выбранных и представленных как "трендовые" или "популярные", может быть создан на основе значительно более широких критериев, чем просто их популярность.

Из-за их удобства и авторитета алгоритмы теоретизируются как средство делегирования ответственности людям. Это может привести к сокращению альтернативных вариантов, компромиссов или гибкости. Социолог Скотт Лэш раскритиковал алгоритмы как новую форму "порождающей силы", поскольку они являются виртуальным средством достижения реальных целей. Там, где ранее поведение человека генерировало данные для сбора и изучения, мощные алгоритмы все чаще могли формировать и определять человеческое поведение.

Опасения по поводу влияния алгоритмов на общество привели к созданию рабочих групп в таких организациях, как Google и Microsoft, которые совместно создали рабочую группу под названием "Справедливость, подотчетность и прозрачность в машинном обучении". Идей от Google включали в себя группы сообщества, которые отслеживают результаты алгоритмов и голосуют за контроль или ограничение результатов, которые, по их мнению, имеют негативные последствия. В последние годы изучение справедливости, подотчетности и прозрачности (FAT) алгоритмов оформилось в отдельную междисциплинарную область исследований благодаря ежегодной конференции FAccT. Критики предположили, что инициативы FAT не могут эффективно выполнять функции независимых наблюдателей, когда многие из них финансируются корпорациями, создающими изучаемые системы.

Типы

Существовавший ранее

Ранее существовавшая предвзятость в алгоритме является следствием лежащих в основе социальных и институциональных идеологий. Такие идеи могут влиять на личные предубеждения отдельных дизайнеров или программистов или создавать их. Такие предубеждения могут быть явными и сознательными или неявными и бессознательными. Неправильно выбранные входные данные или просто данные из предвзятого источника будут влиять на результаты, создаваемые машинами. Кодирование ранее существовавшей предвзятости в программное обеспечение может сохранить социальную и институциональную предвзятость и, без исправления, может быть воспроизведено во всех будущих применениях этого алгоритма.

Примером такой формы предвзятости является программа Закона о британском гражданстве, разработанная для автоматизации оценки новых британских граждан после Закона о британском гражданстве 1981 года. Программа точно отражала принципы закона, который гласил, что "мужчина является отцом только своих законных детей, тогда как женщина является матерью всех своих детей, законных или нет". В своей попытке перенести определенную логику в алгоритмический процесс BNAP включил логику Закона о британском гражданстве в свой алгоритм, который сохранит ее, даже если закон в конечном итоге будет отменен.

Технический

Было обнаружено, что программное обеспечение для распознавания лиц, используемое совместно с камерами наблюдения, демонстрирует предвзятость при распознавании азиатских и чернокожих лиц по сравнению с белыми лицами.

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее дизайна или других ограничений системы. Такая предвзятость также может быть ограничением дизайна, например, можно понимать, что поисковая система, которая показывает три результата на экране, отдает предпочтение трем первым результатам чуть больше, чем трем следующим, как при отображении цен авиакомпаний. Другим случаем является программное обеспечение, которое полагается на случайность для справедливого распределения результатов. Если механизм генерации случайных чисел не является по-настоящему случайным, он может вносить предвзятость, например, смещая выбор в сторону элементов в конце или начале списка.

Деконтекстуализированный алгоритм использует несвязанную информацию для сортировки результатов, например, алгоритм определения цен на авиабилеты, который сортирует результаты в алфавитном порядке, был бы смещен в пользу American Airlines, а не United Airlines.Также может применяться обратное, при котором результаты оцениваются в контекстах, отличных от того, из которого они были собраны. Данные могут собираться без критического внешнего контекста: например, когда Программное обеспечение для распознавания лиц используется камерами наблюдения, но оценивается удаленным персоналом в другой стране или регионе или оценивается нечеловеческими алгоритмами, не имеющими представления о том, что происходит за пределами поля зрения камеры. Это может привести к неполному пониманию места преступления, например, к возможному принятию случайных прохожих за тех, кто совершает преступление.

Наконец, техническая предвзятость может быть создана попыткой формализовать решения в конкретные шаги, исходя из предположения, что человеческое поведение работает таким же образом. Например, программное обеспечение взвешивает точки данных, чтобы определить, должен ли обвиняемый согласиться на сделку о признании вины, игнорируя при этом влияние эмоций на присяжных. Другой непреднамеренный результат этой формы предвзятости был обнаружен в программном обеспечении для обнаружения плагиата Turnitin, которое сравнивает тексты, написанные студентами, с информацией, найденной в Интернете, и возвращает оценку вероятности того, что работа студента скопирована. Поскольку программное обеспечение сравнивает длинные строки текста, оно с большей вероятностью идентифицирует не носителей английского языка, чем носителей языка, поскольку последняя группа может быть лучше способна изменять отдельные слова, разбивать строки плагиатного текста или скрывать скопированные отрывки с помощью синонимов. Поскольку носителям языка легче избежать обнаружения в результате технических ограничений программного обеспечения, это создает сценарий, в котором Turnitin выявляет иностранных носителей английского языка на предмет плагиата, позволяя большему количеству носителей избежать обнаружения.

Возникающий

Возникающая предвзятость является результатом использования алгоритмов в новых или непредвиденных контекстах. Алгоритмы, возможно, не были скорректированы с учетом новых форм знаний, таких как новые лекарства или медицинские прорывы, новые законы, бизнес-модели или меняющиеся культурные нормы. Это может привести к исключению групп с помощью технологии, без предоставления четких схем, позволяющих понять, кто несет ответственность за их исключение. Аналогичным образом, проблемы могут возникнуть, когда обучающие данные (выборки, "скармливаемые" машине, с помощью которых она моделирует определенные выводы) не соответствуют контекстам, с которыми алгоритм сталкивается в реальном мире.

В 1990 году пример возникающей предвзятости был выявлен в программном обеспечении, используемом для размещения студентов-медиков США в резидентурах, Национальной программе подбора резидентов (NRMP). Алгоритм был разработан в то время, когда немногие супружеские пары искали места жительства вместе. По мере того, как все больше женщин поступали в медицинские школы, все больше студентов, скорее всего, просили о проживании вместе со своими партнерами. Процесс требовал, чтобы каждый заявитель предоставил список предпочтений для размещения по всей территории США, который затем сортировался и распределялся, когда больница и заявитель соглашались на совпадение. В случае супружеских пар, где оба искали места жительства, алгоритм сначала взвешивал выбор местоположения партнером с более высоким рейтингом. Результатом стало частое назначение школ с высоким уровнем предпочтения первому партнеру и школ с низким уровнем предпочтения второму партнеру, вместо того, чтобы искать компромиссы в предпочтении размещения.

Дополнительные возникающие предубеждения включают:

Корреляции

При сравнении друг с другом больших наборов данных могут возникнуть непредсказуемые корреляции. Например, данные, собранные о шаблонах просмотра веб-страниц, могут совпадать с сигналами, обозначающими конфиденциальные данные (такие как раса или сексуальная ориентация). При выборе в соответствии с определенным поведением или шаблонами просмотра конечный эффект был бы почти идентичен дискриминации за счет использования прямых данных о расе или сексуальной ориентации. В других случаях алгоритм делает выводы на основе корреляций, не будучи в состоянии понять эти корреляции. Например, одна программа сортировки давала астматикам с пневмонией более низкий приоритет, чем астматикам, у которых пневмонии не было. Программный алгоритм сделал это, потому что он просто сравнил показатели выживаемости: астматики с пневмонией подвергаются наибольшему риску. Исторически сложилось так, что по этой же причине больницы обычно оказывают таким астматикам наилучшую и наиболее неотложную помощь.

Непредвиденное использование

Возникающая предвзятость может возникнуть, когда алгоритм используется непредвиденной аудиторией. Например, машинам может потребоваться, чтобы пользователи могли читать, писать или понимать цифры, или относиться к интерфейсу, используя метафоры, которые они не понимают. Эти исключения могут усугубляться, поскольку предвзятые или исключающие технологии более глубоко интегрированы в общество.

Помимо исключения, непредвиденное использование может возникнуть из-за того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном из примеров непредвиденная группа пользователей привела к алгоритмической предвзятости в Великобритании, когда британская национальная программа Act была создана в качестве подтверждения концепции компьютерными учеными и иммиграционными юристами для оценки пригодности для получения британского гражданства. Разработчики имели доступ к юридической экспертизе помимо конечных пользователей в иммиграционных офисах, чье понимание как программного обеспечения, так и иммиграционного законодательства, вероятно, было бы неискушенным. Агенты, отвечающие за вопросы, полностью полагались на программное обеспечение, которое исключало альтернативные пути получения гражданства, и использовали программное обеспечение даже после того, как новые прецедентные права и юридические толкования привели к устареванию алгоритма. В результате разработки алгоритма для пользователей, предположительно юридически подкованных в иммиграционном законодательстве, алгоритм программного обеспечения косвенно привел к предвзятости в пользу заявителей, которые соответствуют очень узкому набору юридических критериев, установленных алгоритмом, а не более широким критериям британского иммиграционного законодательства.

Циклы обратной связи

Возникающая предвзятость может также создавать цикл обратной связи, или рекурсию, если данные, собранные для алгоритма, приводят к ответам реального мира, которые передаются обратно в алгоритм. Например, моделирование программного обеспечения для прогнозирования полицейской деятельности (PredPol), развернутого в Окленде, Калифорния, предположило увеличение присутствия полиции в чернокожих кварталах на основе данных о преступности, сообщаемых общественностью.Моделирование показало, что общественность сообщала о преступлении, основываясь на виде полицейских машин, независимо от того, что делала полиция. Моделирование интерпретировало наблюдения за полицейскими машинами при моделировании своих прогнозов преступности и, в свою очередь, привело бы к еще большему увеличению присутствия полиции в этих районах.Группа анализа данных по правам человека, которая проводила моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усилить и увековечить расовую дискриминацию в работе полиции. Другим хорошо известным примером такого алгоритма, демонстрирующего такое поведение, является COMPAS, программное обеспечение, которое определяет вероятность того, что человек станет уголовным преступником. Программное обеспечение часто критикуют за то, что оно гораздо чаще других называет чернокожих людей преступниками, а затем возвращает данные обратно в себя в случае, если люди становятся зарегистрированными преступниками, еще больше усиливая предвзятость, созданную набором данных, на котором действует алгоритм.

Рекомендательные системы, такие как те, которые используются для рекомендации онлайн-видео или новостных статей, могут создавать циклы обратной связи.[43]Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений. Со временем это может привести к тому, что пользователи попадут в пузырь фильтров и не будут знать о важном или полезном контенте.

Влияние

Коммерческие влияния

Корпоративные алгоритмы могут быть искажены в пользу финансовых договоренностей или соглашений между компаниями без ведома пользователя, который может ошибочно принять алгоритм за беспристрастный. Например, American Airlines создала алгоритм поиска рейса в 1980-х годах. Программное обеспечение предоставляло клиентам ряд рейсов от различных авиакомпаний, но учитывало факторы, которые увеличивали его собственные рейсы, независимо от цены или удобства. В подтверждение Конгресс Соединенных Штатов, президент авиакомпании прямо заявил, что система была создана с намерением получить конкурентное преимущество за счет преференций.

В статье 1998 года, описывающей Google, основатели компании приняли политику прозрачности результатов поиска в отношении платного размещения, утверждая, что "поисковые системы, финансируемые рекламой, будут изначально предвзяты по отношению к рекламодателям и не учитывают потребности потребителей".[48] Эта предвзятость была бы "невидимой" манипуляцией пользователем.

Поведение при голосовании

Серия исследований о неопределившихся избирателях в США и Индии показала, что результаты поисковой системы смогли изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что у кандидатов "нет средств для конкуренции", если алгоритм, намеренно или без, увеличил количество страниц для конкурирующего кандидата.[49] Пользователи Facebook, которые видели сообщения, связанные с голосованием, с большей вероятностью проголосовали. Рандомизированное исследование пользователей Facebook 2010 года показало увеличение на 20% (340 000 голосов) среди пользователей, которые видели сообщения, поощряющие голосование, а также изображения своих друзей, которые проголосовали. Ученый-юрист Джонатан Зиттрейн предупредил, что это может создать эффект "цифровых махинаций" на выборах, "выборочного представления информации посредником для удовлетворения своей повестки дня, а не для обслуживания своих пользователей", если им намеренно манипулировать.

Дискриминация по признаку пола

В 2016 году было обнаружено, что профессиональный сетевой сайт LinkedIn рекомендует мужские варианты женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций при поиске мужских имен. Например, "Andrea" вызывало бы запрос, имели ли пользователи в виду "Andrew", но запросы для "Andrew" не спрашивали, имели ли пользователи в виду найти "Andrea". Компания заявила, что это было результатом анализа взаимодействия пользователей с сайтом.

В 2012 году упоминалась франшиза универмага Target, которая собирала точки данных, чтобы определить, когда покупательницы были беременны, даже если они не объявляли об этом, а затем делилась этой информацией с маркетинговыми партнерами. Поскольку данные были предсказаны, а не непосредственно наблюдались или сообщались, у компании не было юридических обязательств защищать конфиденциальность этих клиентов.

Алгоритмы веб-поиска также обвинялись в предвзятости. Результаты Google могут отдавать предпочтение порнографическому контенту в поисковых запросах, связанных с сексуальностью, например, "лесбиянка". Эта предвзятость распространяется на поисковую систему, показывающую популярный, но сексуализированный контент в нейтральных поисковых системах. Например, статьи "Топ-25 самых сексуальных спортсменок" отображаются в качестве результатов поиска на первой странице по запросу "спортсменки". В 2017 году Google скорректировал эти результаты наряду с другими, в которых фигурировали группы ненависти, расистские взгляды, жестокое обращение с детьми и порнография, а также другой расстраивающий и оскорбительный контент. Другие примеры включают отображение более высокооплачиваемых рабочих мест для соискателей мужского пола на веб-сайтах по поиску работы. Исследователи также определили, что машинный перевод демонстрирует сильную тенденцию к мужским дефолтам. В частности, это наблюдается в областях, связанных с несбалансированным распределением полов, включая профессии STEM. Фактически, современные системы машинного перевода не в состоянии воспроизвести реальное распределение работающих женщин.

В 2015 году Amazon.com отключили систему искусственного интеллекта, разработанную для проверки заявлений о приеме на работу, когда поняли, что она предвзята по отношению к женщинам. Из инструмента подбора персонала исключались кандидаты, посещавшие исключительно женские колледжи, и резюме, в которых фигурировало слово "женский". Аналогичная проблема возникла с сервисами потоковой передачи музыки — в 2019 году было обнаружено, что алгоритм рекомендательной системы, используемый Spotify, был предвзят в отношении женщин-исполнителей. В рекомендациях Spotify к песням было больше исполнителей мужского пола, чем женского.

Расовая и этническая дискриминация

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений. Из-за того, как относились к определенным расам и этническим группам в прошлом, данные часто могут содержать скрытые искажения. Например, чернокожие люди, скорее всего, получат более длительные сроки, чем белые люди, совершившие то же преступление. Потенциально это может означать, что система усиливает исходные искажения в данных.

В 2015 году Google извинился, когда чернокожие пользователи пожаловались, что алгоритм идентификации изображений в его приложении Photos идентифицировал их как горилл.[70] В 2010 году камеры Nikon подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали азиатских пользователей, моргают ли они.[71] Такие примеры являются результатом предвзятости в наборах биометрических данных.[70] Биометрические данные извлекаются из аспектов тела, включая расовые особенности, которые либо наблюдаются, либо предполагаются, которые затем могут быть перенесены в точки данных.[66]: 154 Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано нехваткой обучающих данных для носителей этого акцента.

Биометрические данные о расе также могут быть выведены, а не соблюдены. Например, исследование 2012 года показало, что имена, обычно ассоциирующиеся с чернокожими, с большей вероятностью выдают результаты поиска, подразумевающие записи об аресте, независимо от того, есть ли в полицейском досье имя этого человека. Исследование 2015 года также показало, что предполагается, что у чернокожих и азиатов хуже функционируют легкие из-за того, что данные о расовом и профессиональном воздействии не были включены в модель функции легких алгоритма прогнозирования.

В 2019 году исследование показало, что медицинский алгоритм, продаваемый Optum, отдавал предпочтение белым пациентам по сравнению с более тяжелыми чернокожими пациентами. Алгоритм предсказывает, во сколько пациенты обойдутся системе здравоохранения в будущем. Однако стоимость не зависит от расы, поскольку медицинские расходы чернокожих пациентов были примерно на 1800 долларов меньше в год, чем у белых пациентов с тем же количеством хронических заболеваний, что привело к тому, что алгоритм оценил белых пациентов как одинаково подверженных риску будущих проблем со здоровьем, как чернокожих пациентов, которые страдали от значительно большего числа заболеваний.

Исследование, проведенное исследователями Калифорнийского университета в Беркли в ноябре 2019 года, показало, что ипотечные алгоритмы были дискриминационными по отношению к латиноамериканцам и афроамериканцам, которые дискриминировали меньшинства на основе "кредитоспособности", которая коренится в законе США о справедливом кредитовании, который позволяет кредиторам использовать меры идентификации, чтобы определить, достоин ли человек получения кредитов. Эти конкретные алгоритмы присутствовали в финтех-компаниях и, как было показано, дискриминировали меньшинства.

Правоприменение и судебные разбирательства

Алгоритмы уже имеют множество применений в правовых системах. Примером этого является COMPAS, коммерческая программа, широко используемая судами США для оценки вероятности того, что обвиняемый станет рецидивистом. ProPublica утверждает, что средний уровень риска рецидива, присвоенный COMPAS чернокожим обвиняемым, значительно выше, чем средний уровень риска, присвоенный COMPAS белым обвиняемым, и что чернокожим обвиняемым в два раза чаще ошибочно присваивается ярлык "высокого риска", чем белым обвиняемым.

Одним из примеров является использование оценок риска при вынесении уголовных приговоров в Соединенных Штатах и на слушаниях об условно-досрочном освобождении, судьям была представлена сгенерированная алгоритмом оценка, предназначенная для отражения риска того, что заключенный повторит преступление. В течение периода времени, начиная с 1920 года и заканчивая 1970 годом, национальность отца преступника учитывалась при оценке рисков. Сегодня этими оценками делятся с судьями в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование ProPublica обнаружила, что оценки были неточными в 80% случаев и непропорционально искажены, что позволяет предположить, что чернокожие подвергаются риску рецидива на 77% чаще, чем белые.

В одном исследовании, целью которого было изучение "Риска, расы и рецидивизма: предвзятость прогнозирования и неравномерное воздействие", утверждается, что вероятность неблагоприятного исхода в два раза (45% против 23%) для чернокожих по сравнению Подсудимые кавказской национальности были ошибочно классифицированы как представляющие более высокий риск, несмотря на то, что объективно за двухлетний период наблюдения не было зарегистрировано ни одного рецидива.

В контексте предварительного заключения в статье "Обзор законодательства" утверждается, что алгоритмические оценки рисков нарушают права на 14-ю поправку равной защите по признаку расы, поскольку утверждается, что алгоритмы являются дискриминационными по внешнему виду, приводят к неодинаковому обращению и не являются узкоспециализированными.

Разжигание ненависти в Интернете

Согласно внутренним документам Facebook, в 2017 году было обнаружено, что алгоритм Facebook, предназначенный для удаления разжигающих ненависть высказываний в Интернете, дает преимущество белым мужчинам перед чернокожими детьми при оценке нежелательного контента.Алгоритм, представляющий собой комбинацию компьютерных программ и людей-рецензентов контента, был создан для защиты широких категорий, а не конкретных подмножеств категорий. Например, сообщения, осуждающие "мусульман", будут заблокированы, в то время как сообщения, осуждающие "радикальных мусульман", будут разрешены. Непредвиденный результат алгоритма - разрешить высказывания ненависти против чернокожих детей, потому что они осуждают подмножество чернокожих "дети", а не "все чернокожие", тогда как "все белые мужчины" вызвало бы блокировку, потому что белые и мужчины не считаются подмножествами. Также было обнаружено, что Facebook позволяет покупателям рекламы настраивать таргетинг на "ненавистников евреев" как категорию пользователей, что, по словам компании, было непреднамеренным результатом алгоритмов, используемых при оценке и категоризации данных. Дизайн компании также позволял покупателям рекламы блокировать афроамериканцев от просмотра объявлений о жилье.

Хотя алгоритмы используются для отслеживания и блокирования разжигания ненависти, было обнаружено, что некоторые из них в 1,5 раза чаще помечают информацию, размещенную чернокожими пользователями, и в 2,2 раза чаще помечают информацию как разжигание ненависти, если она написана на афроамериканском английском.[86]Были отмечены оскорбления и эпитеты без контекста, даже когда они использовались сообществами, которые их повторно присвоили.

Наблюдение

Программное обеспечение для камер наблюдения можно считать по своей сути политическим, поскольку оно требует алгоритмов для отличия нормального поведения от ненормального и для определения того, кто находится в определенных местах в определенное время. Было показано, что способность таких алгоритмов распознавать лица по всему расовому спектру ограничена расовым разнообразием изображений в его обучающей базе данных; если большинство фотографий принадлежат к одной расе или полу, программное обеспечение лучше распознает других представителей этой расы или пола. Однако даже аудит этих систем распознавания изображений сопряжен с этическими трудностями, и некоторые ученые предположили, что контекст технологии всегда будет оказывать непропорционально большое влияние на сообщества, действия которых подвергаются чрезмерному контролю. Например, проведенный в 2002 году анализ программного обеспечения, используемого для идентификации лиц по изображениям камер видеонаблюдения, выявил несколько примеров предвзятости при работе с криминальными базами данных. Программное обеспечение оценивалось как идентифицирующее мужчин чаще, чем женщин, пожилых людей чаще, чем молодежь, и идентифицирующее азиатов, афроамериканцев и представителей других рас чаще, чем белых. Дополнительные исследования программного обеспечения для распознавания лиц показали обратное при обучении на не криминальных базах данных, при этом программное обеспечение наименее точно идентифицирует женщин с более темной кожей.

Дискриминация в отношении сообщества ЛГБТК

В 2011 году пользователи приложения для гей-знакомств Grindr сообщили, что алгоритм рекомендаций Android Store связывал Grindr с приложениями, предназначенными для поиска сексуальных преступников, которые, по словам критиков, неточно связывали гомосексуальность с педофилией. Писатель Майк Ананни раскритиковал эту ассоциацию в The Atlantic, утверждая, что такие ассоциации еще больше стигматизируют геев. В 2009 году интернет-магазин Amazon исключено из списка 57 000 книг после изменения алгоритма, который расширил черный список "контента для взрослых", включив в него любую книгу, затрагивающую сексуальную или гомосексуальную тематику, такую как роман "Горбатая гора", получивший признание критиков.

В 2019 году было обнаружено, что в Facebook поиск по запросу "фотографии моих подруг" выдавал такие предложения, как "в бикини" или "на пляже". Напротив, поиск по запросу "фотографии моих друзей-мужчин" не дал никаких результатов.

Было замечено, что технология распознавания лиц создает проблемы для трансгендерных людей. В 2018 году поступали сообщения о водителях Uber, которые были трансгендерами или переходили на другую работу, испытывая трудности с программным обеспечением для распознавания лиц, которое Uber внедряет в качестве встроенной меры безопасности. В результате этого некоторые учетные записи водителей-трансгендеров Uber были заблокированы, что стоило им проезда и, возможно, работы, и все из-за того, что программное обеспечение для распознавания лиц испытывало трудности с распознаванием лица водителя-трансгендера, который переходил. Хотя решением этой проблемы, по-видимому, является включение транс-индивидуумов в обучающие наборы для моделей машинного обучения, экземпляр транс-видео YouTube, которые были собраны для использования в обучающих данных, не получил согласия от транс-индивидуумов, которые были включены в видео, что создало проблему нарушения конфиденциальности.

В 2017 году в Стэнфордском университете также было проведено исследование, в ходе которого были протестированы алгоритмы в системе машинного обучения, которая, как утверждалось, способна определять сексуальную ориентацию человека на основе изображений его лиц.Модель в исследовании предсказывала правильное различие между геями и гетеросексуальными мужчинами в 81% случаев и правильное различие между геями и гетеросексуальными женщинами в 74% случаев. Это исследование вызвало негативную реакцию со стороны сообщества ЛГБТК, которые опасались возможных негативных последствий, которые эта система искусственного интеллекта может оказать на представителей сообщества ЛГБТК, подвергая людей риску быть "разоблаченными" против их воли.

Дискриминация по признаку инвалидности

В то время как условия алгоритмической справедливости оценивались на основе различных аспектов предвзятости, таких как пол, раса и социально-экономический статус, инвалидность часто исключается из списка.Маргинализация, с которой люди с ограниченными возможностями в настоящее время сталкиваются в обществе, переносится в системы ИИ и алгоритмы, создавая еще большую изоляцию

Меняющийся характер нарушений и его субъективная характеристика затрудняют вычислительное решение. Отсутствие исторической глубины в определении инвалидности, сборе данных о ее распространенности в анкетах и установлении признания усугубляет противоречия и двусмысленность в ее количественной оценке и расчетах. Определение инвалидности долгое время обсуждалось, переходя от медицинской модели к социальная модель инвалидности, самая последняя, которая устанавливает, что инвалидность является результатом несоответствия между взаимодействиями людей и барьерами в их окружении, а не нарушениями и состояниями здоровья. Нарушения также могут быть ситуационными или временными, рассматриваемыми в постоянном состоянии изменения. Инвалидность невероятно разнообразна, подпадает под широкий спектр и может быть уникальной для каждого человека. Идентичность людей может меняться в зависимости от конкретных видов инвалидности, с которыми они сталкиваются, от того, как они используют вспомогательные технологии и кого они поддерживают. Высокий уровень вариативности опыта людей в значительной степени индивидуализирует то, как может проявляться инвалидность. Перекрывающиеся идентичности и межсекторальный опыт[105] исключены из статистики и наборов данных, следовательно, недопредставлены и отсутствуют в данных обучения.Следовательно, модели машинного обучения обучаются неравномерно, а системы искусственного интеллекта увековечивают еще большую алгоритмическую предвзятость. Например, если люди с нарушениями речи не охвачены обучающими функциями голосового управления и интеллектуальными помощниками с искусственным интеллектом – они не смогут использовать эту функцию или ответы, полученные от Google Home или Alexa, будут крайне плохими.

Учитывая стереотипы и клеймо, которые все еще существуют в отношении инвалидности, деликатный характер раскрытия этих идентифицирующих характеристик также сопряжен с огромными проблемами конфиденциальности, поскольку раскрытие информации об инвалидности может быть табуировано и вести к дальнейшей дискриминации этой группы населения, не хватает явных данных об инвалидности, доступных для взаимодействия алгоритмических систем. Люди с ограниченными возможностями сталкиваются с дополнительным вредом и рисками в отношении их социальной поддержки, стоимости медицинского страхования, дискриминации на рабочем месте и других предметов первой необходимости после раскрытия их статуса инвалидности. Алгоритмы еще больше усугубляют этот пробел, воссоздавая предубеждения, которые уже существуют в общественных системах и структурах.

Поиск в Google

В то время как пользователи генерируют результаты, которые "завершаются" автоматически, Google не удалось удалить сексистский и расистский текст автозаполнения. Например, Алгоритмы угнетения: как поисковые системы усиливают расизм Сафия Нобл приводит пример поиска "черных девушек", который, как сообщалось, привел к появлению порнографических изображений. Google заявила, что не может удалить эти страницы, если они не были признаны незаконными.

Препятствия для исследований

Несколько проблем препятствуют изучению крупномасштабной алгоритмической предвзятости, препятствуя применению академически строгих исследований и общественному пониманию.

Определение справедливости

Основная статья: Справедливость (машинное обучение)

В литературе по алгоритмической предвзятости основное внимание уделяется исправлению справедливости, но определения справедливости часто несовместимы друг с другом и реалиями оптимизации машинного обучения. Например, определение справедливости как "равенства результатов" может просто относиться к системе, дающей одинаковый результат для всех людей, в то время как справедливость, определяемая как "равное обращение", может явно учитывать различия между людьми. В результате справедливость иногда описывается как находящаяся в конфликте с точностью модели, что предполагает врожденное противоречие между приоритетами социального обеспечения и приоритетами поставщиков, разрабатывающих эти системы. В ответ на это противоречие исследователи предложили более тщательно подходить к проектированию и использованию систем, основанных на потенциально предвзятых алгоритмах, с определением "справедливости" для конкретных приложений и контекстов.

Сложность

Алгоритмические процессы сложны и часто превышают понимание людей, которые их используют. Крупномасштабные операции могут быть непонятны даже тем, кто участвует в их создании. Методы и процессы современных программ часто затемняются из-за невозможности знать каждую перестановку ввода или вывода кода. Социолог Бруно Латур определил этот процесс как "черный ящик", процесс, в котором "научные и прикладные" методы и процессы могут быть поняты даже теми, кто участвует в их создании. техническая работа становится невидимой благодаря ее собственному успеху. Когда машина работает эффективно, когда вопрос решен, нужно сосредоточиться только на ее входах и выходах, а не на ее внутренней сложности. Таким образом, парадоксально, что чем больше наука и технология преуспевают, тем более непрозрачными они становятся ". Другие критиковали метафору черного ящика, предполагая, что современные алгоритмы представляют собой не один черный ящик, а сеть взаимосвязанных.

Пример такой сложности можно найти в диапазоне входных данных для настройки обратной связи. Сайт социальной сети Facebook учитывал по меньшей мере 100 000 точек данных для определения структуры ленты пользователя в социальных сетях в 2013 году. Кроме того, большие команды программистов могут работать в относительной изоляции друг от друга и не знать о совокупном эффекте небольших решений в рамках связанных сложных алгоритмов. Не весь код является оригинальным и может быть позаимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки и ввода данных.

Дополнительная сложность возникает из-за машинного обучения и персонализации алгоритмов на основе пользовательских взаимодействий, таких как клики, время, проведенное на сайте, и другие показатели. Эти личные настройки могут запутать общие попытки понять алгоритмы. Одна неопознанная служба потокового радио сообщила, что она использовала пять уникальных алгоритмов выбора музыки, которые она выбирала для своих пользователей, основываясь на их поведении. Это создает различный опыт использования одних и тех же потоковых сервисов разными пользователями, затрудняя понимание того, что делают эти алгоритмы. Компаний также часто проводят A / B-тесты для точной настройки алгоритмов на основе реакции пользователя. Например, поисковая система Bing может запускать до десяти миллионов незначительных вариаций своего сервиса в день, создавая различный опыт работы с сервисом для каждого пользователя.

Отсутствие прозрачности

Коммерческие алгоритмы являются собственностью и могут рассматриваться как коммерческая тайна. Рассмотрение алгоритмов как коммерческой тайны защищает компании, такие как поисковые системы, где прозрачный алгоритм может раскрыть тактику манипулирования поисковыми рейтингами. Это затрудняет для исследователей проведение интервью или анализа, чтобы выяснить, как функционируют алгоритмы. Критики предполагают, что такая секретность может также скрывать возможные неэтичные методы, используемые при создании или обработке алгоритмических выходных данных. Другие критики, такие как юрист и активистка Катажина Шимелевич, предположили, что отсутствие прозрачности часто маскируется как результат алгоритмической сложности, защищая компании от раскрытия или расследования собственных алгоритмических процессов.

Недостаток данных о чувствительных категориях

Существенным препятствием для понимания того, как бороться с предвзятостью на практике, является то, что такие категории, как демография лиц, защищенных антидискриминационным законом, часто явно не учитываются при сборе и обработке данных. В некоторых случаях существует мало возможностей для сбора этих данных явно, например, при снятии отпечатков пальцев с устройств, повсеместных вычислениях и Интернете вещей. В других случаях контролер данных может не пожелать собирать такие данные по соображениям репутации или потому, что это представляет повышенную ответственность и риск для безопасности. Также может быть так, что, по крайней мере, в соответствии с Общим регламентом Европейского союза по защите данных, такие данные подпадают под положения "особой категории" (статья 9) и, следовательно, имеют больше ограничений на потенциальный сбор и обработку.

Некоторые специалисты попытались оценить и вменять эти недостающие чувствительной категоризации в целях обеспечения смещения смягчения, например строительные системы, чтобы вывести этнос из названия,[123] однако это может привести к другим формам предвзятости, если не применять с осторожностью. машинное обучение, исследователи опирались на криптографических конфиденциальности технологий, повышающих как безопасный многопартийных вычислений предложить способы, с помощью которых алгоритмическом смещения можно оценить или смягчены и без этих данных никогда не будут доступны для моделистов в открытом виде.

Алгоритмическая предвзятость не только включает защищенные категории, но также может касаться характеристик, которые труднее поддаются наблюдению или кодированию, таких как политические точки зрения. В этих случаях редко существует легкодоступная или не вызывающая споров основная истина, и устранить предвзятость в такой системе сложнее. Кроме того, ложные и случайные корреляции могут возникать из-за непонимания защищенных категорий, например, страховых тарифов, основанных на исторических данных об автомобильных авариях, которые могут совпадать, строго по совпадению, с жилыми кластерами этнических меньшинств.

Решения

Исследование 84 руководящих принципов политики в области этичного ИИ показало, что справедливость и "смягчение нежелательной предвзятости" были общей проблемой и решались с помощью сочетания технических решений, прозрачности и мониторинга, права на исправление и усиления надзора, а также усилий по разнообразию и инклюзивности.

Технический

Дополнительная информация: Справедливость (машинное обучение)

Было предпринято несколько попыток создать методы и инструменты, которые могут обнаруживать и наблюдать смещения в алгоритме. Эти возникающие области сосредоточены на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не на внутренних процессах алгоритма. Эти методы могут также анализировать выходные данные программы и их полезность и, следовательно, могут включать анализ ее матрицы путаницы (или таблицы путаницы). В качестве объяснимого искусственного интеллекта для обнаружения предвзятости алгоритма предлагается способ обнаружения существования предвзятости в алгоритме или модели обучения. :Использование машинного обучения для обнаружения предвзятости называется "проведением аудита ИИ", где "аудитор" - это алгоритм, который просматривает модель ИИ и обучающие данные для выявления предвзятости. Гарантировать, что инструмент ИИ, такой как классификатор, свободен от предвзятости, сложнее, чем просто удалить конфиденциальную информацию из его входных сигналов, поскольку это обычно подразумевается в других сигналах. Например, хобби, спорт и школы, которые посещает кандидат на работу, могут указывать программному обеспечению его пол, даже если это исключено из анализа. Решения этой проблемы включают в себя обеспечение того, чтобы интеллектуальный агент не располагал какой-либо информацией, которая могла бы быть использована для восстановления защищенной и конфиденциальной информации о предмете, как впервые продемонстрировано в , где сеть глубокого обучения была одновременно обучена для изучения задачи, в то же время оставаясь полностью независимой от защищенной функции. Более простой метод был предложен в контексте встраивания слов и включает удаление информации, которая коррелирует с защищенной характеристикой.

В настоящее время разрабатывается новый стандарт IEEE, целью которого является определение методологий, помогающих создателям алгоритмов устранять проблемы предвзятости и обеспечивать прозрачность (т. Е. для органов власти или конечных пользователей) в отношении функций и возможных эффектов их алгоритмов. Проект был одобрен в феврале 2017 года и спонсируется Комитетом по стандартам разработки программного обеспечения и систем, комитетом, учрежденным IEEE Computer Society. Ожидается, что проект стандарта будет представлен для голосования в июне 2019 года.

Прозрачность и мониторинг

Дополнительная информация: Алгоритмическая прозрачность

Этические рекомендации по ИИ указывают на необходимость подотчетности, рекомендуя предпринять шаги для улучшения интерпретируемости результатов.[144] Такие решения включают в себя учет "права на понимание" в алгоритмах машинного обучения и противодействие развертыванию машинного обучения в ситуациях, когда решения не могут быть объяснены или пересмотрены.С этой целью в таких организациях, как DARPA, уже ведется движение за "Объяснимый ИИ" по причинам, которые выходят за рамки устранения предвзятости. Price Waterhouse Coopers, например, также предполагает, что мониторинг выходных данных означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты.

Первоначальный подход к прозрачности включал в себя открытый исходный код алгоритмов. Программный код может быть изучен, и улучшения могут быть предложены с помощью средств размещения исходного кода. Однако этот подход не обязательно приводит к желаемым эффектам. Компании и организации могут делиться всей возможной документацией и кодом, но это не обеспечивает прозрачности, если аудитория не понимает предоставленную информацию. Следовательно, роль заинтересованной критической аудитории стоит изучить в связи с прозрачностью. Алгоритмы не могут быть привлечены к ответственности без критически настроенной аудитории.

Право на исправление

С точки зрения регулирования, Торонтская декларация призывает применять рамки прав человека к ущербу, причиняемому алгоритмической предвзятостью.Это включает в себя законодательное закрепление ожиданий от разработчиков этих алгоритмов должной осмотрительности и создание подотчетности, когда частные субъекты не в состоянии защитить общественные интересы, отмечая, что такие права могут быть затемнены сложностью определения ответственности в сети сложных, переплетающихся процессов. Другие предлагают необходимость четких механизмов страхования ответственности.

Разнообразие и инклюзивность

На фоне опасений, что проектирование систем искусственного интеллекта - это в первую очередь прерогатива белых инженеров-мужчин, ряд ученых предположили, что алгоритмическая предвзятость может быть сведена к минимуму путем расширения круга тех, кто разрабатывает системы искусственного интеллекта. Например, только 12% инженеров по машинному обучению составляют женщины, а чернокожие лидеры ИИ указывают на "кризис разнообразия" в этой области. Такие группы, как Black в ИИ и Квиры в ИИ пытаются создать более инклюзивные пространства в сообществе ИИ и работать против часто вредных желаний корпораций, которые контролируют траекторию исследований в области ИИ. Критика простых усилий по обеспечению инклюзивности предполагает, что программы разнообразия не могут устранить перекрывающиеся формы неравенства, и призвали применять более продуманный подход к разработке алгоритмов через призму интерсекциональности. Исследователи из Кембриджского университета утверждали, что решению проблемы расового разнообразия мешает "белизна" культуры ИИ. АИ.

Междисциплинарность и сотрудничество

Интеграция междисциплинарности и сотрудничества при разработке систем искусственного интеллекта может сыграть решающую роль в борьбе с алгоритмической предвзятостью. Интеграция идей, опыта и перспектив из дисциплин, не связанных с информатикой, может способствовать лучшему пониманию влияния решений, основанных на данных, на общество. Примером этого в исследованиях ИИ является ПАКТ или подход, основанный на участии, для обеспечения возможностей в сообществах, предлагаемая структура для облегчения сотрудничества при разработке решений, основанных на ИИ, связанных с социальным воздействием. Эта структура определяет руководящие принципы участия заинтересованных сторон при работе над проектами ИИ для общественного блага (AI4SG). PACT пытается подчеркнуть важность деколонизации и перераспределения власти при разработке решений искусственного интеллекта, ориентированных на человека. Академической инициативой в этом отношении является Институт искусственного интеллекта, ориентированного на человека, при Стэнфордском университете, целью которого является содействие междисциплинарному сотрудничеству. Миссия института заключается в продвижении исследований в области искусственного интеллекта (ИИ), образования, политики и практики для улучшения условий жизни человека.

Сотрудничество с внешними экспертами и различными заинтересованными сторонами способствует этичной, всеобъемлющей и подотчетной разработке интеллектуальных систем. Он учитывает этические соображения, понимает социальный и культурный контекст, продвигает дизайн, ориентированный на человека, использует техническую экспертизу и учитывает политические и юридические соображения. Сотрудничество между дисциплинами важно для эффективного устранения предвзятости в системах искусственного интеллекта и обеспечения того, чтобы технологии искусственного интеллекта были справедливыми, прозрачными и подотчетными.

Регулирование

Европа

Общий регламент по защите данных (GDPR), пересмотренный режим защиты данных Европейского союза, который был введен в действие в 2018 году, касается "Автоматизированного индивидуального принятия решений, включая профилирование" в статье 22. Эти правила запрещают "исключительно" автоматизированные решения, которые оказывают "существенное" или "юридическое" воздействие на человека, если они явно не разрешены согласием, контрактом или законодательством государства-члена. Там, где они разрешены, должны быть предусмотрены гарантии, такие как право на участие человека в цикле и необязательное право на объяснение принятых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют по всей Европе с 1995 года в статье 15 Директивы о защите данных. Оригинальные правила автоматического принятия решений и гарантии, встречающиеся во французском законодательстве с конца 1970-х годов.

GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также статистические подходы, возможные для ее устранения, непосредственно в описании 71, отмечая, что

контролер должен использовать соответствующие математические или статистические процедуры для профилирования, внедрять соответствующие технические и организационные меры ... которая предотвращает, среди прочего, дискриминационное воздействие на физических лиц на основе расового или этнического происхождения, политических убеждений, религии или верований, членства в профсоюзах, генетического состояния или состояния здоровья или сексуальной ориентации, или которые приводят к мерам, имеющим такой эффект.

Как и необязывающее право на объяснение в разделе 71, проблема заключается в необязательном характере описаний. Хотя это рассматривалось как требование Рабочей группой по статье 29, которая консультировала по вопросам применения закона о защите данных, его практические аспекты неясны. Утверждалось, что оценки воздействия на защиту данных для профилирования данных высокого риска (наряду с другими превентивными мерами в рамках защиты данных) могут быть лучшим способом решения проблем алгоритмической дискриминации, поскольку это ограничивает действия тех, кто внедряет алгоритмы, вместо того, чтобы требовать от потребителей подачи жалоб или запроса изменений.

США

В Соединенных Штатах нет общего законодательства, контролирующего алгоритмическую предвзятость, и проблема решается с помощью различных законов штата и федеральных законов, которые могут варьироваться в зависимости от отрасли, сектора и способа использования алгоритма. Многие политики применяются самостоятельно или контролируются Федеральной торговой комиссией. В 2016 году администрация Обамы опубликовала Национальный стратегический план исследований и разработок в области искусственного интеллекта, который должен был направлять политиков к критической оценке алгоритмов. В нем исследователям рекомендовалось "спроектировать эти системы так, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми людьми, и, таким образом, их можно было проверять на предмет любой предвзятости, которую они могут содержать, а не просто изучать и повторять эти предвзятости". Задуманный исключительно как руководство, отчет не создал никакого юридического прецедента.

В 2017 году город Нью-Йорк принял первый в Соединенных Штатах законопроект об алгоритмической подотчетности.Законопроект, который вступил в силу 1 января 2018 года, требовал "создания целевой группы, которая предоставляет рекомендации о том, как информация об автоматизированных системах принятия решений агентства может быть доведена до общественности, и как агентства могут рассматривать случаи, когда люди страдают от автоматизированных систем принятия решений агентства". Целевая группа должна представить выводы и рекомендации для дальнейших нормативных действий в 2019 году.

Индия

31 июля 2018 года был представлен проект закона о персональных данных.В проекте предлагаются стандарты для хранения, обработки и передачи данных. Хотя в нем не используется термин "алгоритм", в нем предусмотрены положения о "вреде, возникающем в результате любой обработки или любого вида обработки, осуществляемой доверенным лицом". Она определяет "любой отказ или изъятие услуги, выгоды или товара в результате принятия оценочного решения относительно субъекта данных" или "любое дискриминационное обращение" как источник вреда, который может возникнуть в результате ненадлежащего использования данных. В нем также предусмотрены особые положения для людей с "интерсексуальным статусом".

Смотрите также

Этика искусственного интеллекта

• Справедливость (машинное обучение)
• Несогласованные цели в искусственном интеллекте
• Прогнозирующая полицейская деятельность
• SenseTime

Пруф

/link.springer.com/book/10.1007/978-1-4842-4885-0