Понимание расовых предубеждений в алгоритмах машинного обучения

Предубеждение проявляется повсюду в нашем мире, несмотря на все наши попытки избежать его. Неявная предвзятость относится к нашим взглядам, убеждениям и стереотипам в отношении групп людей. Предубеждения влияют на то, как мы относимся к другим и реагируем на них, даже если они являются непроизвольными.

Неявная предвзятость также широко распространена в индустрии высоких технологий, не только когда речь идет о приеме на работу, но также в продуктах и технологиях. что создают разработчики из лучших побуждений. В частности, исследователи идентифицируют машинное обучение и искусственный интеллект как технологии, страдающие от неявных расовых предубеждений . 1 ^ 1 1 Если программное обеспечение развитие действительно «поедает мир», те из нас, кто работает в отрасли, должны обратить внимание на эти открытия и работать над созданием лучшего мира.

Итак, как машинное обучение и ИИ страдают от расовых предубеждений? И что еще более важно, что мы можем сделать, чтобы с этим бороться? Сегодня мы поговорим о следующем:

Расовые предубеждения в машинном обучении и ИИ.
Борьба с расовыми предрассудками в технологиях машинного обучения.
Подведение итогов и ресурсы

Содержание

Расовая предвзятость в машинном обучении и искусственном интеллекте
Опасность автоматизации
Неправильное обучение и прокси
Предвзятость ИИ — это человеческая предвзятость
Борьба с расовой предвзятостью в технологиях машинного обучения
Тренируйтесь на точных данных и моделях обучения
Будьте намеренными на этапе проектирования
Защитник справедливости в поле
Измените способ обучения естествознанию и математике
Заключение
Источники и дополнительная информация

Расовая предвзятость в машинном обучении и искусственном интеллекте

Машинное обучение использует алгоритмы для получения входных данных, организации данных и прогнозирования выходных данных в заранее определенных диапазонах и шаблонах. . Алгоритмы могут показаться «объективно» математическими процессами, но это далеко от истины. Расовые предубеждения проникают в алгоритмы несколькими тонкими и не очень тонкими способами, приводя к дискриминационным результатам и результатам. Давайте посмотрим глубже.

Опасность автоматизации

Алгоритмы могут получить желаемые результаты по неправильным причинам. Автоматизируя алгоритм, он часто находит закономерности, которые вы не могли предсказать. Легенда эксперимента с нейросетевым резервуаром демонстрирует это ограничение алгоритмов. 2 ^ 2 2

Автоматизация создает опасность, когда данные несовершенные , грязный или необъективный. Алгоритм может улавливать несущественные данные и усиливать непреднамеренные неявные предубеждения .

Например, аналитик данных Дафна Коллер объяснила, что алгоритм, разработанный для распознавания трещин по рентгеновским лучам в итоге вместо этого выяснилось, какая больница создала изображение. Этот алгоритм теперь включает нерелевантные данные и искажает результаты. 3 ^ 3 3

Представьте, если алгоритм подвергается воздействию наборов данных, предвзятых с расовой точки зрения : он продолжит учитывать эти предубеждения, даже в совершенно другом контексте..

Алгоритмы найма особенно часто становятся жертвами расовых предубеждений из-за автоматизации. Менеджеры по персоналу не могут пробираться через пулы соискателей, поэтому алгоритмы сканирования резюме отсеивают около 72% резюме до того, как их прочитает сотрудник отдела кадров. Сканеры резюме обычно обучаются на прошлых успехах компании, а это означает, что они унаследуют предубеждения компании.

В хорошо известном эксперименте выбранные рекрутеры резюме с » «белые» имена. 4 ^ 4 4 Обучая алгоритм на этом наборе данных, он научился автоматически отфильтровывать любые «Чёрно звучащие» имена. Алгоритм отбирал кандидатов на основе чисто субъективных критериев, увековечивая расовую дискриминацию.

Эта же форма автоматической дискриминации не позволяет цветным людям получить работу, жилье и даже студенческие ссуды. Автоматизация означает, что мы создадим слепые пятна и расистские предубеждения в наших так называемых объективных алгоритмах.

Неправильное обучение и прокси

Для обучения алгоритмов используются наборы данных и прокси. Входы могут быть предвзятыми, поэтому алгоритмы тоже станут предвзятыми. Разработчики, которые слишком часто обучают и тестируют алгоритмы, используют наборы данных с плохим представлением меньшинств. Фактически, обычно используемый набор данных содержит контент с 74% мужских лиц и 83% белых лиц . 5 ^ 5 5 Если исходный материал преимущественно белый, результаты тоже будут.

Это представляет собой серьезную проблему для алгоритмов, используемых в автоматических демографических предикторах и программном обеспечении для распознавания лиц. 8 ^ 8 8 Поскольку программное обеспечение для распознавания лиц не обучено широкому кругу лиц меньшинств, оно неверно идентифицирует меньшинства на основе узкого набора функций.

Во время скандала 2015 года технология распознавания лиц Google пометила двух чернокожих американских пользователей как горилл из-за предвзятого ввода данных и неполного обучения.

В другом примере 2018 года, инструмент распознавания лиц, используемый законом: неверная идентификация правоприменения 35 % темнокожих женщин по сравнению с мужчинами. Уровень ошибок для светлокожих мужчин составлял всего 0,8%.

В то время, когда жестокость полиции в Соединенных Штатах находится на пике, мы можем видеть, как эти предвзятые данные могут привести к катастрофическим, даже катастрофическим последствиям. жестокие результаты.

Прокси-серверы также порождают смещение. Прокси-сервер Проще говоря, это предположение о наших переменных, которые мы используем для получения конкретных результатов. ИМТ, например, является показателем, позволяющим обозначить, является ли кто-то «здоровым» или «нездоровым».

Мы предполагаем что ИМТ приравнивается к здоровью, поэтому мы классифицируем тела в соответствии с этой системой, хотя концепция ИМТ была широко опровергнута. Если мы предполагаем, что прокси точен, мы предполагаем, что результаты тоже.

Это происходит при машинном обучении.

Исследование 2019 года показало, что алгоритм машинного обучения в сфере здравоохранения сократил вдвое количество чернокожих пациентов, нуждающихся в дополнительной помощи. Фактически, оценка риска для любого заданного уровня здоровья была выше. для белых пациентов.

Поскольку алгоритм был обучен на основе прокси расходов на здравоохранение , он предполагал, что расходы на здравоохранение служат индикатором медицинских потребностей. Однако черный пациенты тратят меньше s о здравоохранении по разным расовым системным и социальным причинам.

Без более глубокого исследования результаты могли бы привести к выделению дополнительных ресурсов только для белых пациентов. Когда алгоритм был изменен, чтобы включить более точные маркеры риска для здоровья, цифры изменились: чернокожие пациенты, направляемые в программы по уходу, увеличились с 18% до 47% во всех случаях.

Пример за примером доказывают, что машина обучение и прокси, даже созданные разработчиками из лучших побуждений, могут привести к неожиданным, пагубным результатам, которые часто дискриминируют меньшинства.

Предвзятость ИИ — это человеческая предвзятость

Алгоритмы не совсем нейтральны. Представление о том, что математика и естественные науки являются чисто объективными , неверно. Фактически, научные открытия на протяжении всей истории, такие как френология и даже эволюция, использовались для оправдания расистских выводов.

Алгоритмы — это наши мнения, написанные в коде . Поскольку алгоритмы разрабатываются, создаются и обучаются специалистами по данным, такими людьми, как вы и я, технологиям машинного обучения непреднамеренно присущи человеческие предубеждения. Это означает, что наши машины рискуют унаследовать любые предубеждения, которые мы вносим в таблицу, даже в крупных масштабах.

Источник: журнал TIME об алгоритмах поиска Google

Если вы не Убеждены, читайте о Tay от Microsoft, чат-боте с ИИ, который распространял тревожно расистские сообщения после того, как пользователи научили его всего за несколько часов.

Предвзятость ИИ — это человеческая предвзятость. Мы учителя. Вас не должно удивлять, что репрезентация является одним из факторов, влияющих на эту проблему. Большинство исследователей искусственного интеллекта — мужчины, выходцы из белых расовых слоев населения, схожих социально-экономических позиций и даже с похожими университетами..

Исследования 2019 года показывают, что 80% профессоров ИИ — мужчины, а цветные люди по-прежнему недопредставлены в крупных технологических компаниях. 6 ^ 6 6

На конференции по ИИ в 2016 году Тимнит Гебру, исследователь Google AI, сообщил, что из 8500 участников было только шесть чернокожих. Этот кризис разнообразия означает, что очень мало цветных людей вовлечено в процесс принятия решений или проектирования с помощью машинного обучения.

Если новаторы однородны, результаты и инновации будут такими же, и мы будем продолжать игнорировать более широкий диапазон человеческого опыта.

Борьба с расовой предвзятостью в технологиях машинного обучения

Проблема реальна и очевидна. Итак, как нам бороться с расовыми предубеждениями в машинном обучении? Что мы можем активно сделать, чтобы неявная предвзятость не заразила наши технологии?

Давайте рассмотрим несколько предложений и практик. Я также рекомендую посмотреть список ресурсов для других практических решений и исследований.

Тренируйтесь на точных данных и моделях обучения

Проще говоря, мы должны обучать алгоритмы на «лучших» данных. Более точные данные могут означать много разных вещей. Данные обучения должны напоминать данные, которые алгоритм будет использовать изо дня в день.

Данные, содержащие много «мусора», увеличивают потенциальную погрешность вашего алгоритма. Избегайте использования разных моделей обучения для разных групп людей, особенно если данные более ограничены для группы меньшинств.

Невозможно удалить все смещения из уже существующих наборов данных, тем более что мы не может знать, что предвзято влияет на алгоритм, разработанный сам по себе Вместо этого мы должны постоянно переобучать алгоритмы на данных из реальных распределений.

Нам также необходимо выбрать правильную модель обучения. У контролируемого и неконтролируемого обучения есть свои преимущества, и их необходимо учитывать в зависимости от рассматриваемой программы.

Данные, созданные человеком, являются огромным источником предвзятости. Возможно, это не злой умысел, но программы искусственного интеллекта будут отражать эти предубеждения. Таким образом, мы должны проявлять осторожность и скромность при обучении алгоритмов.

Простая подача в алгоритмы более «разнообразных» данных может не учитывать неявные смещения в этих данных. Мы должны критически относиться к потенциальным ошибкам в данных и обращаться к тем, более образованным в этом вопросе, за отзывами и инструкциями .

Это дает нам возможность устранить предвзятость не только в нашей технологии, но и в нас самих.

Будьте намеренными на этапе проектирования

Ключ к предотвращению расовых предубеждений находится на этапе проектирования. Многие компании считают снижение затрат конечной целью алгоритмического проектирования, но у этого результата есть много белых пятен. Сами по себе данные не могут объяснить истории расового угнетения и сложных социальных факторов , когда такие вещи, как кредитные рейтинги, используются в качестве заместителей. Изучите эти истории, прежде чем создавать алгоритм, и спрашивайте мнение экспертов, прежде чем переходить к конкретному проекту.

Мы также должны кодировать алгоритмы с более высокой чувствительностью к смещению. Возможно, мы не сможем «вылечить» предвзятость, но мы можем действовать превентивно, используя систему сдержек и противовесов. Выступайте за системы управления и наблюдения, такие как выборочные выборочные проверки программного обеспечения для машинного обучения, тщательная проверка результатов человеком и проверка корреляции вручную.

Мы знаем, что алгоритмы могут создавать непреднамеренные корреляции, например предполагать что имя человека является индикатором потенциальной занятости, поэтому нам нужно проявлять бдительность и исследовать , почему наши алгоритмы принимают свои решения.

Защитник справедливости в поле

Это кажется довольно простым : разнообразие в области науки о данных может предотвратить сохранение предубеждений в технологиях. Опрос StackOverflow 2020 года показывает, что 68,3% разработчиков — белые. Это проблема.

Нам нужно начать с найма большего количества цветных людей в областях машинного обучения и на руководящие должности без токенизации их опыта. Белые бизнес-лидеры не должны ожидать, что кандидаты будут действовать, говорить или думать так же, как они. Вся суть разнообразия заключается в разнообразии точек зрения , которые люди приносят с собой, включая разный уровень образования.

Однако практика приема на работу не изменит всего, если глубоко укоренившаяся культура в области технологий остается неизменной. Нормы, ценности и язык, используемый для обучения или найма, также имеют значение. 7 ^7 7 Многие нормы в технологической индустрии исключают меньшинства.

Например, термины «технические парни» или «ниндзя-программисты» отговаривают женщин и другие меньшинства от поиска работы в сфере высоких технологий. Нам необходимо запустить стратегии, которые изменят культуру и побудят недопредставленные меньшинства идентифицировать себя в качестве разработчиков. Даже просто призывать своих коллег к предвзятым словам — хорошее место для начала.

Нам также необходимо расширить, увеличить доступ к ресурсам . Существует много мифов о машинном обучении, то есть о том, что вам нужна докторская степень. из престижного университета или что эксперты по искусственному интеллекту — редкость. Нам необходимо отказаться от представления о том, что технологии машинного обучения предназначены для престижных, в основном белых ученых.

Эти мифы не позволяют талантливым людям чувствовать себя включенными, искать работу или даже только начинать.. Относиться к этим инструментам беспристрастно и с распростертыми объятиями — хорошее место для начала.

Измените способ обучения естествознанию и математике

Как я упоминал ранее, наука и математика не обязательно объективны. Если мы обозначаем данные как «объективные» или «фактические», мы менее склонны критически относиться к субъективным факторам и предубеждениям, которые ограничивают нас и причиняют нам вред. Науку преподают так, как будто она возникает «из ниоткуда», как будто нет никаких личных предубеждений. Но наука и математика не свободны от социальных, исторических, политических или экономических факторов.

Наука происходит среди «беспорядка» и сложности человеческой жизни. Давайте не будем игнорировать мир в погоне за иллюзией объективности.

Отчасти это сводится к переосмыслению технического образования. Мы не изменим культуру, просто нанимая сотрудников или студентов, которые уже достигли более поздних стадий традиционного образовательного процесса. Вместо этого нам нужно переосмыслить то, как мы подходим, преподаем и отделяем STEM + M от других областей.

Одним из важных изменений могло бы стать поощрение междисциплинарного образования , чтобы Студенты STEM изучают технические навыки наряду с искусством, историей, литературой и многим другим. Мы также должны пересказать историю технологий, чтобы подчеркнуть часто забываемый вклад групп меньшинств. Эти инновации и опыт не являются частью истории технологий. Это история техники.

Заключение

Алгоритмы могут быть ужасными инструментами, и они могут быть прекрасным инструментом. Важно то, как мы их создаем, кого мы включаем в процесс и насколько мы готовы изменить наши культурные взгляды. Во времена раскола в нашем мире мы часто слышим, что мы должны работать, чтобы быть антирасистскими.

Давайте все подумаем, как машинное обучение и алгоритмы должны быть разработаны как антирасистские инструменты. . Как наши личные предубеждения находятся в наших руках, так и сила их изменить.

Продолжайте обучать себя и выступать за изменения на своем рабочем месте. Ознакомьтесь с ресурсами ниже, чтобы узнать больше по этой теме..