В 2016 году программа оценки рисков COMPAS, которую использовали в судах США для прогнозирования вероятности повторного правонарушения, оказалась под огнем критики, сообщает ProPublica. Алгоритм систематически переоценивал риски для чернокожих подсудимых и недооценивал для белых. Это показывает, что даже при кажущейся нейтральности алгоритмы ИИ могут унаследовать и усиливать предвзятость, содержащуюся в обучающих данных.
Нейросети учатся на исторических данных. Если в них есть перекосы — ИИ их усилит. Как отмечает международная консалтинговая компания McKinsey, «алгоритмы часто отражают скрытые предубеждения, присутствующие в обществе десятилетиями».
Amazon приостановила использование ИИ-системы для найма после выявления дискриминации женщин. Как сообщает информационное агентство Reuters, алгоритм обучался на резюме мужчин-инженеров, что исказило оценки кандидаток. Среди ключевых проблем — работа с неполными данными, игнорирование контекста и отсутствие юридически определённой ответственности за решения системы.
По данным Octagon Media, алгоритмы автоматического отбора в 30% случаев снижали рейтинг кандидатов старше 50 лет, что ограничивало их шансы на трудоустройство вне зависимости от опыта.
В здравоохранении ИИ-системы демонстрируют уязвимости: при диагностике редких заболеваний точность падает на 40–60%, фиксируются ошибки при анализе рентгеновских снимков у пациентов с атипичной анатомией и при интерпретации ЭКГ у женщин (на 15–20% чаще, чем у мужчин). Также алгоритмы не учитывают индивидуальные параметры при назначении терапии, что снижает её эффективность.
«Проблема в том, что разработчики часто не осознают, какие скрытые паттерны может выявить ИИ», — поясняет Иван Ямщиков, заведующий лабораторией естественного языка ВШЭ-Яндекс.
Устойчивость предвзятости в системах искусственного интеллекта обусловлена рядом структурных факторов. Во-первых, большинство обучающих выборок не отражают глобального разнообразия. Около 80% изображений в используемых датасетах поступают из США и Европы, что ограничивает применимость моделей в других регионах. Во-вторых, алгоритмы могут опираться на скрытые корреляции, не имеющие прямой причинной связи. Так, как показало исследование РБК Тренды, банковские ИИ-системы учитывают при оценке кредитоспособности параметры, такие как модель смартфона клиента. Наконец, эффект «чёрного ящика» остаётся значимой проблемой:
архитектура некоторых нейросетей настолько сложна, что разработчики не всегда могут объяснить, на основании каких факторов принимается то или иное решение.
Юридические системы разных стран только начинают вырабатывать подходы к этому вызову. В ЕС, например, с 2024 года действует закон об искусственном интеллекте, который обязывает компании проводить обязательный аудит алгоритмов на предмет дискриминации. Даже когда суд США признал систему COMPAS, используемую для оценки риска рецидива у преступников, дискриминационной по отношению к афроамериканцам, разработчики избежали санкций — формально алгоритм считался лишь «рекомендательным инструментом».
«Предвзятость – слишком узкий термин для обозначения проблем, о которых мы говорим, — отмечает Кейт Кроуфорд, главный исследователь в Microsoft Research. — Но данные не берутся из вакуума: их собирают люди, которые сами не свободны от предубеждений». Именно поэтому эксперты настаивают на комплексном подходе к «дебиазингу» (устранению предвзятости). McKinsey рекомендует создавать междисциплинарные команды, куда входят не только data-саентисты, но и социологи, юристы и даже философы. Это помогает выявлять скрытые допущения в обучающих данных.
На технологическом уровне компании экспериментируют с разными методами. Разработчики социальной сети LinkedIn, например, внедрили гибридную систему. ИИ сначала отбирает кандидатов, но финальное решение принимает человек-рекрутер. В медицинских алгоритмах используют «адверсариалные сети» — специальные ИИ-модели, которые специально ищут признаки дискриминации в работе основной системы. А в кредитном скоринге начали применять «контрфактуальные тесты»: искусственно меняют в анкетах расу или пол заемщика, чтобы проверить, повлияет ли это на решение алгоритма.
У обычных сотрудников появилась необходимость развивать «алгоритмическую грамотность». HR-директор СберТеха Алексей Минин советует: «Если система автоматически отклонила ваше резюме или заявку, требуйте объяснений — по GDPR и новому европейскому AI Act это ваше право». Также компании вроде «Яндекса» и «Тинькофф» используют внутренние ИИ-инструменты для улучшения качества кода. В «Яндексе» нейросеть Yandex GPT помогает находить ошибки в коде, а в «Т-Банке» ИИ-система Nestor автогенерирует тесты и дополняет код, снижая нагрузку на разработчиков.
Она расскажет вам о том, как именно вы обучаете нейросети: цифровой профиль, кассы самообслуживания — знакомо? Узнайте еще подробнее в статьях нашего автора.