Изображение говорило само за себя. Ученый-компьютерщик из Университета Буффало и эксперт по дипфейкам Сивэй Лю создал фотоколлаж из сотен лиц, которые его алгоритмы обнаружения ошибочно классифицировали как фальшивые, — и новая композиция явно имела преимущественно более темный оттенок кожи.
«Точность алгоритма обнаружения должна быть статистически независимой от таких факторов, как расовая принадлежность», — говорит Лю, — «но очевидно, что многие существующие алгоритмы, включая наш собственный, наследуют предвзятость».
Лю, доктор философии, содиректор Центра информационной целостности UB, и его команда разработали, по их мнению, первые в мире алгоритмы обнаружения дипфейков, специально разработанные для того, чтобы быть менее предвзятыми.
Их два метода машинного обучения — один, который позволяет алгоритмам учитывать демографические данные, а другой — оставляет их слепыми к ним, — уменьшили различия в точности между расами и полами, в то же время, в некоторых случаях, все еще улучшая общую точность.
Исследование , опубликованное на сервере препринтов arXiv , было представлено на Зимней конференции по приложениям компьютерного зрения (WACV) , проходившей 4–8 января.
Лю, старший автор исследования, сотрудничал со своим бывшим студентом Шу Ху, доктором философии, ныне доцентом кафедры компьютерных и информационных технологий в Университете Индианы и Университете Пердью в Индианаполисе, а также с Джорджем Ченом, доктором философии, ассистентом. профессор информационных систем в Университете Карнеги-Меллона. Среди других участников — Ян Цзюй, доктор философии. студент Лаборатории медиа-криминалистики Лю в Университетском университете и постдокторант Шань Цзя.
Цзюй, первый автор исследования, говорит, что инструменты обнаружения зачастую менее тщательно изучаются, чем инструменты искусственного интеллекта, которые они держат под контролем, но это не значит, что их тоже не нужно привлекать к ответственности.
«Дипфейки настолько разрушительны для общества, что исследовательское сообщество спешило найти решение, — говорит она, — но даже несмотря на то, что эти алгоритмы были созданы для благого дела, нам все равно необходимо осознавать их побочные последствия».
Демографическая осведомленность против демографического агностика
Недавние исследования выявили большие различия в частоте ошибок алгоритмов обнаружения дипфейков — разница до 10,7% в одном исследовании — среди разных рас. В частности, было доказано, что некоторые лучше угадывают подлинность светлокожих людей, чем темнокожих.
Это может привести к тому, что некоторые группы будут подвергаться большему риску того, что их реальный образ будет признан фальшивым, или, что, возможно, даже более вредно, если их подделанный образ будет признан реальным.
Проблема не обязательно в самих алгоритмах, а в данных, на которых они обучались. Белые мужчины среднего возраста часто слишком представлены в таких наборах фото- и видеоданных, поэтому алгоритмы лучше анализируют их, чем недостаточно представленные группы, — говорит Лю, профессор SUNY Empire на кафедре компьютерных наук и инженерии UB в Школе компьютерных технологий. Инженерные и прикладные науки.
«Скажем, одна демографическая группа имеет 10 000 образцов в наборе данных, а другая — только 100. Алгоритм пожертвует точностью в меньшей группе, чтобы минимизировать ошибки в большей группе», — добавляет он. «Таким образом, это уменьшает общие ошибки, но за счет меньшей группы».
В то время как другие исследования пытались сделать базы данных более демографически сбалансированными (а это трудоемкий процесс), Лю говорит, что исследование его команды — это первая попытка реально улучшить справедливость самих алгоритмов.
Чтобы объяснить свой метод, Лю использует аналогию с учителем, которого оценивают по результатам тестов учеников.
«Если у учителя 80 учеников учатся хорошо, а 20 учеников учатся плохо, они все равно получат довольно хороший средний балл», — говорит он. «Поэтому вместо этого мы хотим дать средневзвешенное значение ученикам среднего уровня, заставляя их больше сосредотачиваться на всех, а не на доминирующей группе».
Во-первых, их демографический метод предоставил алгоритмам наборы данных, которые маркировали пол испытуемых (мужской или женский) и расу (белый, черный, азиат или другая) и давали ему указание минимизировать ошибки в менее представленных группах.
«По сути, мы говорим алгоритмам, что нас волнует общая производительность, но мы также хотим гарантировать, что производительность каждой группы соответствует определенным пороговым значениям или, по крайней мере, ненамного ниже общей производительности», — говорит Люу.
Однако наборы данных обычно не помечены по признаку расы и пола. Таким образом, демографический агностический метод команды классифицирует дипфейковые видео не на основе демографических данных субъектов, а на основе особенностей видео, которые не сразу видны человеческому глазу.
«Может быть, группа видео в наборе данных соответствует определенной демографической группе или, может быть, она соответствует какой-то другой особенности видео, но нам не нужна демографическая информация для их идентификации», — говорит Люу. «Таким образом, нам не нужно вручную выбирать, на какие группы следует обратить внимание. Все это автоматизировано на основе того, какие группы составляют средний фрагмент данных».
Повышение справедливости и точности
Команда протестировала свои методы, используя популярный набор данных FaceForensic++ и современный алгоритм обнаружения Xception. Это улучшило все показатели справедливости алгоритма, такие как равный уровень ложных срабатываний среди рас, при этом метод с учетом демографических данных показал лучшие результаты.
Самое главное, говорит Люу, их методы фактически увеличили общую точность обнаружения алгоритма — с 91,49% до 94,17%.
Однако при использовании алгоритма Xception с разными наборами данных и набора данных FF+ с разными алгоритмами эти методы, хотя и улучшают большинство показателей справедливости, немного снижают общую точность обнаружения.
«Между производительностью и справедливостью может быть небольшой компромисс, но мы можем гарантировать, что снижение производительности будет ограниченным», — говорит Люу. «Конечно, фундаментальным решением проблемы предвзятости является улучшение качества наборов данных, но сейчас нам следует включить справедливость в сами алгоритмы».