Создана «отрава» для моделей искусственного интеллекта, которые незаконно обучаются на изображениях

Nightshade Poisoning Attacks

Специалисты Чикагского университета выпустили инструмент под названием Nightshade, предназначенный для наказания недобросовестных разработчиков моделей машинного обучения, которые обучают свои системы на данных, предварительно не получив разрешения. Технология минимизирует видимые изменения исходного изображения. Ещё разработчики называют своё детище «отравой», «паслёном» для обмана искусственного интеллекта. Исследование опубликовано на arXiv.

Nightshade работает как многоцелевая оптимизация, которая минимизирует видимые изменения исходного изображения. Например, человеческий глаз может увидеть затенённое изображение коровы на зелёном поле практически без изменений, но модель искусственного интеллекта может увидеть большой кожаный кошелёк, лежащий в траве. Специфика технологии заключается в выборе ярлыка, который описывает то, что на самом деле изображено, чтобы размыть границы этого понятия, когда изображение попадает в модель для обучения.