На прошлой неделе специалисты Microsoft опубликовали LLM WizardLM 2, которая, по их словам, является одной из самых мощных на сегодня больших языковых моделей с открытым исходным кодом. Затем, спустя несколько часов, компания удалила модель из сети, поскольку перед выпуском ее случайно забыли «протестировать на токсичность». Однако пользователи успели сохранить LLM, и она по-прежнему доступна всем желающим.
Как пишет издание 404 Media, за несколько часов до удаления модели несколько человек успели скачать ее и перезалить на GitHub и Hugging Face. То есть модель, которую Microsoft посчитала неготовой к публичному использованию, и которую пришлось убрать из сети, теперь вряд ли получится «удалить из интернета».
Согласно удаленному теперь сообщению разработчиков WizardLM 2, опенсорсная модель представляет собой «современную большую языковую модель нового поколения от Microsoft, которая отличается повышенной производительностью при работе со сложными чатами, несколькими языками, аргументацией и агентами».
При этом WizardLM 2 обучается на синтетических данных, то есть данных, созданных другими ИИ-системами, а не на информации, полученной от человека: из интернета, книг, научных журналов и так далее.
«Мы полагаем, что по мере того, как естественные данные, созданные человеком, все больше истощаются в процессе обучения LLM, данные, тщательно подготовленные ИИ, и модели, шаг за шагом контролируемые ИИ, станут единственным путем к более мощному ИИ», — писали разработчики.
Специалисты Microsoft заявляли, что протестировали свою LLM с помощью MT-Bench, и пришли к выводу, что модель «демонстрирует высокую конкурентоспособную производительность по сравнению с наиболее продвинутыми проприетарными разработками, такими как GPT-4-Turbo и Claude-3». Как отмечают журналисты, существует множество методов оценки производительности LLM, и их сравнительный анализ пока остается весьма несовершенной наукой, но исследователи Microsoft были уверены, что им удалось создать мощную модель.
Представители Microsoft отказались отвечать на конкретные вопросы о том, почему WizardLM 2 была удалена вскоре после релиза. Однако Twitter-аккаунт @WizardLM_AI, связанный с ведущим автором статей о первом WizardLM, Каном Сюем (Can Xu), а также его соавтором и коллегой-исследователем Цинфэном Сунь (Qingfeng Sun), писал, что произошла ошибка.
«Нам очень жаль, что так получилось, — писал WizardLM_AI. — Мы случайно пропустили один пункт, необходимый при выпуске модели — тестирование на токсичность. В настоящее время мы быстро завершаем этот тест, а после перевыпустим нашу модель как можно скорее. Не волнуйтесь, спасибо за вашу заботу и понимание».
Как отмечает 404 Media, официальные страницы WizardLM 2 на GitHub и Hugging Face все еще не работают, но найти множество копий LLM на тех же платформах совсем нетрудно. В Discord-канале WizardLM также можно найти ссылку на Github, где перечислены многочисленные зеркала для LLM, и журналисты пишут, что обнаружили пять различных экземпляров модели на Hugging Face.
Издание пишет, что еще не тестировало модель, поэтому неизвестно, легко ли она выдает вредные и «токсичные» ответы. Поскольку модель имеет открытый исходный код, не исключено, что люди в любом случае могли бы создать собственную версии без цензуры, которая генерировала бы спорные ответы.
Но, журналисты резюмируют, что факт остается фактом: Microsoft не смогла уберечь ИИ-модель, которую в компании сочли небезопасной для публики, и случайно ее обнародовала.