© iStock
Команда исследователей с участием Александра Ширнина из НИУ ВШЭ создала две модели для обнаружения в научных текстах частей, сгенерированных искусственным интеллектом. В системе AIpom соединены два типа моделей — декодер и энкодер. Система Papilusion подходит для распознания исправлений с помощью синонимов и кратких пересказов, сгенерированных нейросетью, в работе она использует модели одного типа — энкодеры. В перспективе подобные модели помогут в проверке оригинальности и достоверности научных публикаций. Статьи о системах Papilusion и AIpom опубликованы в цифровом архиве ACL Anthology.
Чем популярнее становятся языковые модели, такие как ChatGPT или GigaChat, и чем больше их используют, тем сложнее отличить оригинальный текст, написанный человеком, от сгенерированного. Научные публикации и выпускные работы уже пишут с помощью искусственного интеллекта. Поэтому важно разрабатывать инструменты, которые помогут выявлять в текстах ИИ-вставки. Команда исследователей с участием НИУ ВШЭ предложила свои решения этой задачи на международных научных соревнованиях SemEval 2024 и DAGPap24.
Модель AIpom использовали для определения границ между оригинальными и сгенерированными фрагментами в научных статьях. В каждой работе соотношение машинного и авторского текста было разным. Для обучения моделей организаторы предоставляли тексты на одну тематику, но на этапе проверки темы менялись, что осложняло задачу.
Александр Ширнин
«Модели неплохо справляются со знакомыми темами, но если дать новую тематику, то результат становится хуже, — считает один из авторов статьи, стажер-исследователь Научно-учебной лаборатории моделей и методов вычислительной прагматикифакультета компьютерных наук НИУ ВШЭ Александр Ширнин. — Это как студент, который, научившись решать один тип задач, не сможет так же легко и правильно решить задачу на незнакомую тему или из другого предмета».
Для повышения эффективности системы исследователи решили комбинировать две модели — декодер и энкодер. На первом этапе использовался декодер — нейросеть, на вход которой подавали инструкцию плюс исходный текст, а на выходе получали фрагмент текста, предположительно сгенерированный ИИ. Затем в оригинальном тексте с помощью метки
Модель Papilusion также отличала написанный текст от сгенерированного. С ее помощью участки текста разделяли на четыре категории: написанный человеком, исправленный с помощью синонимов, сгенерированный моделью и кратко пересказанный. Задача была правильно определить каждую из категорий. Количество категорий и длина вставок в текстах различались.
В данном случае разработчики использовали три модели, но уже одного типа — энкодеры. Их обучали предсказывать одну из четырех категорий для каждого токена из текста, все модели обучали независимо друг от друга. Когда модель ошибалась, ее штрафовали и дообучали, при этом замораживая нижние слои модели.
«В каждой модели в зависимости от архитектуры предусмотрено разное количество слоев. Когда мы обучаем модель, можно не трогать, например, первые десять слоев и менять числа только в двух последних. Так делают, чтобы при обучении не потерять часть важных данных, заложенных в первых слоях, — объясняет Александр Ширнин. — Можно сравнить это со спортсменом, который ошибается в движении рукой. Мы должны объяснить ему только это, а не обнулить его знания и обучать заново, потому что тогда он может разучиться правильно двигаться в целом. Здесь это работает по той же логике. Метод не универсален и на некоторых моделях может быть неэффективен, но в нашем случае это сработало».
Три энкодера независимо друг от друга определяли категорию для каждого токена (слова). Итоговый выбор системы основывался на том, какая из категорий набрала большинство голосов. На соревновании система Papilusion заняла 6-е место из 30.
Как отмечают исследователи, сейчас модели для выявления ИИ работают хорошо, но все еще имеют ограничения, прежде всего плохо обрабатывают данные, выходящие за рамки обучающих, и в целом не хватает разнообразных данных для обучения моделей.
«Чтобы получать больше данных, нужно сфокусироваться на их сборе. Этим занимаются и компании, и лаборатории. Конкретно для такого типа задач нужно собирать датасеты, где в текстах используются несколько ИИ-моделей и методов исправления, — комментирует исследователь. — То есть не просто продолжить текст с помощью одной модели, а создавать более реалистичные ситуации: где-то попросить модель дополнить текст, переписать начало, чтобы оно лучше подходило, что-то удалить из него, попробовать часть сгенерировать в новом стиле с помощью другого промпта (инструкции) для модели. Также, конечно, важно собирать данные и на других языках, на разные тематики».
«Яндекс Образование» и факультет компьютерных наук НИУ ВШЭ (ФКН ВШЭ) создали совместный онлайн-гайд, посвященный промптингу — формулированию запросов к нейросетям. Он доступен всем на платформе «Яндекса» и в первую очередь будет полезен преподавателям, которые никогда не пользовались GPT в работе или только начинают применять ИИ-инструменты. Как правильно создать запрос к нейросети? Как грамотно использовать GPT-модели в образовательных целях? Какие задачи преподаватели могут решать с помощью искусственного интеллекта? Гайд отвечает на эти и другие вопросы по работе с нейросетями.
Цифровые технологии прочно вошли в нашу жизнь и продолжают стремительно развиваться. Неудивительно, что все чаще возникает вопрос, сможет ли однажды искусственный интеллект полностью заменить специалистов. О перспективах лингвистики в эпоху нейросетей рассуждает Даниил Осипов, кандидат филологических наук, доцент Школы иностранных языков НИУ ВШЭ.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Нейросети открывают новые возможности для образовательного процесса. Об их использовании в образовании для построения чат-ботов ученые НИУ ВШЭ рассказали на интерактивной лекции в рамках фестиваля-форума «Москва 2030». Эксперты поделились опытом разработки ИИ-помощника для студентов в рамках стратегического проекта «ИИ-технологии для человека».
Сегодня тема искусственного интеллекта выходит за пределы IT. Нейросети развиваются с огромной скоростью, и это порождает целый ряд правовых споров. Юристам необходимо обладать достаточной компетентностью в этой области. НИУ ВШЭ реагирует на запрос современности и запускает новую актуальную программу профессиональной переподготовки.
3 января родился один из самых популярных писателей прошлого века Джон Рональд Руэл Толкин. Исследователи из НИУ ВШЭ, AIRI и МИСИC использовали машинное обучение для исследования социальных связей между персонажами его вселенной Средиземья. Ученые считают, что этот подход найдет применение во многих сферах за пределами литературы. Результаты работы опубликованы в IEEE Xplore.
Мультимодальная нейросетевая модель Сбера под наблюдением экспертной комиссии из ВШЭ успешно сдала ЕГЭ по обществознанию. GigaChat выполнил все задания экзамена и набрал 67 баллов.
Научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие представители университета приняли участие в четвертой конференции о людях и технологиях в образовании Yet another Conference on Education (YaC/e-2023), организованной «Яндексом» совместно с Томским госуниверситетом. На конференции обсуждались различные аспекты применения в обучении искусственного интеллекта и других прорывных технологий, а также вопросы выбора профессионального пути и взаимодействия университетов с работодателями.
4 сентября в НИУ ВШЭ на Покровке состоялся фестиваль нейросетевого искусства ARTificial Fest. Его организаторами выступили факультет креативных индустрий ВШЭ, HSE Career и студенческая организация «Чистый лист». Посетить праздник смогли не только студенты и сотрудники Вышки, но и все интересующиеся слиянием машинных алгоритмов с искусством.
Команда специалистов из Высшей школы экономики и Школы анализа данных «Яндекса» совместно с облачной платформой Yandex Cloud разработали нейросеть для предсказания климатического феномена Эль-Ниньо. Новый алгоритм помогает точнее прогнозировать изменение средней температуры океанических вод на поверхности, которое способно вызывать природные бедствия в отдельных регионах мира. Сейчас модель уже предсказывает Эль-Ниньо на 1,5 года вперед, а в будущем срок прогноза ученые планируют увеличить до 2 лет.