Компания Opera Software включает в браузер Opera возможность использования локальной базы встроенным чат-ботом. В последних тестовых сборках браузера появилась возможность использования локальных LLM (языковая модель) встроенным чат-ботом. При использовании локальной языковой модели не требуется подключение к интернету, а все данные взаимодействия пользователя с искусственным интеллектом не покидают компьютер пользователя.
Opera предлагает 150 различных типов 50-ти языковых моделей. Среди прочих важно отметить особо популярные: Gemma, Llama, Mixtral и Vacuna. Каждая LLM весит от 1.6 до 10 Гб. Разработчики рекомендуют обратить особое внимание на следующие LLM: Code Llama (помогает с написанием программного кода), Phi-2 (выдающиеся способности понимания языка и рассуждение), Mixtral (широкий спектр задач и хорошее понимание языка; высокая производительность).
Выбор языковой модели
Чтобы воспользоваться новинкой нужно скачать Opera Dev последней сборки. В базовой функции чат-бота Aria (находится на боковой панели) в качестве языкового модели выбрать локальную и загрузить нужную языковую модель из списка.
Разработчики Opera отмечают, что функция находится в тестовом режиме, и не обещают безошибочную работу. Также отмечается значительно более низкая производительность по сравнению с онлайновыми чат-ботами, так как все вычисления ложатся на плечи локального компьютера, который, чаще всего, менее производительный, чем серверы разработчиков.