Компания Apple договорилась о сотрудничестве с крупнейшим производителем видеочипов NVIDIA. Всё ради значительного повышения производительности больших языковых моделей (LLM) путём внедрения новой технологии генерации текста, которая обеспечивает существенное повышение скорости для приложений с ИИ.
Теперь Apple интегрировала эту технологию в фреймворк NVIDIA TensorRT-LLM, который оптимизирует LLM, работающие на графических процессорах NVIDIA. Производитель iPhone уже отмечает, что технология достигла «передовой производительности», и смогла увеличить скорость генерации токенов в 2,7 раза в секунду во время тестов с моделью из десятков млрд параметров.
Apple утверждает, что улучшенная производительность не только снижает воспринимаемую пользователем задержку, но и приводит к снижению использования графического процессора и энергопотребления при работе с нейросетями.
Почему это важно для обычных пользователей? Попробуйте погенерировать изображения на iPhone 15 Pro, и вы поймёте, что смартфон греется слишком сильно, а обрабатывает информацию довольно долго. И это только базовые фичи Apple Intelligence. С их дальнейшим развитием актуальные гаджеты будут греться ещё больше, если не оптимизировать большие языковые модели LLM.
А новый iPhone и многое другое вы можете купить у наших друзей из Big Geek. Скидка по промокоду iGuides