Время на прочтение:3мин
Издание The Economist регулярно публикует статьи на тему прорывов в искусственном интеллекте. В частности, последний выпуск по этой теме был посвящен препятствиям на пути развития генеративного ИИ.
Увеличение энергозатрат на создание и использование моделей не приносит значимых результатов. Однако ограничения могут стимулировать креативность. The Economist ссылается на две крупные инновации:
чипы со специализированной архитектурой для максимально быстрого и энергоэффективного обучения и запуска моделей ИИ;
разработка небольших узкоспециализированных моделей, которые потребляют меньше энергии.
В первом случае ИИ способствовал созданию специализированной архитектуры чипов и более тесной связи с программным обеспечением. В течении последних пятидесяти лет микропроцессоры, чипы памяти и другие цифровые компоненты совершенствуются за счет стремления вместить больше транзисторов в интегральную схему. Это повышает производительность вычислений. В статье 1965 года, соучредитель Intel, Г. Мур сформулировал закон на основе эмпирического наблюдения о ежегодном удвоении компонентов в интегральных схемах с момента изобретения в 1958 году. Мур предсказал сохранение тенденции в следующие десять лет с последующим изменением прироста на два года. С этого времени полулогарифмические графики стали метафорой технологической революции, которая вызвана экспоненциальным совершенствованием значительной части цифровых компонентов, включая скорость обработки, объем хранилища, пропускная способность сети. Центральные процессоры (Central Processing Unit, далее – CPU) стали ключевыми компонентами компьютеров общего назначения, которые запускают любое ПО – от операционных систем до компиляторов, систем баз данных и браузеров и др. Таким образом, экспоненциальный прирост производительности компаний по ИТ-оборудованию и ПО обеспечивался производителями микросхем за счет процессоров. Однако в 2000-ых годах происходит замедление прогресса в полупроводниковой отрасли. Это связано с распространением приложений ИИ, основанных на моделях машинного обучения. Алгоритмы машинного обучения основаны на искусственных нейронных сетях, которые состоят из моделируемых узлов и параллельно выполняют сложения и умножения на большом количестве узлов. Процессоры общего назначения (General-Purpose CPU) не рассчитаны на поддержку крупномасштабной параллельной обработки простых арифметических операций, используемых нейронными сетями. Для этого необходимы ускорители ИИ с несколькими ядрами. Графические процессоры (Graphics Processing Unit, далее ‑ GPU) для ускорения обработки изображений и видеоигр подошли для обработки нейронных сетей за счет большей производительности по сравнению с CPU.
В 2010-ых годах появились приложения ИИ на основе многослойных нейронных сетей глубокого обучения, где выходные данные слоя передаются на следующий слой в случае преодоления определенного порога. Эти нейронные сети могут иметь глубину до ста слоев. Таким образом, эти сети требовали большей вычислительной мощности. Графических процессоров стало недостаточно. В последнее время базовые модели и генеративные приложения ИИ обрабатывают значительные объемы данных, которые экспоненциально увеличиваются. Для этого необходимы новые ресурсы памяти. Google разработала тензорный процессор (Tensor Processing Unit, далее ‑ TPU), который содержит тысячи блоков умножения и сложения, которые соединяются в сеть. TPU загружает данные из внешней памяти в свою сеть и снижает необходимость доступа к памяти вне чипа, обеспечивая высокую скорость и энергоэффективность.
В отношении второй значительной инновации стоит отметить, что чипы на протяжении всей истории транзисторов становились быстрее. В современных процессорах ИИ размещают больше транзисторов на один чип или объединяют несколько чипов в один пакет для повышения вычислительной мощности. Однако увеличение производительности увеличивает энергопотребление. Суперчип Nvidia Blackwell работает в пять раз быстрее, но потребляет на 70% больше энергии. Центры обработки данных (далее – ЦОД) объединяют сотни и/или тысячи этих энергоемких чипов для запуска больших моделей ИИ. По оценкам OpenAI, ChatGPT использовал более 50 гигаватт-часов электроэнергии для обучения последней модели. По данным международного энергетического агентства в 2022 году потребление электроэнергии ЦОДами составило 460 тераватт-часов (около 2% мирового спроса), к 2026 году ожидается увеличение до 4%. Таким образом, ожидается, что энергоэффективность и производительность систем ИИ будет повышаться за счет узкоспециализированных чипов. Это подтверждается использованием архитектур, ориентированных на конкретные области (Domain specific architecture, DSA) в вычислениях в связи с отставанием масштабирования транзисторов от закона Мура. Большие системы ИИ, которым необходимы значительные вычислительные мощности уступят место небольшим системам, оптимизированным для определенных областей. Это подтверждается эволюцией головного мозга человека. Например, человеческий мозг обладает около 100 миллиардов нейронов и потребляет до 20% энергии. С точки зрения вычислений он может выполнять экзафлоп математических операций в секунду при 20 Вт мощности. В то время, как один из суперкомпьютеров ‑ Oak Ridge Frontier продемонстрировал экзафлопные вычисления при затратах мощности 20 мегаватт, то есть в миллион раз больше. Согласно исследованиям в области когнитивистики, нейробиологии и МРТ, функции, отвечающие за обработку языка, рассуждение и мышление сосредоточены в разных областях, которые вместе формируют сложную систему специализированных функций. Использование результатов таких исследований позволит совершенствовать ИИ в ближайшее время и обеспечит новый прорыв в развитии.