Экономная модель ИИ на 13 Вт энергии

Исследователи из Калифорнийского университета в Санта-Крузе разработали энергоэффективную модель ИИ, которая может стать настоящим прорывом в сфере нейросетей. Их модель способна работать с большими языковыми моделями на миллиард параметров, используя всего 13 Вт энергии — столько же, сколько потребляет обычная светодиодная лампа.

Для сравнения, графические процессоры, используемые в центрах обработки данных для выполнения аналогичных задач, требуют около 700 Вт.

До сих пор большинство разработок в области ИИ фокусировались на достижении наилучших результатов без учета эффективности. Однако учёные предложили отказаться от ресурсоёмкой техники умножения матриц, которая обычно используется для обработки данных в языковых моделях.

Вместо этого их подход ограничивает значения в матрицах нейросети тремя возможными числами: -1, 0 или 1. Это решение значительно упрощает вычисления, сводя их к суммированию, что требует гораздо меньше аппаратных ресурсов.

Кроме того, команда разработала специальное оборудование на базе программируемых вентильных матриц (FPGA), что позволило максимизировать энергоэффективность их нейросети. В результате их система стала более чем в 50 раз энергоэффективнее традиционных моделей, сохранив при этом высокий уровень производительности, сопоставимый с передовыми моделями, такими как Llama от Meta.

Важно отметить, что специальное оборудование не является обязательным для работы этой нейросети — модель может успешно функционировать на стандартных графических процессорах, используемых в индустрии ИИ.

Тестирование показало, что новая нейросеть потребляет в 10 раз меньше памяти по сравнению с традиционными моделями на основе умножения матриц. Это открывает перспективы для запуска полноценных нейросетей даже на мобильных устройствах, таких как смартфоны.

Такие значительные улучшения в эффективности могут привести к новому этапу в развитии искусственного интеллекта, особенно если применять эту технологию в масштабах центров обработки данных.