Microsoft представила модель ИИ, работающую на обычных процессорах
Microsoft Research представила новую ИИ-модель, способную работать на обычных процессорах без необходимости в дорогостоящих видеоускорителях.
В последние годы стали невероятно востребованными большие языковые модели (LLM) — такие как ChatGPT. Однако большинству из них нужны мощные графические процессоры (GPU) для обучения и работы из-за огромных потребностей в вычислительных ресурсах. Это приводит к высоким расходам электроэнергии дата-центрами, что порождает растущую озабоченность на предмет экологичности.
Инженеры Microsoft с коллегой из Университета Китайской академии наук нашли, по их словам, более рациональный способ обработки данных и создали модель, чтобы это доказать.
Огромная часть расхода энергии ИИ обусловлена использованием и хранением весов — обычно в виде 8- или 16-битных чисел с плавающей запятой. Такой подход требует большого объема памяти и процессорных ресурсов, что влечет за собой высокое энергопотребление.
Инновационный подход подразумевает замену чисел с плавающей запятой так называемой 1-битной архитектурой. Все веса LLM принимают значения −1, 0 и 1, что позволяет обойтись простыми операциями сложения и вычитания при обработке — вычислениями, которые легко выполняются на компьютерах с CPU.
Отчет об экспериментах с новой моделью выложен на сервере препринтов arXiv.
- Эффективность. Модель показала сопоставимую, а в некоторых случаях и лучшую производительность по сравнению с GPU-аналогами аналогичного размера.
- Энергопотребление. Значительно ниже благодаря упрощенным вычислениям.
- Память. Требует в разы меньше оперативной памяти.
Для работы модели разработана специальная среда bitnet.cpp, оптимизированная под 1-битную архитектуру. Это открывает возможность запуска ИИ даже на слабых устройствах, таких как ноутбуки или смартфоны.
Если технология подтвердит свою эффективность, это может стать переломным моментом:
- энергосбережение — снижение нагрузки на дата-центры,
- конфиденциальность — локальная обработка данных без отправки в облако,
- доступность — запуск чат-ботов без интернета и дорогих GPU.
