Microsoft представила модель искусственного интеллекта, работающую на обычных процессорах.
Группа учёных-компьютерщиков из Microsoft Research, работающая с коллегой из Университета Китайской академии наук, представила новую модель ИИ от Microsoft, которая работает на обычном процессоре, а не на графическом процессоре.
За последние несколько лет LLM вошли в моду. Такие модели, как ChatGPT, стали доступны пользователям по всему миру, представляя идею интеллектуальных чат-ботов. Что объединяет большинство из них, так это то, что они обучены и работают на графических процессорах. Это связано с огромным объемом вычислительной мощности, необходимой им при обучении на огромных объемах данных.
В последнее время высказывались опасения по поводу огромного количества энергии, которое потребляют центры обработки данных для поддержки всех чат-ботов, используемых в различных целях. В рамках этой новой инициативы команда нашла, по её словам, более рациональный способ обработки этих данных и создала модель, чтобы доказать это.
Одна из самых энергозатратных частей работы моделей ИИ связана с использованием и хранением весовых коэффициентов — обычно в виде 8- или 16-битных чисел с плавающей запятой. Такой подход требует большого объёма памяти и вычислительной мощности процессора, что, в свою очередь, требует много энергии. В своём новом подходе исследователи полностью отказались от использования чисел с плавающей запятой и вместо этого предлагают использовать то, что они называют 1-битной архитектурой.
В их инновации веса хранятся и обрабатываются с использованием только трёх значений: -1, 0 и 1. Это позволяет использовать при обработке только простое сложение и вычитание — операции, которые легко выполняются на компьютере с центральным процессором.
Тестирование нового типа модели показало, что он способен конкурировать с моделями на базе графических процессоров в своём классе и даже превосходить некоторые из них, при этом потребляя гораздо меньше памяти и, в конечном счёте, гораздо меньше энергии.
Чтобы запустить такую модель, команда создала для неё среду выполнения. Новая среда называется bitnet.cpp и была разработана для оптимального использования 1-битной архитектуры.
Если утверждения, сделанные командой, подтвердятся, разработка BitNet b1.58 2B4T может кардинально изменить ситуацию. Вместо того чтобы полагаться на огромные фермы данных, пользователи вскоре смогут запускать чат-бота на своём компьютере или, возможно, на телефоне. Помимо снижения энергопотребления, локализация обработки LLM значительно улучшит конфиденциальность и позволит работать даже без подключения к Интернету.