Самый маленький компьютер с ИИ создали в США

Американский стартап разработал самый маленький в мире компьютер с искусственным интеллектом. Он способен к автономному решению проблем, абстрактному мышлению и стратегическому планированию и при этом достаточно компактен, чтобы уместиться в кармане. Устройство назвали «карманной лабораторией искусственного интеллекта». Оно способно запустить сложную модель ИИ со 120 миллиардами параметров, не используя подключение к интернету. Обычно для запуска таких систем требуется сложная инфраструктура. 

Компьютер создан на базе 12-ядерного ARM-процессора, который обычно используется в смартфонах, ноутбуках и планшетах. Размеры устройства составляют 14,2 х 8 х 2,53 см. При этом оно обладает 80 ГБ оперативной памяти. Для сравнения, большинство современных ноутбуков имеют от 8 до 32 ГБ оперативной памяти.

Для создания «карманной лаборатории ИИ» ученые применили целый ряд новых технологий. Ключевой из них назвали инновацию, позволяет массовым LLM (большим языковым моделям) быстро работать на более ограниченном оборудовании. Традиционные модели используют все параметры для каждого слова, а новая модель использует только определенные параметры для каждого шага.

Еще одна важная функция позволяет проводить разнородное планирование работы центрального, графического и сетевого процессоров устройства. Это значит, что каждому процессору назначается только та нагрузка, с которой он лучше всего способен справиться. В результате эффективность системы растет, а энергопотребление снижается. «Умное» управление определяет, когда нужна полная мощность, а когда можно сэкономить.

Эксперты отметили, что такое устройство способствует конфиденциальности. Пользователи могут запускать сложные языковые модели без подключения к интернету и без обработки их данных в облаке третьими сторонами. Компьютер также можно применять в полевых условиях вне зоны действия сети, например, на удаленных исследовательских станциях, сообщает Live Science.