Компания PrismML, созданная исследователями Калифорнийского технологического института при консультационной поддержке профессора Калифорнийского университета в Беркли Иона Стоицы, разработала компактную языковую модель для умных очков на чипах Qualcomm. Об этом сообщает TechCrunch. Модель предназначена для работы непосредственно на устройстве.
Демонстрация технологии прошла в среду на конференции Snapdragon Summit, организованной Qualcomm. Производитель чипов показал 1-битную модель Bonsai LLM, способную работать на умных очках с платформой Snapdragon AR1 Gen 1 для устройств дополненной реальности. Облачное подключение для выполнения задач модели не требуется.
Версия PrismML для очков содержит 2 млрд параметров и оптимизирована одновременно для обработки изображений и текста. Благодаря этому пользователь сможет в режиме реального времени спрашивать устройство о предметах, на которые он смотрит. Модель должна распознавать визуальную информацию и отвечать на связанные с ней вопросы.
Ключевая технология PrismML заключается в значительном уменьшении крупных моделей при сохранении почти всех их результатов в стандартных тестах. В рассматриваемом случае размер модели удалось сократить в четыре раза. Такой подход позволяет использовать искусственный интеллект на устройствах с ограниченными вычислительными ресурсами.
Компания продвигает концепцию открытых моделей с доступными весами, которые работают непосредственно на пользовательской технике и эффективнее используют уже имеющиеся вычислительные мощности. PrismML рассматривает её как альтернативу зависимости от закрытых разработчиков искусственного интеллекта, чьи системы требуют всё больше вычислительных ресурсов и опираются на собственные заявления о конфиденциальности.
Поддержка чипов Qualcomm стала для PrismML очередным шагом в реализации этой концепции. При этом умные очки с установленной моделью PrismML пока официально не представлены.