Стартап PrismML представил модель искусственного интеллекта Bonsai 2 27B, которую удалось уменьшить до 5,9 ГБ без существенной потери качества. Такой объём позволяет запускать систему на персональном компьютере и, возможно, на мощном смартфоне. Об этом сообщает TechCrunch.
Новая модель создана на основе Qwen3.8 27B — распространённой открытой разработки Alibaba. После сжатия она занимает в 9–10 раз меньше памяти, чем оригинал. PrismML рассчитывает сделать производительные языковые модели с возможностями рассуждения доступными непосредственно на пользовательских устройствах.
По словам главы компании Бабака Хассиби, Bonsai 2 сохраняет 98% совокупных результатов Qwen в тестах. Предыдущая версия Bonsai, выпущенная в марте, показывала 95% от показателей исходной модели и уже была загружена более 11 млн раз. Ещё 2,6 млн загрузок пришлись на более компактные модели PrismML.
Технология основана на уменьшении объёма весов — параметров, в которых модель хранит сведения, полученные во время обучения. Если обычно для каждого веса требуется 16 бит, то подход PrismML заменяет их тремя значениями: +1, −1 или 0. Благодаря этому модель занимает значительно меньше места, а её производительность, как утверждает компания, почти не меняется.
PrismML основали исследователи Калифорнийского технологического института, а сам Хассиби является профессором этого института и специалистом по технологиям сжатия. Советником стартапа выступает Ион Стойка, сооснователь Databricks и руководитель лаборатории Sky Computing при Калифорнийском университете в Беркли. Среди инвесторов компании — Khosla Ventures, Cerberus Capital и Калифорнийский технологический институт; ранее PrismML привлекла $22,25 млн на посевном раунде.
Следующим этапом стартап считает сжатие моделей с несколькими сотнями миллиардов параметров. «Следующие модели, которые мы выпустим, надеюсь, в ближайшие пару месяцев, будут иметь несколько сотен миллиардов параметров, и я ожидаю, что там будет легче сохранить интеллект», — сказал Хассиби TechCrunch. Стойка отметил, что запуск таких систем на устройствах пользователей позволит не передавать данные в облако, а значит, обеспечит бесплатный и более приватный доступ к ним.