Компания Baseten вместе с исследовательским подразделением Base Labs объявила о создании нового стандарта инфраструктуры безопасности для моделей с открытыми весами. К работе также подключились Hugging Face и Goodfire AI. Партнёры намерены разработать инструменты для оценки и мониторинга таких моделей.
Инициатива появилась на фоне дискуссии о рисках открытых моделей. Их защитные ограничения можно удалять с помощью метода, известного как abliteration (устранение встроенных ограничителей). На платформе Hugging Face, где размещаются модели с открытым исходным кодом, сейчас представлено более 6 тысяч моделей, подвергшихся такой обработке.
Base Labs, созданная Baseten ранее в этом году, займётся разработкой и публикацией методов обучения и контроля открытых моделей. В компании хотят, чтобы будущий стандарт был прозрачным и встраивался в процессы обучения и развёртывания систем, а не добавлялся уже после их создания.
«Мы считаем, что открытость является преимуществом для безопасности ИИ. Открытость обеспечивает большую видимость поведения моделей и, что особенно важно, расширяет возможности превращать исследования в области безопасности в практические и прозрачные механизмы контроля по сравнению с закрытым исходным кодом», — заявила Baseten в социальной сети X.
Технические детали сотрудничества пока не раскрыты. Goodfire сформулировала цель партнёрства в ответе на сообщение Baseten: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их предоставляет». Компания специализируется на изучении внутренней работы ИИ и объяснении того, как модели принимают решения, поэтому, вероятно, будет отвечать за интеграцию механизмов безопасности.
Baseten, поставщик инфраструктуры для вывода моделей, в июне привлекла $1,5 млрд в раунде Series F, после чего её оценка достигла $13 млрд. Goodfire AI ранее в этом году получила $150 млн в раунде Series B под руководством B Capital на развитие платформы для интерпретации моделей. Как сообщает TechCrunch, Baseten также призвала разработчиков присоединиться к созданию стандарта и заявила о намерении сформировать экосистему безопасных и доступных открытых моделей.