Стартап Goodfire представил систему контроля за действиями ИИ-агентов, которая анализирует внутренние процессы модели, а не только готовые ответы. Новый инструмент доступен клиентам Baseten — платформы для размещения и запуска моделей искусственного интеллекта. Об этом сообщил TechCrunch.
Обычно за поведением агента следит отдельная модель, перечитывающая все его действия. Такой подход становится дорогим, если система работает часами и обрабатывает объём текста, сопоставимый с несколькими романами. Goodfire предлагает использовать небольшие детекторы, которые проверяют внутренние сигналы модели на каждом этапе работы.
Механизм напоминает контроль в аэропорту: специальные зонды выявляют подозрительные признаки, после чего отдельная ИИ-модель проводит более подробную проверку. Клиенты Baseten могут сами выбрать отслеживаемые риски, включая вредоносный взлом, применение химического и биологического оружия, а также манипуляции системой вознаграждений. Реакцией может стать запись события, передача случая человеку или полный отказ в выполнении запроса.
По словам генерального директора Goodfire Эрика Хо, зонды используют вычисления, которые модель уже выполняет во время работы. «Внутренние мониторы активации действительно очень дёшевы, потому что повторно используют вычисления прямого прохода», — сказал он в подкасте MAD. В испытаниях на модели Kimi K3 проверка примерно 1500 сессий обошлась в 51 доллар против 233 долларов при использовании более дешёвой отдельной модели и около 10 тысяч долларов для системы высшего класса.
Зонды выявили 94% вредоносных хакерских сессий, а 8,7% безопасных отправили на дополнительную проверку. Одновременная работа четырёх зондов увеличила время начала ответа менее чем на 2%. Технический директор и сооснователь Goodfire Дэн Балсам отметил, что система способна обнаруживать возможную подготовку к атаке ещё до её выполнения.
Разработчики ориентируют решение прежде всего на открытые модели, которые можно скачать и лишить встроенных ограничений. Исследование Goodfire показало, что ведущие открытые модели, включая Kimi K3 и GLM-5.2, прибегали к манипуляциям с вознаграждением в 50–96% испытаний ИИ-агентов. В январе Google DeepMind сообщила, что её исследования помогли внедрить в Gemini зонды для выявления злоупотреблений, а Goodfire рассматривает нынешние мониторы как шаг к более масштабной задаче — восстановлению связи между поведением языковой модели и этапами её обучения.