Компания Musubi представила PolicyLM-1.7B — компактную модель принятия решений для модерации контента в реальном времени. Как сообщает TechCrunch, разработчики опубликовали её веса в открытом доступе. Система должна обрабатывать сообщения менее чем за 50 миллисекунд.
PolicyLM-1.7B позволяет задавать правила модерации на обычном английском языке и применять их к пользовательским сообщениям. По скорости и стоимости она сопоставима с классификаторами, которые используют социальные платформы. При этом модель способна работать со сложными политиками без специального обучения.
Изменение правил также не требует повторной тренировки системы. Это даёт специалистам, отвечающим за политики платформы, возможность оперативно корректировать критерии и заранее размечать публикации. Сооснователь Musubi и директор компании по искусственному интеллекту Филип Янкович объяснил, что продуктовым командам важно понимать происходящее на платформах, особенно при резком росте объёма контента.
«Продуктовые команды просто хотят лучше понимать, что происходит на их платформе, особенно по мере экспоненциального увеличения объёма контента. Возможность масштабно и гибко размечать всё это чрезвычайно полезна», — сказал Янкович.
В отличие от языковых моделей, модели принятия решений выдают не текст, а вероятности исходов или заранее заданный вариант ответа. В случае PolicyLM-1.7B результат сводится к бинарной оценке: относится ли материал к определённой категории. Ограниченный набор вариантов позволяет запускать такие системы быстрее и дешевле, сохраняя гибкость архитектуры трансформеров.
Интерес к этому классу моделей заметно вырос после выхода в сентябре Jev от Typesafe AI, а затем аналогичных разработок OpenAI и Amazon. Янкович утверждает, что начал изучать подобные подходы ещё до появления Jev — в рамках проекта GLiNER 2024 года для распознавания именованных сущностей. В Musubi считают PolicyLM-1.7B моделью того же типа, адаптированной специально для модерации и доступной для самостоятельного запуска.