Компания Salesforce представила на конференции Dreamforce новую модель искусственного интеллекта под названием Koa. Она стала первым «рассуждающим» (reasoning) решением компании и создана на базе открытой модели Nemotron от Nvidia. Обе компании совместно занимались дообучением Koa, чтобы она лучше справлялась с задачами в сфере продаж, маркетинга и поддержки клиентов.
Koa позиционируется как альтернатива закрытым моделям от передовых лабораторий. Корпоративным клиентам предлагают открытую весовую модель, натренированную под конкретные рабочие задачи, а не под решение абстрактных математических проблем. Кроме того, при её создании не использовались реальные данные заказчиков, поэтому утечка информации другим пользователям исключена. Модель также помогает сократить расходы на ИИ за счёт меньшего числа токенов при выполнении той же работы и может автоматически направляться через специальный ИИ-шлюз (gateway) в зависимости от потребности. Все требования клиентов к данным и безопасности, встроенные в Salesforce, при этом соблюдаются.
Новая разработка будет доступна как альтернатива другим моделям на платформе Agentforce, где клиенты создают агентов для рутинных задач вроде ответов на вопросы службы поддержки или планирования встреч. «Мы создали много небольших языковых моделей под конкретные задачи, которые входят в портфель Agentforce, — рассказал TechCrunch Джайеш Говиндараджан, исполнительный вице-президент по ИИ в Salesforce. — Но рассуждения всегда оставались тем, для чего мы полагались на поставщиков передовых моделей. До сегодняшнего дня».
Ранее, если агенту требовалось осмыслить длительную или многошаговую задачу, запросы направлялись к моделям вроде Claude или ChatGPT через ИИ-шлюз Agentforce, который решает, какая модель обработает конкретный запрос. «Одна из причин, по которой мы не делали этого раньше — не обучали собственную корпоративную модель передового уровня, — хотя всегда хотели, — заключалась в отсутствии предобученной базовой модели для старта. До появления Nemotron не существовало суверенной американской предобученной модели, которая была бы, во-первых, доступна, во-вторых, находилась на передовом уровне и, в-третьих, имела бы прозрачное происхождение данных. Мы понятия не имеем, на чём обучается Qwen», — пояснил Говиндараджан, имея в виду популярную китайскую открытую модель от Alibaba.
Дообучение такой модели означает превращение универсальной системы в инструмент, хорошо разбирающийся в продажах и поддержке клиентов. Для этого Salesforce и Nvidia не использовали реальные данные заказчиков, а создали синтетические, имитирующие их паттерны. «Мы фактически смоделировали среду обслуживания клиентов с персонажем-профессионалом поддержки, включая разгневанных клиентов, звонящих в сервисный центр, вплоть до продавца, пытающегося закрыть сделку», — описал Говиндараджан. По замыслу, Koa должна лучше справляться с рабочими задачами клиентов Salesforce и обходиться дешевле по числу затраченных токенов, чем отправка тех же задач в Claude или ChatGPT.
С Nemotron «у нас есть уникальная архитектура для вывода, обеспечивающая эффективность по токенам, — сказала TechCrunch Кари Энн Бриски, вице-президент Nvidia по программному обеспечению генеративного ИИ для предприятий. — Это своего рода трифекта (сочетание трёх элементов) того, что необходимо: суверенный ИИ, время до первого токена, эффективные рассуждения — для всей токеномики». При этом Salesforce не отказывается от Anthropic или OpenAI. Компания только что объявила о партнёрстве с Anthropic под названием ClaudeForce, которое позволит организациям использовать Claude в качестве своего ИИ-интерфейса, тогда как их данные останутся в системе записей Salesforce под защитой её инфраструктуры.