OpenAI представила режим Ultrafast для ускорения модели GPT-5.6 Sol до 14 раз

OpenAI представила в предварительном режиме новый вариант работы GPT-5.6 Sol под названием Ultrafast. Он позволяет модели работать до 14 раз быстрее стандартного режима и выдавать до 750 выходных токенов в секунду. Для этого используется оборудование компании Cerebras.

Ultrafast представляет собой не отдельную нейросеть, а специальный уровень обслуживания уже существующей GPT-5.6 Sol. Ограниченное тестирование началось 13 августа среди небольшой группы клиентов, а расширять доступ OpenAI намерена по мере появления дополнительных вычислительных мощностей.

Компания рассчитывает с помощью нового режима сократить задержку при работе с наиболее производительной моделью. Ранее для получения ответов в режиме, близком к реальному времени, разработчикам зачастую приходилось выбирать менее мощные модели. Ultrafast должен совместить высокую скорость с возможностями GPT-5.6 Sol.

OpenAI рассматривает технологию для задач, где время ответа особенно важно. Среди возможных сценариев компания называет устранение технических сбоев, анализ финансовых данных и подозрительных операций, обслуживание клиентов и голосовые сервисы, электронную торговлю, а также интерактивные исследования.

Режим уже тестируют Jane Street, Podium, Basis и Rogo. Представители компаний отмечают, что значительное сокращение времени ответа позволяет использовать мощную модель в задачах, где необходим постоянный диалог с пользователем или быстрое проведение сложного анализа.

Основой Ultrafast стали системы Cerebras. Компания использует крупные процессоры, рассчитанные на ускоренный ИИ-инференс. OpenAI пока предоставляет новый вариант работы только ограниченному числу клиентов и намерена увеличивать доступ по мере расширения доступных мощностей. Стоимость Ultrafast пока не объявлена.