Google DeepMind представила исследовательскую версию новой модели генерации виртуальных миров Genie 4. Она создает фотореалистичные интерактивные сцены, которые пользователь может менять с помощью текстовых команд прямо во время симуляции. Система также формирует звук в реальном времени: музыку, фоновые шумы и диалоги, связанные с происходящим в мире.
По данным TechCrunch, Genie 4 сохраняет целостность сцены до двух минут — это вдвое больше показателя Genie 3, выпущенной в исследовательском формате чуть более года назад. Пользователи могут менять погоду и угол обзора, а также добавлять в сцену людей или предметы. Кроме более реалистичной графики и звука, новая версия получила улучшенную физику и персонажей, чье поведение стало более похожим на человеческое.
Выход Genie 4 состоялся на фоне роста конкуренции в сегменте мировых моделей. За несколько месяцев до этого компания Runway представила GWM Worlds 2 — интерактивную модель с генерацией звука, реагирующую на действия пользователя. Одновременно рынок начал консолидироваться: AMD приобретает World Labs Фэй-Фэй Ли, Amazon ведет переговоры о покупке Decart, а Rivian купила Third Dimension для разработки собственных симуляций при испытаниях систем автономного вождения.
В экосистеме Google Genie 4 теснее связали с моделью искусственного интеллекта Gemini. Gemini выступает в роли режиссера: планирует последовательность действий и проверяет кадры, тогда как Genie создает визуальную часть. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на этапы, а Genie 4 в реальном времени моделировала их выполнение, что может позволить проверять сценарии для роботов до испытаний в физическом мире.
«В будущем мы все чаще будем видеть гибридные мировые модели, в которых Gemini пишет код и текст, а Genie в реальном времени воспринимает их и моделирует реальность на разных уровнях абстракции», — заявил исследовательский директор Google Теджас Кулкарни. Среди возможных сфер применения называют игры, интерактивное обучение и робототехнику, а тестировщики Google также рассматривают Genie 4 как инструмент для разработки фильмов. Инженер Google DeepMind Диего Ривас отметил, что работа в реальном времени особенно полезна на этапах поиска идей и создания раскадровки.
Google пока подчеркивает экспериментальный характер Genie 4. При длительной работе детали и объекты могут постепенно изменяться, а разработчики еще решают проблемы с точностью звука и читаемостью текста внутри виртуального мира. Сейчас доступ к модели получили доверенные тестировщики, а в ближайшие недели ее начнут предоставлять подписчикам Google AI Ultra в Project Genie, а также партнерам с ранним доступом к Gemini API и Google AI Studio.