Gemini научился видеть экран и камеру смартфона в реальном времени

Google запускает новые функции видео с искусственным интеллектом в реальном времени для Gemini. Эти возможности позволяют системе "видеть" экран устройства или изображение с камеры смартфона и отвечать на вопросы пользователя в режиме реального времени. Функционал становится доступен некоторым подписчикам Google One AI Premium, подтвердил представитель Google Алекс Джозеф в электронном письме.

Новые возможности появляются почти через год после первой демонстрации проекта "Astra", который лежит в основе этих функций. Один из пользователей Reddit сообщил о появлении данной функции на своем телефоне Xiaomi. Позже этот же пользователь опубликовал видео, демонстрирующее новую способность Gemini считывать информацию с экрана.

Еще одна новая функция, запускаемая сейчас, — работа с видеотрансляцией в реальном времени, которая позволяет Gemini интерпретировать поток с камеры смартфона и отвечать на вопросы о наблюдаемых объектах. В демонстрационном видео, опубликованном Google, пользователь просит Gemini помочь выбрать цвет краски для только что глазурованной керамики.

Запуск этих функций демонстрирует значительное лидерство Google в области ИИ-ассистентов, в то время как Amazon только готовится к ограниченному раннему запуску обновления Alexa Plus, а Apple отложила обновление своего Siri. Обе компании планируют внедрить возможности, подобные тем, которые сейчас начинает предлагать Astra. Samsung, хотя и сохраняет своего ассистента Bixby, использует Gemini в качестве ассистента по умолчанию на своих телефонах, сообщает The Verge.