Новая модель ИИ от Google поможет понимать и общаться с дельфинами

Google в сотрудничестве с проектом Wild Dolphin Project разработала искусственный интеллект DolphinGemma, способный распознавать и анализировать звуки дельфинов. Модель создана на основе семейства открытых моделей Gemma и обрабатывает звуки дельфинов с помощью аудиотокенизаторов, таких как SoundStream, предсказывая, какая вокализация может последовать дальше.

Проект Wild Dolphin Project с 1985 года собирает данные о группе атлантических пятнистых дельфинов на Багамах. За это время исследователи накопили огромное количество аудио, видео и поведенческих заметок, документируя каждый звук и пытаясь понять их значение. Именно эти аудиоданные стали основой для обучения DolphinGemma.

Важной особенностью новой модели является её компактность — она может работать непосредственно на смартфонах Google Pixel. Уже этим летом Wild Dolphin Project начнет использовать DolphinGemma в полевых условиях, применяя Pixel 9 в водонепроницаемых корпусах для прослушивания, идентификации голосовых паттернов и помощи исследователям в выявлении значимых последовательностей в реальном времени.

Конечная цель проекта — не просто пассивное прослушивание, но создание двусторонней системы коммуникации между людьми и дельфинами. Для этого разрабатывается система CHAT (Cetacean Hearing Augmentation Telemetry), позволяющая исследователям назначать синтетические свисты объектам, которые нравятся дельфинам, и наблюдать, имитируют ли дельфины эти звуки для запроса предметов.

Google планирует сделать DolphinGemma проектом с открытым исходным кодом позже в этом году, чтобы ускорить прогресс в этой области. Хотя первоначальная модель обучена на вокализациях атлантических пятнистых дельфинов, теоретически она может быть адаптирована и к другим видам. Это позволит исследователям применять технологию к собственным акустическим данным.