Google разработала ИИ-модель для общения с дельфинами

Google применяет генеративный ИИ для расшифровки коммуникации дельфинов в рамках сотрудничества с Wild Dolphin Project (WDP). С 1985 года проект изучает поведение атлантических пятнистых дельфинов и собирает уникальную базу аудио- и видеозаписей. Исследователи уже выявили сложные звуковые паттерны: индивидуальные «именные» свисты для идентификации особей и характерные звуки во время конфликтов. Понимание структуры и закономерностей звуков дельфинов позволит лучше понять их коммуникацию. WDP создал обширную размеченную базу данных, охватывающую 40 лет — идеальная основа для обучения ИИ-моделей.

Большие языковые модели, по сути, предсказывают закономерности. Получив запрос, они шаг за шагом угадывают следующее слово (токен), пока не сформируют ответ. Google и WDP надеются, что DolphinGemma сможет аналогичным образом «понимать» и «воспроизводить» коммуникацию морских млекопитающих. DolphinGemma основана на открытых ИИ-моделях Google Gemma, которые, в свою очередь, используют ту же базу, что и коммерческие модели Gemini. Для обработки вокализации дельфинов модель применяет разработанную Google технологию SoundStream, которая преобразует звуки в токены, чтобы загружать их в модель по мере записи.

DolphinGemma обучалась на акустическом архиве Wild Dolphin Project. Получив звук дельфина, она предсказывает следующий акустический токен, подобно тому как языковые модели прогнозируют слова. Если система окажется эффективной, эти прогнозируемые свистки и щелчки будут соответствовать реальным сигналам, которые понимают дельфины.

Исследователи надеются, что DolphinGemma выявит сложные паттерны вокализации для создания общего «словаря». Вручную такой анализ потребовал бы много времени.

Google разработала DolphinGemma специально для работы с оборудованием WDP, включая смартфоны Pixel, которые используются исследователями в полевых условиях. Из-за нехватки ресурсов запускать ИИ-модели на телефонах сложно. Чем крупнее и мощнее инструмент, тем больше ему нужно памяти и скорости обработки. Поэтому DolphinGemma относительно компактная — всего 400 млн параметров, что немного по сравнению с обычными большими языковыми моделями.

Для наблюдения за дельфинами под водой WDP несколько лет использует небольшое аудиоустройство CHAT (Cetacean Hearing Augmentation Telemetry) на базе Pixel 6, разработанное в Технологическом институте Джорджии. С помощью этой системы они создают искусственные звуки дельфинов. Аппарат также может слушать дельфинов и искать похожую «ответную» вокализацию. Google сообщает, что к лету 2025 года у команды будет новый CHAT на базе Pixel 9. Это позволит одновременно запускать сложные ИИ-модели и алгоритмы поиска совпадений. Однако пока ученые не планируют напрямую передавать звуки, созданные DolphinGemma, дельфинам через аудиоустройство.

DolphinGemma и CHAT вряд ли сразу позволят людям свободно говорить с дельфинами, но могут помочь базово взаимодействовать с ними в будущем.

Как и другие модели Gemma, этот проект будет открытым — Google планирует выпустить его для исследователей по всему миру уже этим летом. Хотя модель обучалась на звуках атлантических пятнистых дельфинов, разработчики отмечают, что её можно адаптировать и для других видов китообразных.