PaliGemma 2 представила обновление: длинные подписи и новые функции

Новая версия PaliGemma 2 обеспечивает детализированные "длинные подписи" к изображениям, улучшенное распознавание текста и более широкий функционал для анализа таблиц, формул и музыкальных партитур. Модель с параметрами до 28B легко заменяет предшественника без изменений в коде.

В новой версии PaliGemma 2 реализованы "длинные подписи", которые обеспечивают детализированное контекстное описание изображений. Это включает в себя указание на действия, эмоции и дополнение повествования. Помимо этого, в обновленной модели усовершенствованы возможности оптического распознавания символов. Она способна анализировать таблицы, химические формулы, интерпретировать музыкальные партитуры, а также генерировать медицинские отчёты, например, на основе рентгеновских снимков грудной клетки.

Модель доступна в вариантах с параметрами:

с разрешением изображений до 896 пикселей. PaliGemma 2 предназначена для замены оригинальной версии с минимальными изменениями со стороны разработчиков, что позволяет избежать значительных корректировок кода. Также облегчена тонкая настройка модели под специфические задачи.