Нейросеть нарисовала картину на основе песни «Кукушка» Виктора Цоя

Автор Telegram-канала Denis Sexy IT опубликовал ролик, в котором нейросеть (построенная на моделях AudioCLIP и VQGAN) рисует картину на основе песни «Кукушка» в исполнении Виктора Цоя. В отличие от уже знакомых многим идей, заложенных в другие нейросети, эта выделяется иным подходом: вместо генерации изображения на основе текстового описания, она рисует картинки на основе смысла песен (а точнее, любых аудиофайлов).

По сообщением автора канала, принцип работы данной нейросети таков: одна её часть старается распознать текст песни, голосового сообщения или любой другой аудиозаписи, а вторая пытается с помощью генерируемой картины проиллюстрировать смысловое содержание звукового файла.

Нейросеть доступна для всех в облачном сервисе Google Colaboratory.