Исследовательница машинного обучения и искусственного интеллекта Джанель Шейн использовала нейросеть, чтобы проиллюстрировать песни жанра шанти — традиционные напевы британских моряков. Для этого она применила программу медиахудожника Вадима Эпштейна, обученную на большом количестве картинок из сети, сопровожденных текстовым описанием.
Алгоритм анализирует каждую строчку песни по отдельности. Он пытается создать изображения, которые в интернете образца 2021 года были бы с ней связаны. Часто результат получается неожиданным.
Например, вот так нейросеть проиллюстрировала традиционную «Ten Thousand Miles Away» в исполнении Стивена Уэра.
Нейросеть несколько раз пыталась визуализировать строчку «Я больше не останусь на английском берегу». На выходе получались изображения волн, рядов коттеджей, профсоюзов, кораблей, задумчивых фигур на берегу моря, парней со стрижками участников The Beatles и толпы солдат в красных мундирах.
Строчку, в которой фигурируют «мальчики-хулиганы», программа проиллюстрировала подростками с дерзкими стрижками, одетыми в форму частных школ. Шейн предполагает, что это связано с современным пониманием слова «хулиган».
А вот как алгоритм визуализировал дум-метал-версию песни «Barrett’s Privateers». Чтобы атмосфера получилась соответствующая, исследовательница прибавляла «+ тьма» в конце каждой строчки.
Следующее видео создано на основе записи «Barrett’s Privateers», спетой а капелла. Сперва Шейн загрузила песню в программу по распознаванию текста из звука. Результат получился весьма неточным, программе не удалось правильно распознать почти ни одну из строчек. Например, вместо «Как бы я хотел сейчас оказаться в Шербруке» получилось «Однако тень сейчас должна сломаться». Единственная строчка, с которой алгоритму почти всегда удавалось справиться, — это «Черт побери их всех».
Тем не менее получившиеся слова исследовательница «скормила» нейросети. Получилось еще более психоделично и бессвязно, чем в прошлых примерах.
