Американские ученые научили нейросеть воссоздавать по видео без звука музыку, сыгранную на фортепьяно. Об этом сообщает TNW.
Вашингтонский университет разработал программное обеспечение с искусственным интеллектом Audeo, которое обучали на роликах пианиста Пола Бартона, играющего Моцарта и Баха. Нейросеть может определить, какие клавиши нажимает музыкант в и каком порядке он это делает.
Также она учитывала силу и время нажатия, чтобы вычислить интенсивность и продолжительность. После этого Audeo передает полученные данные на синтезатор, который транскрибирует их в звук.
Точность восстановленной ИИ музыки проверили в Shazam и SoundHound, которые распознали мелодии в 86% случаев. Это на 7% меньше результатов воспроизведения оригинальных видео Пола Бартона.
«Ранее считалось, что создание музыки, которая звучит так, как будто ее можно сыграть в музыкальном представлении, было невозможным. Алгоритм должен определить сигналы или детали в видеокадрах, связанных со звучанием музыки, и он должен „представить“ звук, которого добивается человек на видео. В этом случае технологии требуется быть одновременно точной и творческой», — заявила старший автор исследования Эли Шлизерман.
В прошлом году в Google добавили функцию поиска песен по пению, насвистыванию и мычанию. Чтобы воспользоваться функцией, нужно открыть приложение Google или голосовой помощник Google Assistant, нажать на иконку микрофона и произнести фразу «What is this song» или «Search for the song». Затем в течение 15 секунд нужно напевать мотив песни.