Ученые научили нейросеть восстанавливать фортепианную музыку по видео без звука

Нейросеть может определить, какие клавиши нажимает музыкант в и каком порядке он это делает.

Американские ученые научили нейросеть воссоздавать по видео без звука музыку, сыгранную на фортепьяно.

Вашингтонский университет разработал программное обеспечение с искусственным интеллектом Audeo, которое обучали на роликах пианиста Пола Бартона, играющего Моцарта и Баха. Программа определяет какие клавиши и в каком порядке нажимает музыкант, а также учитывает силу и время нажатия, чтобы вычислить интенсивность и продолжительность.

После этого Audeo передает полученные данные на синтезатор, который транскрибирует их в звук. Точность восстановленной ИИ музыки проверили в Shazam и SoundHound, которые распознали мелодии в 86% случаев. Это на 7% меньше результатов воспроизведения оригинальных видео Пола Бартона.