Возглавляемый Гилом Вайнбергом Центр музыкальных технологий в университете Джорджии известен своими оригинальными музыкальными композициями, создаваемыми с помощью роботов и являющимися синтезом творчества и технологий в области робототехники и ИИ.
В этом центре были сконструированы вторая и третья кибернетическая рука для барабанщика, а также проведен целый ряд интересных исследований с роботами, которые могут динамически взаимодействовать с людьми, импровизируя при игре на музыкальных инструментах. Четырехрукий робот Шимон артистично играет на маримбе, он способен анализировать музыку в режиме реального времени и импровизировать при совместном исполнении с человеком.
Это впечатляющее зрелище, но ранее таланты Шимон были в основном ограничены рефренами музыкальных композиций других исполнителей. Теперь Шимон использует алгоритмы глубокого обучения для создания собственных структурированных и согласованных, совершенно уникальных композиций.
Учителем Шимона является аспирант Мейсон Бретань. Воспроизводимые мелодия и гармоническая структура являются результатом обработки с использованием нейронной сети, обученной с использованием 5000 разных музыкальных произведений (в том числе Бетховена, Битлз, леди Гага, Майлза Дэвиса и Джона Колтрейна), вместе с 2 млн. мотивов, риффов, аккордов и других основополагающих музыкальных элементов.
Важно понимать, что Шимон не просто смешивает ранее запрограммированные различные музыкальные фрагменты и не использует какой-либо случайный генератор музыки. Особенность здесь в том, что создаваемая с помощью глубокой нейронной сети музыка является результатом анализа ранее «прослушанных» роботом тысяч песен и композиций. Он способен создавать гармонии и аккорды и фокусируется (как человек) на общей структуре композиции, вместо того, чтобы просто выдавать незатейливую современную мелодию. Бретань называет это «музыкальной семантикой высокого уровня».
Комментарии
(0) Добавить комментарий