Музыкальные исполнители теперь могут найти вдохновение и новые творческие направления для написания своих песен с помощью технологии, разработанной исследователями Ватерлоо.

LyricJam, система реального времени, которая использует искусственный интеллект (ИИ) для создания лирических строк для живой инструментальной музыки, была создана сотрудниками Лаборатории обработки естественного языка университета.

Лаборатория, возглавляемая Ольгой Вечтомовой, профессором инженерного дела Ватерлоо, получившим перекрестное назначение в области компьютерных наук, уже несколько лет занимается исследованиями творческих применений искусственного интеллекта.

Первоначальная работа лаборатории привела к созданию системы, которая изучает музыкальные выражения артистов и генерирует тексты в их стиле.

Недавно Вечтомова вместе с аспирантами Ватерлоо Гауравом Саху и Дхрувом Кумаром разработала технологию, которая опирается на различные аспекты музыки, такие как последовательность аккордов, темп, инструментовка, чтобы синтезировать тексты песен, отражающие настроение и эмоции, выражаемые живой музыкой.

Когда музыкант или группа играет инструментальную музыку, система непрерывно получает необработанные аудиоклипы, которые нейронная сеть обрабатывает для генерации новых лирических строк. Затем артисты могут использовать эти строки для создания собственных текстов песен.

«Цель системы не в том, чтобы написать песню для исполнителя», — объясняет Вечтомова. — Вместо этого мы хотим помочь музыкантам реализовать их собственное творчество. Система генерирует поэтические строки с новыми метафорами и выражениями, потенциально ведя музыканта в творческих направлениях, которые они ранее не исследовали.»

Нейронная сеть, разработанная исследователями, узнает, какие лирические темы, слова и стилистические приемы связаны с различными аспектами музыки, запечатленными в каждом аудиоклипе.

Например, исследователи заметили, что тексты, созданные для эмбиентной музыки, сильно отличаются от текстов для оптимистичной музыки.

Исследовательская группа провела исследование пользователей, пригласив музыкантов играть на живых инструментах во время использования системы.

«Одним из неожиданных открытий было то, что участники чувствовали себя воодушевленными сгенерированными текстами для импровизации», — сказала Вечтомова. «Например, тексты вдохновили музыкантов на то, чтобы структурировать аккорды немного по-другому и продолжить импровизацию в новом направлении, чем первоначально предполагалось. Некоторые музыканты также использовали эти строки, чтобы проверить, произвела ли их импровизация желаемый эмоциональный эффект.»

Еще один вывод, сделанный в ходе исследования, высветил со-творческий аспект опыта. Участники отметили, что они рассматривали систему как некритичного партнера и чувствовали желание играть на своих музыкальных инструментах, даже если они не пытались активно писать тексты.

С тех пор как LyricJam вышел в эфир в июне этого года, его опробовали более 1500 пользователей по всему миру.

Исследование команды, которое будет представлено на Международной конференции по вычислительному творчеству в сентябре этого года, было предварительно опубликовано на arXiv.

Музыканты, заинтересованные в опробовании LyricJam, могут получить доступ к нему по адресу https://lyricjam.ai.