Написання музики за допомогою комп’ютерів завжди вважалося одним з найскладніших технологічних завдань. Втім, команді розробників з Google нещодавно вдалося зробити прорив в цій сфері.
Трохи історії
Одразу після появи перших серійних ЕОМ вчені спробували писати з їх допомогою музику. Таким чином, в 1957 році на комп’ютері ILLIAC було створено перший музичний твір — сюїта ILLIAC. Щоправда, під час написання композиції електронній машині доволі сильно «допомагав» американський композитор Леджарен Хіллер. В тому ж році сюїту виконав оркестр з професійних музикантів. Але потім ідея написання музики за допомогою комп’ютера була на довгий час забута.
Основна проблема полягає в тому, що алгоритмізація процесу створення музики є надзвичайно складною. Якщо мова йде про справді складну музичну композицію, то комп’ютер раніше діяв наступним чином: просто брав певні музичні шаблони як початкові данні, а потім розвивав їх у майже рандомному порядку. Розробники, звичайно, застосовували певні обмеження стосовно «творчого процесу» комп’ютера, націлені на те, щоб в композиції не було відвертих дисонансів. Далі людина прослуховувала отримані композиції та обирала фрагменти, що є справді цікавими та мелодійними.
Саме таким шляхом пішла американська зірка Тарин Саузерн. Як інструмент вона обрала програму Amper, яка за допомогою внутрішніх алгоритмів здатна генерувати мелодії відповідно до заданого жанру та настрою. Звичайно той трек, що вона отримала, був вельми «сирим», тим не менше, там були акорди, певна структура і мелодійність. Згодом на основі подібного машинного матеріалу народилася пісня Break Free, що стала невдовзі вельми популярною.
Взагалі, у сфері створення музики працювало багато стартапів. Наприклад, команда британського Jukedeck використовувала нейронні мережі для написання музики. Це один з найпопулярніших методів, який застосовують для написання музики комп’ютером.
У 2016 в Google заявили про запуск проекту Magenta, націленого на експерименти зі штучним інтелектом в креативних сферах. Особливу увагу команда приділяла творчості у сфері музики. Глава проекту Дуглас Ек (Douglas Eck) відзначив, що за допомогою Magenta в компанії хочуть дослідити розробку алгоритмів, пов’язаних з генеруванням продуктів образотворчого мистецтва і музики. В перспективі це дозволить створювати творчий контент силами ЕОМ.
Перша композиція, створена за допомогою Magenta — це варіації на пісню дитячої пісні «Twinkle Twinkle Little Star». Комп’ютер написав мелодію, яка спочатку містила всього кілька нот на електронному піаніно, але потім стала все більш цікавою та витонченою.
Новий підхід до створення музики
Розробка компанії Google на базі штучного інтелекту (AI) для написання музики під назвою Music Transformer, звичайно, поки що не може зрівнятися з Моцартом або Лістом, але останнім часом цей продукт досяг значного прогресу. Нещодавно в блозі та статті «Music Transformer» співробітники вищезгаданого проекту Project Magenta, який присвячений вивченню ролі машинного навчання як інструменту в творчому процесі, представили свою розробку Musical Transformer («Музичний трансформер»). Це модель на базі машинного навчання, яка здатна генерувати відносно гармонійні мелодії з чіткими рефренами.
«Модель Transformer, заснована на самоаналізі, досягла дивовижних результатів у багатьох задачах по генерації музики, які вимагають злагодженості мелодії протягом довгого часу, — пишуть автори статті. — Це говорить про те, що самоаналіз непогано підходить для моделювання музики».
В чому складність?
Як пояснює команда, генерування тривалих за часом фрагментів музики залишається важким завданням для штучного інтелекту через структурну складність; більшість пісень містять кілька мотивів, музичних фраз та повторів, і нейронні мережі не завжди здатні їх знайти та проаналізувати. І хоча попереднє рішення змогло виділити деякі музичні фрази, що повторювалися у творах, написаних людьми, ця технологія спиралася виключно на таймінгові сигнали, що робить її не оптимальною для відстеження тем, які базуються на відносних відстанях та рекурентних інтервалах.
Новим досягненням команди став Music Transformer — заснована на самоаналізі нейронна мережа, яка створює експресивні твори напряму, без попередньої шаблонної партитури. Використовуючи інноваційні технології генерування музику, Music Transformer здатний не лише зосередитися на реляційних функціях, але й «писати музику» поза межами навчальних зразків, які вводяться як початкові дані. І оскільки це рішення споживає менше пам’яті, воно також здатне генерувати довші музичні послідовності.
Перші результати надихають
У тестах, де я початковий шаблон було введено «Етюд на чорних клавішах» Шопена, Music Transformer створив композицію, яка була виконана цілком у стилі цього етюду, а також містила кілька музичних фраз, взятих з мотиву. На відміну від цього результату, два попередніх алгоритми — Performance RNN і Transformer — використовували той самий початковий шаблон, але згенерований результат не мав чіткої виразної структури або ж взагалі не зберіг оригінальну структуру.
Ось як звучить оригінал «Етюду на чорних клавішах Шопена»:
А тепер порівняйте його з композицією, яку створив Music Transformer на базі вищезгаданого етюду Шопена:
А ось тут програма згенерувала музичний твір без початкового шаблону:
Команда визнає, що Music Transformer поки що далеко не ідеальний, адже іноді він створює композиції з занадто великою кількістю повторів, великими паузами та дисгармонійними переходами. Втім, розробники сподіваються, що навіть такі результати зможуть стати в пригоді для музикантів, які потребують натхнення.
«Ця технологія відкриває можливість для користувача вказати свій власний шаблон і застосовувати модель як творчий інструмент для вивчення цілого ряду можливих продовжень», — вказують розробники.
Код для навчання та генерування Music Transformer буде доступний вже в найближчому майбутньому, разом з попередньо підготовленими контрольними точками.
ЧИТАЙТЕ ТАКОЖ:
- Яке майбутнє чекає на нас з появою автомобілів зі штучним інтелектом
- Наскільки безпечні вже звичні нам «розумні» прилади?
- Піца з креветками та солодким джемом — креатив від штучного інтелекту
За матеріалами VentureBeat