Роботы и нейросети в музыке: чёрное зеркало в реальной жизни?

В наше время человека уже сложно удивить открытиями в области инноваций. Люди ежедневно используют десятки цифровых изобретений, которые становятся технологичнее, удобнее, умнее. Но достижения в области искусственного интеллекта и его применение в искусстве — всё ещё способны шокировать. Мы рассказываем про музыку, которая создаётся не только привычными нам инструментами.

Роботы-музыканты

Compressorhead

Самая известная на сегодняшний день робо-группа — это Compressorhead, собранная из переработанных электроприборов и запчастей и управляемая при помощи MIDI секвенсора. Группа была основана в 2013 году в Берлине и изначально в состав входили: барабанщик Stickboy со своим мини-ассистентом Junior, гитарист Fingers и бас-гитарист Bones. В начале карьеры группа не имела собственных композиций и исполняла только каверы на известные рок-песни таких групп, как AC/DC, Motörhead, Nirvana и Black Sabbath. В 2017 группа пополнилась двумя новыми роботами: брутальным вокалистом Mega-Wattson, чей голос был озвучен Джоном Райтом, и женщиной-роботом Hellga Tarr, которая стала вторым гитаристом в группе. В этом же году группа выпустила свой дебютный и на сегодняшний день единственный альбом Party Machine. Роботы-металлисты давали крупные концерты в Берлине, а также Норвегии, Мексике, Люксембурге, Литве и даже в Москве.

Z-Machines

В 2013 году инженерами из университета Токио была спроецирована ещё одна группа музыкантов-роботов Z-Machines. В составе лишь трое участников: Гитарист Mach с 78 пальцами, способный играть со скоростью свыше 1000bpm (ударов сердца в минуту), шестирукий барабанщик Ashura, который может играть одновременно на 22 барабанах и клавишник Cosmo. В 2014 году при поддержке лейблаWarp Records группа выпустила EP, состоящий из пятии композиций, и дала пару концертов в Токио.

Нейросети

Сегодня нейросети оказывают значительное влияние на музыкальную индустрию. Хотя они уже давно используются в музыке, технология быстро развивается и открывает новые возможности. Многие исследователи используют их для анализа различных музыкальных элементов, таких как ритм, гармония, мелодия и даже динамика. Затем эти данные помогают автоматически создавать музыку, в том числе и экспериментальную.

Mubert

Mubert — это уникальная онлайн-платформа, работающая на основе ИИ, главной целью которой является расширение возможностей контент-мейкеров и предоставление им музыкальных композиций без авторских отчислений. Если вы хотите оформить свой видеоряд для публикации на Youtube, не используя чужую музыку и не нарушая авторских прав, то Mubert может стать для вас отличным инструментом.

JukeBox

Известная уже многим нейросеть JukeBox, разработанная командой OpenAi и обученная на 1.2 миллионах музыкальных произведений, способна генерировать музыку в разных жанрах и стилях и даже добавлять в треки вокал с осмысленным текстом. В то время как некоторые модели генерации музыки используют обучающие данные MIDI, JukeBox обучается на фактическом необработанном аудиофайле.

Stable Diffusion

Нейросеть Stable Diffusion известна многим способностью генерировать изображения по текстовому описанию, но, как выяснилось, с её помощью также можно создать и музыку. Система способна генерировать аудиоспектрограммы — визуальные изображения звуковых частот, после чего остаётся лишь воспроизвести полученный звук, поэтому данную нейросеть можно по праву назвать композитором.

MusicLM

В этом году разработчики из Google рассказали на Github о нейросети, исходный код которой они не планируют делать доступным. Нейросеть MusicLM обучили на 280 часах музыки, что позволило ей генерировать композиции по текстовому описанию. Более того, при помощи этой нейросети исследователи также способны создать музыку по описанию известных картин Дали, Мунка, Ван Гога и других.

Soundraw

Очередной генератор музыки, который предлагает вам выбрать музыкальный жанр композиции, инструмент, настроение и длительность трека. Искусственный интеллект не сразу создаёт композицию с нуля, а предлагает вам список из альтернативных вариантов. Вам нужно выбрать наиболее привлекательный трек, после чего сервис позволит пользователю изменить его, чтобы тот соответствовал его посту или видео. Генерировать музыку в Soundraw можно бесплатно, но, чтобы скачать созданную композицию, сервис потребует приобрести подписку.

Amper Music

Amper Music — облачная платформа для генерации музыки с помощью ИИ из уже записанных треков, которая является одной из самых непростых в использовании. Он отлично подойдет для музыкантов или пользователей, обладающих знаниями в теории музыки и композиции.

Какие нейросети существуют?

1. Свёрточные нейросети — созданы для генерации музыкальных данных, используя структуру потоковой сети.

2. Рекуррентные нейронные сети — используются для построения модели ритма и тона музыки.

3. Нейронные сети переноса знаний — используются для изучения традиционных правил музыки и создания новой музыки.

4. Самоорганизующиеся нейронные сети — используются для автоматической классификации музыки на основе её аудиохарактеристик.

5. Генетические алгоритмы — используются для поиска эффективных комбинаций музыкальных звуков и других характеристик.

Возможности искусственного интеллекта всецело пока не изучены, нейросети будут активно развиваться ближайшие годы, в том числе в сфере культуры и искусства, а всё самое интересное человечество ещё ждёт впереди.

Обложка: Робот от Xiaomi CyberOne/YouTube IEEE Spectrum