Искусственный интеллект (ИИ) меняет способы создания музыки, открывает новые возможности для создателей и меняет то, как мы слушаем музыку и взаимодействуем с ней. От написания песен и сочинения до микширования и мастеринга, ИИ используется везде для улучшения процесса производства музыки. В этой статье мы рассмотрим различные способы использования ИИ в музыкальной индустрии, преимущества, которые он приносит, и потенциальные проблемы, которые он создает. Мы также рассмотрим несколько примеров того, как ИИ используется в процессе производства музыки, и какое будущее нас ожидает на пересечении этих субстанций.
Приведенный выше абзац был написан ChatGPT, чат-ботом, разработанным OpenAI. Ответ на мой запрос: «Напишите введение к статье под названием «Производство музыки и искусственный интеллект (ИИ)».
Ажиотаж вокруг ИИ в последнее время серьезно усилился благодаря выпуску онлайн-ресурсов, таких как ChatGPT, который использует оптимизированную языковую модель и позволяет общаться с пользователями в диалоговом режиме. Он пишет эссе и подробные ответы на запросы пользователя, которые являются грамматически правильными и не будут помечены программным обеспечением для обнаружения плагиата (которое, по иронии судьбы, основано на искусственном интеллекте), поскольку оно генерирует исходный текст. Это вызвало некоторую тревогу среди педагогов, обеспокоенных тем, что учащиеся могут воспользоваться преимуществами новой технологии, чтобы больше лениться и избегать выполнения своей собственной работы. Как и ожидалось, это породило целый сектор программного обеспечения для обнаружения ИИ, такого как GPTZero.
В изобразительном искусстве такие ресурсы, как DALL-E 2, генерируют изображения на основе введенного пользователем текста. Это поднимает всевозможные вопросы, связанные с идеей творческого авторства, и может заменить традиционную модель творчества на процесс, основанный на искусственном интеллекте, в котором способность художника давать вдохновенные подсказки становится произведением искусства.
Такой параметрический подход был сразу же принят на вооружение одними людьми и подвергнут критике другими. Но на самом деле это не случилось внезапно, за одну ночь. Все мы выбираем параметры в начале любой работы вне зависимости от художественной дисциплины. Художник выбирает размер и форму холста, писатель выбирает тему и перспективу, а композитор выбирает темп, тональность, инструментовку и т. д. Что, возможно, отличается от использования ИИ в качестве соавтора, так это то, что компьютер не будет слишком далеко отклоняться от начальных параметров — по крайней мере пока. С другой стороны, человек-художник распознает случайные события по мере того, как они разворачиваются во время процесса, и использует их для творческого эффекта. Нет ничего необычного в том, что творческая работа принимает совершенно иное направление, основанное на человеческом наблюдении и принятии решений на протяжении всего процесса.
Но использование ИИ не означает, что человеческому фактору обязательно отводится лишь генерация начальных подсказок (параметров). Изменение параметров и редактирование результатов по-прежнему является обязанностью художника, или, по крайней мере, так предполагается. В то время как настройка процесса создания музыки и её сохранение в том виде, в каком она вышла из интернета может быть концептуально чистой реализацией ИИ, догматические подходы к художественному творчеству редко приводят к положительным результатам. Может быть, именно в «ошибке», вернее, в «интересной ошибке» и заключается суть рукотворного искусства.
Нравится вам это или нет, в ближайшие годы (или даже месяцы) производство музыки претерпит кардинальные изменения. Аудиоинструменты ИИ и программное обеспечение для создания музыки существуют уже какое-то время, число случаев применения ИИ растет, а качество результатов продолжает значительно улучшаться. Далее последует описание лишь некоторых программ, доступных в настоящее время для производства аудио и музыки. Но сначала давайте определим некоторые термины, с которыми вы можете столкнуться в поисках идеального ИИ.
Искусственный интеллект (ИИ) — этот термин был придуман в 1955 году ученым-компьютерщиком Джоном Маккарти и относится к «науке и технике создания интеллектуальных машин».
Машинное обучение — относится к способности компьютеров имитировать процессы обучения человека.
Глубокое обучение — это машинное обучение, использующее искусственные нейронные сети (ИНС или ANN), которые пытаются имитировать биологические процессы.
Контролируемое обучение — это машинное обучение, которое требует наблюдения со стороны человека для контроля и корректировки процесса.
Неконтролируемое обучение — это машинное обучение, не требующее участия человека.
Кибернетика — это «наука о взаимодействии человека и машины, в которой используются принципы обратной связи, контроля и коммуникации». Её часто путают с ИИ, но есть несколько важных отличий. В то время как «ИИ основан на реалистическом взгляде на то, что машины могут работать и вести себя как люди, кибернетика основана на конструктивистском взгляде на мир. (источник - http://www.differencebetween.net/technology/difference-between-ai-and-cybernetics/)
ПРИМЕЧАНИЕ. «Конструктивизм — это теория, согласно которой учащиеся создают знания, а не просто пассивно воспринимают информацию. Когда люди познают мир и размышляют над этим опытом, они строят свои собственные представления и включают новую информацию в свои ранее существовавшие знания (схемы)». (источник - https://www.buffalo.edu/catt/teach/develop/theory/constructivism.html)
Алгоритм — набор инструкций или математических формул, который выводит результат на основе пользовательского ввода.
Чат-бот — использует языковую модель искусственного интеллекта для «общения» с пользователями.
Распознавание изображений — позволяет компьютерам идентифицировать закономерности в изображениях на основе машинного обучения.
Обработка естественного языка (NLP) — это технология, которая позволяет компьютерам интерпретировать и реагировать на письменный и устный язык, воспроизводимый людьми.
Генеративно-состязательная сеть (GAN) — технология, позволяющая компьютерам генерировать реалистичные изображения.
Возможно, некоторые из наиболее интересных и потенциально полезных приложений ИИ в производстве аудио можно найти в программном обеспечении для микширования и обработки эффектов.
Наборы эффектов Ozone 10 и Neutron 4 включают в себя «ассистента AI», который анализирует вашу сессию и создает то, что он считает оптимальной цепочкой эффектов обработки с настройками в зависимости от жанра. Работает безотказно? Нет. Но это потенциально может ускорить вашу работу за счет быстрой загрузки плагинов, которые вы, возможно, использовали бы в любом случае. Или он может предложить вещи, которые вы не рассматривали изначально, и послужить источником вдохновения для совершенно нового творческого решения. Как и в случае со многими из этих инструментов, существует ошибочное мнение, что ИИ будет выполнять работу так же хорошо или даже лучше, чем опытный инженер. Такой подход обречен на провал. Однако, если вы рассматриваете ИИ как соавтора, результаты могут быть гораздо более продуктивными.
Sonible предлагает серию «умных» плагинов, в том числе: Smart: EQ, Smart: Limit, Smart: Reverb и другие. Smart: EQ использует искусственный интеллект для «удаления неприятных резонансов и нежелательных вырезов, оставляя вам хорошо сбалансированный звук — и, следовательно, идеальную основу для дальнейших творческих шагов».
Chameleon — это «интеллектуальный аудиоплагин, который использует искусственные нейронные сети для оценки и точного моделирования реверберации любых исходников». Он может быть отличным инструментом постобработки для сопоставления пространственных характеристик при записи эффектов ADR и Foley.
В RX10, который долгое время считался выдающимся пакетом постпродакшна, есть то, что называется Repair Assistant, он генерирует цепочку опций шумоподавления в зависимости от типов входного сигнала, таких, как голос, музыка, перкуссия или звуковые эффекты. Хотя результат редко бывает идеальным, он быстро выявляет проблемы и потенциальные решения, которые затем можно настроить и подкрутить по мере необходимости.
LANDR — это онлайн-сервис мастеринга, который открыл новые горизонты, пообещав мастерить миксы с молниеносной скоростью по невероятно низким ценам по сравнению с оплатой, взимаемой традиционным мастеринг-инженером.
eMastered — еще один такой сервис утверждающий, что создан инженерами, удостоенными Грэмми, и работающий на основе искусственного интеллекта.
Хотя маловероятно, что многие успешные артисты с разумным бюджетом предпочтут мастеринг ИИ высококлассному мастеринг-инженеру, такие виды услуг определенно найдут успех у домашних продюсеров с ограниченными средствами. Системы зависят от жанра и могут не подходить для всех типов музыки.
RipX включает в себя три модуля на основе искусственного интеллекта, предназначенные для отделения и/или замены стемов из сведенных музыкальных файлов. В комплект входят:
DeepRemix — «разбивает сведенные стерео файлы MP3, WAV и т. д. вокал, гитару, фортепиано, ударные, бас и другие инструменты».
DeepCreate — «добавляет передовые MIDI/MPE и аудиозаписи на платформу RipX, а также позволяет вам экспериментировать со стемами, звуками, сэмплами при помощи новых и инновационных способов».
DeepAudio — «добавляет в рабочий процесс расширенные инструменты очистки сиемов и обработки звука, чтобы вы могли извлекать звук высочайшего качества, а также настраивать/создавать звук с беспрецедентным уровнем детализации».
Это увлекательное исследование, проводимое в Массачусетском технологическом институте, использует решение на основе нейронной сети, которое идентифицирует и разделяет звук, воспроизводимый конкретным музыкантом в видео.
Одной из самых спорных областей ИИ является создание контента. Именно здесь многие традиционные композиторы насмехаются и с отвращением качают головами. Порой это реакция на часто некачественные или банальные результаты, генерируемые ИИ. Или, может быть, это страх в подкорке быть замененным машиной. Но не бойтесь, люди, создание контента с помощью ИИ осуществляется во многих формах и может быть полезным инструментом в умелых руках. С точки зрения банальности, краткий обзор обучающих видео на YouTube покажет бесконечный запас ужасной музыки, созданной людьми, так почему бы ИИ не попробовать и ее?
Многие люди используют Arcade, в том числе из-за постоянно растущей библиотекой сэмплерных инструментов. Но вы также можете использовать их Kit Generator, чтобы создавать собственные сэмплы. Программное обеспечение анализирует звук и создает уникальный комплект сэмлпов с обработкой эффектов. Вы можете менять способ, которым Arcade нарезает звук, используя четыре различных режима. Несмотря на то, что со стороны Output нет упоминания об ИИ обработке, этот процесс выглядит действительно «умным».
Это программное обеспечение использует искусственный интеллект для создания сэмплов ударных с нуля, для нас это значит - гарантия уникальных бесплатных сэмплов. Пользователь может менять параметры по своему желанию, чтобы изменить существующие звуки от похожих до полностью неузнаваемых. Графический интерфейс представляет собой знакомый макет барабанных пэдов с дополнительными элементами управления высотой тона, панорамированием и огибающей амплитуды.
Эти плагины включают Pilot Melody, Pilot Bass и Pilot Arpeggio. Они создают контент на основе последовательности аккордов, которую вы можете редактировать в графическом интерфейсе плагина, или вы можете подключить его к одному из своих других устройств под названием Captain Chords. Кажется, он ориентирован на жанры техно, фьючер-рейв и хаус. Устройства очень удобны в использовании и предоставляют интуитивно понятные параметры, такие как плотность, синкопа и длина ноты — каждый из них можно изменить по ходу продакшна. Вы можете экспортировать контент в формате MIDI или аудио с помощью простого перетаскивания.
Scaler может «определить, в какой тональности и гамме вы находитесь, и предложить аккорды, которые соответствуют вашей музыке. Плагин поможет вам найти идеальную мелодию с экспрессией исполнения и даже может предложить способы перехода от одной тональности к другой». Он имеет обширную коллекцию контента, которая включает в себя наборы аккордов, фразы, последовательности, басовые партии, мелодии, ритмы, пути модуляции и замены аккордов.
Это программное обеспечение может похвастаться ИИ, способным создавать бесконечное количество паттернов, мелодий и басовых партий. Я писал о зарождении программного обеспечения, которое тогда называлось Orb Composer, еще в 2018 году, и с тех пор оно прошло долгий путь, добавив полиритмы, блок чейн («позволяет создавать один длинный музыкальный фрагмент из всех ваших тем для непрерывного воспроизведения при нажатие кнопки») и многое другое.
Онлайн-сервисы, такие как Amper, делают создание бесплатной музыки с помощью ИИ невероятно простым: выберите жанр и продолжительность, нажмите кнопку, настройте и загрузите. Результаты довольно ошеломляющие с точки зрения качества звука и скорости, с которой может быть создан контент. Для некомпозиторов, которым нужны тонны оригинальной музыки для таких вещей, как видео или подкасты, это чрезвычайно привлекательный сервис. Это определенно уменьшит потребность в содержимом музыкальной библиотеки, составленной традиционным способом. Композиторам продакшн-музыки нужно будет адаптироваться к этой новой сфере и научиться привносить в этот автоматизированный процесс здоровую дозу человечности.
Ниже приведена демонстрация того, как работает Amper Score:
Вот трек, написанный Aiva, еще одной платформой для создания ИИ: https://www.youtube.com/watch?v=Emidxpkyk6o
Художник Бенуа Карре предполагает, что следующим шагом в музыке, создаваемой ИИ, будет погружение в методы глубокого обучения, а на личном уровне он надеется разработать живое шоу, основанное на его разработках в области ИИ. «Я хочу показать, что за проектом стоит художник. Часто одна из проблем, с которой люди сталкиваются с искусственным интеллектом, заключается в том, что они думают, что артист просто нажимает на кнопки — но это не так… Композиторы все еще должны расширять границы, потому что на данный момент ИИ только способен делать то, что случалось раньше». (источник)
Ключевой фразой в этой цитате для меня является последняя фраза «в данный момент», потому что сингулярность приближается, и никто на самом деле не знает, что это будет означать.
Другие приложения, такие как Mubert, Ecrett Music и Songen, позволяют независимым авторам создавать бесплатную музыку за несколько шагов. Такие сервисы используют механизмы с искусственным интеллектом, набрасывающие идеи песен, которые пользователи могут настраивать и дорабатывать в соответствии со своими потребностями и предпочтениями».
Есть несколько артистов, которые использовали ИИ в качестве соавтора, в том числе Бенуа Карре (упомянутый выше), Граймс, Киеса, Эш Куша, Тарин Саузерн и Холли Херндон.
Конец первой части статьи, вторая будет в ближайшее время.
Перевод и локализация: Studio Day