Первая часть статьи доступна по ссылке: https://studioday.ru/news/tekhnologii/ii-v-muzykalnom-prodakshne-instrumenty-terminologiya-i-primenenie-chast-1/
MusicLM — это новая модель искусственного интеллекта, способная генерировать музыку из текстовых подсказок в формате 24-битного звука. По словам разработчиков:
«MusicLM представляет процесс условной генерации музыки как задачу по созданию иерархической модели последовательность-после-последовательности (sequence-to-sequence) и генерирует музыку в 24 кГц, которая остается неизменной в течение нескольких минут. Наши эксперименты показывают, что MusicLM превосходит предыдущие системы как по качеству звука, так и по соблюдению текстового описания. Более того, мы показываем, что MusicLM может быть обусловлен как текстом, так и мелодией, поскольку он может преобразовывать напевные мелодии и мелодии, исполненные свистом в соответствии со стилем, описанным в текстовой задаче. Чтобы поддержать будущие исследования, мы выпустили в публичный доступ MusicCaps, набор данных, состоящий из 5,5 тыс. пар в формате музыка-текст, с расширенными текстовыми описаниями, предоставленными экспертами.» (источник)
Похоже, что модель способна создавать сложные формальные конструкции с переходами, такими как эта текстовая подсказка:
Ознакомьтесь с множеством примеров здесь (https://google-research.github.io/seanet/musiclm/examples/), включая такие категории, как:
• Генерация аудио из расширенных подписей (сложных описаний на основе предложений), например: «Звуки индустриального техно, повторяющиеся гипнотические ритмы. Струнные, играющие повторяющуюся мелодию, создают жуткую, тревожную атмосферу. Музыка гипнотическая и трансовая, в ритме легко потеряться. Высокие ноты струнных пронзают темноту, добавляя слой напряжения и неопределенности».
• Длинная генерация (на основе жанра)
• Режим истории
• Условия текста и мелодии
• Условия подписи к картинке
• Инструментальные дескрипторы
• Жанровые дескрипторы
Для тех, кто хочет внедрить ИИ в свой рабочий процесс, скорее всего, возможности будут быстро расширяться в ближайшие месяцы и годы. Как упоминалось выше, они будут включать в себя:
• Плагины для микширования и мастеринга с помощью искусственного интеллекта и онлайн-сервисов.
• Обработку демиксов и ремиксов для творческой работы
• Генерацию музыки и образцов контента с помощью ИИ
• Генерацию гармонии и мелодии с помощью искусственного интеллекта
• Плагины для постпродакшна с искусственным интеллектом
• Создание музыки с помощью ИИ на основе языковых подсказок
• Генерацию текстов песен с помощью искусственного интеллекта.
Заключение
Мир, каким мы его знаем, находится на пороге беспрецедентных изменений, потому что вопрос начинается уже не с «если»…, а со слова «когда» … компьютеры обретут самосознание. Перспектива этого знаменательного события породила рассуждения, которые варьируются от антиутопического крушения человечества до восторженного оптимизма в отношении слияния человека и машины.
С человеческой точки зрения ошибочно полагать, что самосознание — это качество исключительно «здоровых» людей. Разве у психов и социопатов тоже нет самосознания? И что сможет создать или разрушить компьютер-психопат?
Смогут ли когда-нибудь компьютеры изменить направление творческого процесса в зависимости от неожиданных или преднамеренных результатов, возникающих на этом пути? Это касается вопросов интуиции, прозорливости и способности распознавать «ошибку» как что-то интересное или захватывающее, а не просто «неправильное».
Я попросил ChatGPT прокомментировать, хорошее ли он изобретение или нет. Его ответ продемонстрировал явное отсутствие самосознания — по крайней мере, на данный момент.
Известный ученый-компьютерщик и футурист Рэй Курцвейл заметил, что технологии развиваются в геометрической прогрессии. Мне как художнику важно, по крайней мере, знать о грядущих изменениях и, в лучшем случае, быть готовым использовать новые инструменты и быть готовым исследовать новые направления в творческой практике.
Чтобы получить отзывы людей (и машин) по этому вопросу, я задал следующий вопрос нескольким художникам, коллегам и ChatGPT:
Каково ваше мнение об использовании ИИ в искусстве и, в частности, в вашей работе?
Ниже приведены их неотредактированные ответы:
Alysse Stepanian:
Ослепительные и неограниченные возможности творческой работы с помощью ИИ могут утомить и без того перегруженную и онемевшую аудиторию. Для меня важно использование творческого инструмента с философским подходом для поиска ответов на вопросы, возникающих в процессе создания искусства. Фридрих Ницше предположил, что искусство — это ложь, которую мы говорим себе, чтобы выжить: «Правда уродлива. Мы обладаем искусством, чтобы не погибнуть от истины». Эта простая концепция может объяснить массовое влечение к творческому использованию ИИ — творить может каждый; каждый художник. Вишенкой на торте (или самим тортом?) является монетизация этого творчества. На рубеже 20-го века, когда технологический ландшафт резко менялся, художники-модернисты восстали против коммодификации искусства. В конце концов, их восстание было поглощено коммерческой сферой. Дюшан (и его коллеги-дадаисты) со своим подписанным писсуаром и усатой Моной Лизой высмеивал саму идею «высокого искусства», предвидя эру постмодернизма спустя десятилетия.
Теперь мы перешли от постмодернистской деконструкции и отказа от идеализма современного искусства с отношением «все идет» к открытым объятиям и энтузиазму художников 21-го века в коммерциализации искусства. Сарказм Барбары Крюгер «Я покупаю, следовательно, я работаю» уже устарел. О NFT Брайан Ино сказал: «Как мило — теперь художники тоже могут стать маленькими капиталистическими засранцами». В ответ на мою подсказку «Напишите два предложения об историческом сопротивлении новым движениям в искусстве в контексте искусства с помощью ИИ и NFT» ChatGPT написал следующее:
«Исторически новые художественные движения сталкивались с сопротивлением со стороны традиционных художественных кругов, и эта тенденция продолжается с появлением искусства, созданного при помощи ИИ и NFT. Несмотря на это сопротивление, ИИ и NFT могут бросить вызов существующим структурам власти в мире искусства и открыть новые возможности для художников и коллекционеров».
Искусство присвоения, появившееся в 80-х годах, теперь стало обычной практикой в работе с помощью ИИ. Нахожу ли я более увлекательным смотреть на Аршила Горки и Марка Ротко, чем смотреть на работы, которые «позаимствовали» или реконтекстуализировали их личный творческий язык? Эти два понятия не являются взаимоисключающими.
В определенные моменты отчаяния, когда кажется, что будущее мертво, единственное, что меня интересует, — это научиться программировать. Эд Рейнхардт сказал: «Искусство есть искусство, а все остальное — это все остальное». Возможно, код — это все, что имеет значение, а все остальное — это все остальное.
Алиса Степанян, кросс-медийный художник, независимый куратор
http://alyssestepanian.com @alyssestepanian (Instagram)
David Stout:
ИИ генерация изображения - еще один метод синтеза. Создание синтетических изображений уже имеет историю, похожую на путь, параллельный развитию синтеза звука. Я начинал как художник и имидж-мейкер, прежде чем перейти к электронной музыке и звуку. В конце концов, я соединил две дисциплины в одну, сначала с помощью синтеза видео, а затем с помощью генеративных цифровых технологий, включая озвучивание изображений. Генерация изображений ИИ — это новая форма синтеза. Поскольку это форма симуляции, она может отображать широкий спектр техник, рисование от руки, ксилографию, фотореализм, голливудскую кинематографию и многое другое.
В некотором смысле многих встревожил тот факт, что ИИ производит работы, которые кажутся созданными руками человека. Другие открыто заявляют, что все изображения, создаваемые искусственным интеллектом, являются кражей, поскольку нейронные сети не только обучались на исторических фигурах прошлого, но и включают многих современных художников, работающих сегодня. Очевидно, что современные художники должны получать компенсацию и/или иметь возможность отказаться от включения в базу данных. Я смотрю на все это гораздо шире, что в первую очередь вызывает вопросы о том, откуда взялось «Искусство». Это не просто ремесленное мастерство, поскольку большую роль в концептуальном процессе играет язык, равно как и заимствование вдохновения у других художников и музыкантов. В правдоподобии продуктов синтеза изображения ИИ гораздо больше смыслов, чем в фотографическом реализме и портретной живописи в стиле необарокко.
В своей работе заклинателя машин я исследую возможность открытия, глядя в зеркало коллективного сознания. Я делаю это во славу интуиции, будь то образы, снятые линзами, выплескивание пигмента, царапание, или рисования пальцами. Это то, что я осознал и впитал своим телом за всю жизнь, занимаясь искусством так же, как язык вспоминает песню из детства. Таким образом, ИИ не имеет памяти или внутреннего опыта, из которого можно было бы черпать информацию. Наш общий опыт образует зеркало, из которого эти образы уникально и сознательно переосмысливаются.
Я бы бросил вызов как поклонникам, так и хулителям синтеза изображений ИИ. Откажитесь от использования пока что живых художников в своих подсказках. Сотрудничайте с историческими личностями, творческими душами прошлого, чтобы представить новое будущее. Подталкивайте быстро развивающееся искусство симуляции в неожиданные области, исследуйте как традиционные художественные средства, так и необычные художественные материалы, потратьте время на обдумывание трансформационных концепций для построения подсказок, создавайте изображения, которые коммуницируют с другими людьми за пределами вашей ограниченной социальной сферы, открывайте себя для новых экосфер, новых отношений, мечтайте о новом мире. Развивайте свою эмпатию, будьте как можно более разнообразными — возраст, пол и раса — все это изменчивые динамичные способы существования — прославляйте «нас» — возвышайте «мы». Думайте об изображениях нежности и чувственности, которые далеко не то же самое, что порнография. Рассматривайте свои мечты как жизнеспособный путь к самопознанию. Не бойтесь — мы (художники) «творим в том же масштабе, в каком другие с удовольствием разрушали бы». Куда бы ни пошли художники, там возникнет искусство. Медиум или инструмент — не искусство, но сознание, которое наполняет медиум, — это то, в чем заключается алхимия, независимо от того, используете ли вы палку, слоновий помет или нейронную сеть. «создавать в том же масштабе, в котором другие разрушали бы» — это перефразированная цитата новаторской художницы-сателлита Шерри Рейнбоувитц.
https://www.instagram.com/iotronik
Jeff Kaiser:
Машинное обучение, как и многие другие новые технологии, кажется, застряло в бинарной системе двух V: повышение ценности и очернение (valorization and vilification). (Или, может быть, две Т: технофилия против технофобии?) Лично я использую его регулярно и люблю его в сведении и мастеринге. Я склонен запускать «помощника» в различных звуковых программах и плагинах, чтобы посмотреть его предложения. Я почти никогда не пользуюсь всеми предложениями программного обеспечения, но они часто служат хорошей отправной точкой для рассмотрения динамики, эквалайзера, реверберации и того подобного при взгляде со стороны, отрешенно. Программное обеспечение также может иногда удивить меня предложением, которое я, возможно, никогда не рассмотрел бы при иных обстоятельствах, и которое мне в конечном итоге понравилось, поэтому оно может быть инструментом для разрушения овеществленных практик и открытия новых возможностей.
Я боюсь, что машинное обучение станет инструментом увековечивания и однородности, но подобные сюрпризы вселяют в меня надежду. А участие людей может помочь в поддержании присутствия инноваций. Когда я думаю о машинном обучении, я сразу же вспоминаю одну из моих любимых игр: шахматы. Гроссмейстеры работают со своим программным обеспечением, чтобы создавать новинки в начальной фазе игры, улучшать свои способности в середине и конце игры и анализировать стиль своих противников. Затем они используют это знание в контексте игры людей. Я думаю, что это может быть хорошей моделью для музыкантов: программное обеспечение не делает всю работу, а работает с нами в крайне человеческой сфере создания музыки.
Christopher DeLaurenti:
Подозрительно легко добавить музыку, созданную ИИ, к длинному списку трудосберегающих, накапливающих прибыль и убивающих рабочие места технологий последних 100 лет: радиовещание; запись; Музак; производственная музыка на пластинках со скоростью вращения 16 об / мин; музыкальные автоматы; системы усиления и громкой связи; музыкальные пластинки с иглой; компакт-диски с сэмпл паками или цифровые загрузки; MIDI-«оркестры» на Бродвее; и онлайн, бесплатные музыкальные стемы. Горячий интерес к ИИ — последнее проявление стремления сократить самые большие текущие расходы и главный источник разногласий в бизнесе: человеческий труд. В отличие от элементов, составляющих приведенный выше, по общему признанию, неполный список, музыка, созданная искусственным интеллектом, вообще не будет создаваться людьми. Большая часть того, что он сделает, будет напоминать музыку, уже созданную людьми: плохую, но «достаточно хорошую» для определенных целей, а иногда и великолепную. Тем не менее, музыканты и другие вдумчивые люди могут переосмыслить и направить грядущее разрушение (или перестройку) музыкального бизнеса. Можете ли вы представить себе мир, в котором деньги и музыка больше не нужны друг другу? Музыканты должны принять два решения. Первый из них прост: ничего не делать или бороться за всеобщий базовый доход. Выбор последнего означает, что вы можете творить, а не голодать на душераздирающей работе. Второе решение затрагивает суть того, что значит быть художником: делаю ли я музыку только для известности, славы и господства, или я создаю звуки из любви к созданию музыки и распространению ее? Представьте, что ваша музыка нужна — не для бизнеса или эко-фона — а слушателям, которые хотят услышать, что другой человек может «сказать звуком». Музыка, созданная искусственным интеллектом, может стать началом восстановления настоящего человеческого сообщества, которое находит «лайки» и другие коммерческие, дистанционно управляемые компоненты дружбы отвратительными и вместо этого ценит личное существование, присутствие и реакцию других людей.
Christopher DeLaurenti, composer and performer
Josh Carney:
ИИ может генерировать музыку, но ему часто не удается генерировать человеческие элементы в музыке, которую мы любим, поэтому большая часть музыки ИИ звучит для меня немного «не так». «Жуткая долина», которая используется для описания персонажей GCI и визуальных эффектов омоложения лица, выступает как параллель. Большая часть музыки ИИ звучит для меня немного сверхъестественно, и я не могу точно понять, что это такое, но это звучит не по-человечески; и, следовательно, это никогда не звучит настолько приятно, как то, что сочинено реальным человеком. Как будто ИИ рассматривает все музыкальные комбинации на равных; тогда как человек-композитор будет цепляться за определенные комбинации, которые вызывают у него эмоции. Я не знаю, сможет ли когда-нибудь научиться этому ИИ; потому как достаточно сложно научить самих людей творчеству.
Я не думаю, что ИИ в ближайшее время заменит музыкантов, композиторов или продюсеров, но я думаю, что мы стоим на пороге революции ИИ во всех медиа. Многие считают ИИ чем-то, что «удешевляет» отрасль, но я думаю, что те, кто рассматривает ИИ в этом свете, представляют себе крайности того, что ИИ потенциально может сделать. В краткосрочной перспективе я рассматриваю его как инструмент, который потенциально может упростить нашу работу и сделать наши рабочие процессы более эффективными. Я уже использовал ChatGPT, чтобы подтянуть скрипты YouTube, и Topaz AI, чтобы улучшить внешний вид моих видео, но человеческий фактор всегда присутствует. Если бы вы сказали музыкальному продюсеру в 1973 году, что через 50 лет они смогут сочинять, аранжировать, записывать, микшировать, мастерить, распространять и продавать песню на маленьком суперкомпьютере, который вы можете носить с собой в портфеле, они вероятно, сказал бы, что вы сошли с ума.
Кто знает, как ИИ повлияет на производство музыки в будущем, но мне нравится представлять будущее, в котором я могу открыть плагин синтезатора ИИ, передать ему столько дескрипторов, сколько захочу, и вместо поиска в пресетах или поворотах ручек синтезатор генерирует палитру звуков, из которых я могу выбирать. Я считаю, что искусственный интеллект будущего может сократить время, необходимое для воплощения музыкальной идеи в вашей голове. На мой взгляд, реальная опасность ИИ заключается не в самом ИИ, а в том, как человечество адаптирует законы об авторском праве, владение цифровыми медиа и трудовые нормы, чтобы соответствовать миру, где помощь ИИ является нормой.
Joshua D. Carney владелец, Carney Media Group LLC
ChatGPT
Первоначальный ответ и два регенерированных ответа:
Ответ 1: Как языковая модель ИИ, у меня нет мнений, чувств или личного опыта. Я нейтрален и беспристрастен в своих ответах. Что касается использования ИИ в искусстве, то он широко рассматривается как инструмент, который может увеличить творческий потенциал человека. ИИ может генерировать новые идеи, узоры и образы, которые могут вдохновлять художников и музыкантов или даже помогать в создании новых форм искусства. Однако важно отметить, что ИИ не заменяет человеческого творчества и эмоций. Созданному ИИ искусству не хватает эмоционального и личного контакта, который могут обеспечить только люди.
Ответ 2: Как языковая модель ИИ, созданная OpenAI, у меня нет личного мнения или эмоций. Моя цель — помочь пользователям генерировать человекоподобный текст на основе предоставленных мне данных. Однако в последние годы использование ИИ в искусстве стало предметом дискуссий и споров. Некоторые рассматривают ИИ как инструмент, который может улучшить и расширить человеческое творчество, в то время как другие видят в нем угрозу традиционным формам художественного самовыражения. В конечном счете влияние ИИ на искусство будет зависеть от того, как он используется и интегрируется в творческий процесс.
Ответ 3: Как языковая модель ИИ, у меня нет личного мнения или эмоций. Тем не менее, я могу предоставить информацию и идеи об использовании ИИ в искусстве. Использование ИИ в искусстве вызывает интерес и вызывает споры среди художников, технологов и критиков. Некоторые рассматривают ИИ как инструмент для расширения творческих возможностей, позволяющий художникам создавать новые формы самовыражения, которые были бы невозможны без технологий. Другие опасаются, что ИИ может подорвать творческий процесс, что приведет к гомогенизированным и шаблонным формам самовыражения. В моем случае в качестве языковой модели ИИ я использовался в нескольких проектах, связанных с искусством, таких как поэзия, художественная литература, музыка и другие формы творческого письма. ИИ можно использовать для создания нового контента, анализа существующих работ или помощи художникам в творческом процессе. Однако важно отметить, что ИИ творит не так, как люди-художники, и результаты могут не иметь такой же глубины значения или эмоционального воздействия. В конечном счете, роль ИИ в искусстве будет продолжать развиваться по мере развития технологий и по мере того, как художники будут экспериментировать с новыми формами самовыражения.
Philip Mantione
Филип Мантионе — композитор, специалист по синтезу, гитарист, педагог и саунд-художник, работающий на экспериментальной музыкальной сцене Лос-Анджелеса. Его музыка была представлена на фестивалях, в музеях и галереях по всему миру. Его текущий проект — TriAngular Bent, электроакустическое трио, в состав которого входят Дон Престон (один из основателей группы Mothers of Invention Фрэнка Заппы) и виртуоз схемотехники Джефф Бойнтон. Подробности на philipmantione.com
Перевод и локализация: Studio Day