История гиперинформации

Forwarded from Атласы многообразий

Как музыкант, поигрался с генеративными музыкальными нейросетями. Конкретно - с Udio.

Впечатления смешанные. Во-первых, никакого влияния на процесс кроме смутного описания, которое нейросеть читает через пень-колоду.

(здесь надо отметить, что по умолчанию промпт прогоняется через промежуточную нейросеть, которая его как-то "улучшает", это отключается галочкой "ручной режим", тогда ваши слова напрямую гонятся в генеративную сетку)

Единственный способ что-то переделать - попробовать заново и надеяться, что на кубиках выпадет правильное число и получится что-то правильное.

Нейросеть постоянно то забывает петь, то ждет лишние такты перед куплетом, то начинает галлюцинировать и петь бессмыслицу вместе с/ вместо моих введенных слов.

Во-вторых, саунд иногда оставляет желать лучшего, и "довести" его особо никак нельзя, разве что прогнать финальную мп3шку через плагины в DAW. Самые частые искажения - отсутствующие низы и отсутствующие верха. Иногда эта проблема есть, иногда ее нет. Временами результат звучит так, будто у него хороший микс и мастер.

С другой стороны, понравилась "блочная" сборка. Нейросеть генерирует фрагменты по 32 секунды, потом от них можно развивать фрагмент (либо целиком, либо можно отрезать от него начало/конец), генерируя разные продолжения. Нашлось подходящее - начинаешь строиться еще дальше от него. Ходишь по дереву вариантов, можно одновременно по нескольким веткам прийти к разным результатам. У этих результатов общее начало, но в какой-то момент они "расщепляются", и дальше идет уже разная музыка.

На каждый этап можно выбирать новый промпт (можно КРИЧАТЬ на нейросеть капсом - например, чтобы уж точно не забыла вокал), добавить следующие несколько строк текста и т.д. И смотреть, что получается.

В итоге сгенерировалась песенка в стиле диско специально для Дорогого Брата по Гиперложе Антона Русинова (канал "История гиперинформации").

Слова: товарищ @springshattered и Великий Хомяк @grandhamstergms.
Музыка: ваш покорный слуга и нейросеть Udio.

Простите, полностью избавиться от артефактов/галлюцинаций не вышло.

www.tg-me.com/us/История гиперинформации/com.hyperhistory/246

1.2K viewsMay 6 at 18:55

Как музыкант, поигрался с генеративными музыкальными нейросетями. Конкретно - с Udio.

Впечатления смешанные. Во-первых, никакого влияния на процесс кроме смутного описания, которое нейросеть читает через пень-колоду.

(здесь надо отметить, что по умолчанию промпт прогоняется через промежуточную нейросеть, которая его как-то "улучшает", это отключается галочкой "ручной режим", тогда ваши слова напрямую гонятся в генеративную сетку)

Единственный способ что-то переделать - попробовать заново и надеяться, что на кубиках выпадет правильное число и получится что-то правильное.

Нейросеть постоянно то забывает петь, то ждет лишние такты перед куплетом, то начинает галлюцинировать и петь бессмыслицу вместе с/ вместо моих введенных слов.

Во-вторых, саунд иногда оставляет желать лучшего, и "довести" его особо никак нельзя, разве что прогнать финальную мп3шку через плагины в DAW. Самые частые искажения - отсутствующие низы и отсутствующие верха. Иногда эта проблема есть, иногда ее нет. Временами результат звучит так, будто у него хороший микс и мастер.

С другой стороны, понравилась "блочная" сборка. Нейросеть генерирует фрагменты по 32 секунды, потом от них можно развивать фрагмент (либо целиком, либо можно отрезать от него начало/конец), генерируя разные продолжения. Нашлось подходящее - начинаешь строиться еще дальше от него. Ходишь по дереву вариантов, можно одновременно по нескольким веткам прийти к разным результатам. У этих результатов общее начало, но в какой-то момент они "расщепляются", и дальше идет уже разная музыка.

На каждый этап можно выбирать новый промпт (можно КРИЧАТЬ на нейросеть капсом - например, чтобы уж точно не забыла вокал), добавить следующие несколько строк текста и т.д. И смотреть, что получается.

В итоге сгенерировалась песенка в стиле диско специально для Дорогого Брата по Гиперложе Антона Русинова (канал "История гиперинформации").

Слова: товарищ @springshattered и Великий Хомяк @grandhamstergms.
Музыка: ваш покорный слуга и нейросеть Udio.

Простите, полностью избавиться от артефактов/галлюцинаций не вышло.

BY История гиперинформации