Lifestyle

Cream Soda представили первый в истории видеоклип, созданный нейросетью

Премьера на Vogue.ru

Сегодня, 23 апреля, Cream Soda представили свою новую работу — клип на трек «‎Меланхолия». В этот раз за помощью в создании клипа музыканты — Аня Романовская, Дима Нова, Илья Гадаев — обратились не к своему другу Александру Гудкову, а к искусственному интеллекту (ребята трогательно называют нейросеть «цифровым художником»). Это эксперимент не только для российской индустрии, но и для международной. От этого премьера еще более волнительная и важная. 

Мы встретились с музыкантами за день до премьеры и расспросили о процессе создания нового (предсказываем!) хита. 

Объясните гуманитариям: что значит «‎клип создала нейросеть»‎?

Дима: Наш друг показал нам возможности нейросети и объяснил, как работает сам алгоритм. Загружаешь текст в нейросеть, и она распознает его и переводит в какой-то визуал, в картинки. Нейросеть научена на картинах всех мировых художников. Например, если в тексте есть слово «Санкт-Петербург», она берет первую попавшуюся картинку с Питером, смешивает с другими словами из этой строчки и рисует в своем уникальном стиле. 

Илья: Также нейросеть может реагировать на ритм трека. Несколько таких кадров вставлено в клип.

Дима: Самое интересное, что создатели этой нейросети сами до конца не понимают, как это все работает. От этого процесс и результат еще интереснее.

А в процессе создания вы могли выбирать, какое изображение какому слову будет соответствовать?

Аня: Нет, и это самое интересное! Это была настоящая русская рулетка. Мы не понимали, каким клип визуально получится в итоге. Самому выбрать картинку под слово нельзя, все делает нейросеть, настоящий сюрприз. 

Как вам результат? 

Илья: Понравился! Самое крутое, что при каждом просмотре ты видишь новые образы. Вначале цепляешься за понятные и знакомые образы для себя, а потом замечаешь вдруг что-то другое.

Аня: Точно. Это как с кино: смотришь по несколько раз и новые детали замечаешь. И слышишь новые слова.

Дима: Кстати, это зависит и от твоего настроения. Я пересмотрел клип раз десять, и впечатления всегда разные. Иногда, когда настроение не очень, мне он кажется мрачноватым. Когда настроение хорошее, совсем другие впечатления.

Нейросеть уже делает клипы… Я читала, что она уже пишет и тексты (хоть и плохие), наверняка может сочинить и музыку. Что тогда будет ждать музыкальную индустрию? 

Аня: За технологиями — будущее. Я уверена, что половина нашего мира будет существовать в «цифре». То, что мы сделали сейчас, это базовый вариант нейроклипа, дальше будет только больше. Что? Мы пока можем только догадываться. Но самое главное, что без человека ничего не сделать. Нейросеть сама собой не разовьется, если человек не будет прорабатывать и открывать ее.

Илья: Как бы ты ни настроил интеллект, тебе все равно нужно будет к нему возвращаться, чтобы корректировать, чтобы сделать результат понятным человеку. Фокус-группа в любом случае — мы. 

Дима: А представьте… Когда нейросеть будет писать и текст, и музыку для виртуальных артистов и их виртуальных фанатов — тогда что? Адьес, людишки! (Смеется.)