Нейросеть которая копирует голос
Перейти к содержимому

Нейросеть которая копирует голос

  • автор:

Deepfake голоса и создание новых композиций с помощью нейросети

Благодаря развитию нейронных сетей эффект «Зловещей Долины» с каждым днём всё ближе и ближе к человечеству, ибо то, что когда-то считалось невозможным, в наши дни становится вполне осуществимым. В этой небольшой инструкции вы узнаете, как выполнить Deepfake голоса и на его основе создать совершенно новую композицию, даже если его обладатель давно покинул нас.

RVC-GUI — это удобная оболочка с открытым исходным кодом созданная для упрощения управления параметрами нейронной сети RVC применяемой для синтеза любого голоса/музыкальной композиции. По сравнению с аналогами, не требует установки и настройки сложных библиотек или использования Linux. Для работы программы достаточно Windows 10/11 и относительно современного ПК.

Инструкция

1. Скачиваем с GitHub бесплатное приложение RVC-GUI и распаковываем его в любую удобную папку. Убедитесь, что в название папки или пути до конечного файла запуска нет кириллицы.

2. Запускаем файл RVC-GUI.bat.

Если всё прошло успешно, то перед вашим взором появится интерфейс ПО.

3. Чтобы программа могла воссоздать полноценную музыкальную композицию с интересующем нас голосом, необходимо заранее подготовить голосовую модель и отделить вокал солиста от инструментала в интересующей нас композиции. В общем, чтобы голос стал отдельно от музыки.

Скачиваем заранее обученные модели:

  • Модель голоса Михаила Горшенёва (Король и Шут) (Спасибо Baron Unger)
  • Модель голоса Юлии Олеговны (t.A.T.u.)

Дополнительные модели формата RVC/RVC2 вы всегда можете найти здесь.

4. Выбираем желаемую композицию, которую мы хотим, чтобы наша модель перепела. Отделяем вокал солиста от инструментала. Благо, сделать это весьма просто.

Переходим на веб-сайт редактора:

  • Отделить вокал от музыки
  • Отделить вокал от музыки (Зеркало 1)
  • Отделить вокал от музыки (Зеркало 2)

Загружаем трек формата .mp3 и дожидаемся пока редактор обработает композицию. Скачиваем результат.

5. После того как мы выбрали желаемую модель и отделили вокал от инструментала, можно вновь возвращаться к интерфейсу программы.

  • (1) Выбираем через кнопку Browse наш подготовленный музыкальный трек с голосом солиста.
  • (2) Загружаем и выбираем модель через кнопку Select a model. Чтобы загрузить голосовую модель, можно воспользоваться кнопкой Import model from. zip в интерфейсе ПО или распакуйте файлы архива модели напрямую в папку models с установленной программой.
  • (3) Выбираем алгоритм конечного качества трека. Советую всегда использовать пресет harvest.
  • (4) Выбираем, на чём будет обсчитываться конечный трек. Если у вас мощный ПК с видеокартой Nvidia, то выбирайте GPU, но не забудьте тогда установить вспомогательный пакет CUDA. Обладатели видеокарт AMD/Intel выбирают CPU.
  • (5) Нажимаем Convert.

Вот, собственно, и всё! Если всё было сделано правильно, то, через пару десятков минут, вы получите готовый музыкальный трек с любимым исполнителем в папке рядом с оригиналом.

6. Сводим готовы аудиодарожки вокала и инструментала в любом аудио/видео редакторе. Лично я использую для этого бесплатный видеоредактор Shotсut.

  • Правый клик по нижней части программы>> действия с дорожкой>> добавить аудиотрек.
  • Левый угол программы «Открыть файл». Переносим треки на добавленные дорожки.
  • Правый угол программы «Экспорт». Выбираем в левом углу программы желаемый формат и качество.

7. Наслаждаемся результатом.

Заключение

Скажу откровенно, меня пугает уровень развития современных технологий. Но кроме страха я ощущаю ещё и надежду. Надежду на то, что человечество может и не искоренит свои пороки, но благодаря развитию технологий подарит утешение миллионам людей по всему миру. Уважайте свободу, используйте свободное ПО и ни в коем случае не предавайте себя!

Voice & Face Cloning: Clony AI

Представляем Clony AI, инновационное приложение для клонирования голоса и лица, которое позволяет вам использовать мощь передовой технологии искусственного интеллекта для создания видеороликов ваших друзей, семьи или даже кумиров!

Это революционное приложение предлагает невероятные функции, которые делают воссоздание голосов и лиц проще и веселее, чем когда-либо прежде. Все, что вам нужно сделать, это предоставить образец желаемого голоса, а продвинутый алгоритм, разработанный Elevenlabs, сделает все остальное! С Clony AI вы можете использовать технологию преобразования текста в речь для создания пользовательских моделей голоса, которые точно имитируют тон, высоту и интонацию вашего ввода, что позволяет пользователям легко персонализировать свои собственные уникальные голоса.

Оживите свои заветные воспоминания и переживайте эти особенные моменты снова и снова, используя клони ИИ. Создавайте веселые голосовые образы любимых людей или просто получайте удовольствие, воссоздавая известные голоса. Если у вас есть художественные устремления или вы просто хотите немного развлечься, Clony AI — это невероятный инструмент, который прост в использовании и идеально подходит для всех возрастов.

Благодаря простым в использовании интерфейсам, потрясающим функциям и современным возможностям генерации голоса, Clony AI — это приложение, которое дает вам безграничные возможности для персонализации вашего голосового опыта. Загрузите сейчас и начните создавать свои собственные голосовые модели с помощью Clony AI уже сегодня!

Вы это видели?! – Горшок, Летов и Цой спели вместе

Нейросети научились неплохо копировать голоса музыкантов, но есть в этом что-то… жутковатое.

Блогер с ником AI Guitarist (или «Ай, гитарист!», как он себя называет) выложил на своем YouTube-канале ролик, на котором под видеоряд черно-белых фотографий три ушедших рок-музыканта – Михаил Горшенев, Егор Летов и Виктор Цой – поют песню группы «Ногу свело!» «Юные смешные голоса». Из «уст» умерших певцов звучит это невероятно печально.

Кавер нейросети на «Юные смешные голоса»

Песня, исполненная голосами трех ушедших музыкантов, вышла 19 июля — в 10-летнюю годовщину смерти лидера группы «Король и шут» Михаила Горшенева.

Голос Горшка похожим на оригинал кажется только в самом начале, а вот от “Летова” и “Цоя” прямо мурашки по коже. Судя по всему, автор загрузил в качестве обучающей выборки больше песен этих музыкантов, нежели Горшка.

В любом случае, песню автор подобрал как нельзя кстати — голоса покинувших нас музыкантов могут заставить даже уронить слезу. Кстати, у AI Guitarist в Telegram-канале есть довольно много подобных «нейрокаверов» — можете заценить как в mp3, так и в формате видео.

Ну а если вы сами захотели сделать такой кавер при помощи нейросети (неплохая идея для корпоратива или поздравления коллеги), мы подготовили для вас инструкцию о том, как сделать это просто и быстро.

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Как сделать свой нейрокавер

Если у вас компьютер на Windows, то заменить голос одного музыканта на голос другого в нейросети можно проще простого — разработчики алгоритмов позаботились о том, чтобы интерфейс программы был максимально простым и понятным. Если же у вас MacBook, то генерация получится только на устройстве с чипом Apple — на более старых ноутбуках программа, увы, не заработает.

Ниже мы приведем инструкцию только для Windows.

  1. Переходим по этой ссылке для скачивания zip-архива с нужной нам нейросетью. Кроме алгоритма она содержит также удобный интерфейс — пользоваться командной строкой не придется.
  2. После скачивания распаковываем архив, переходим в папку, в которую мы его распаковали, и запускаем файл RVC-GUI.bat. Ждем несколько минут и видим такое окно:
  1. Нажимаем Browse для загрузки трека, в котором нужно заменить голос. В поле Select a model выбираем модель голоса — по умолчанию есть всего три модели, но можно загрузить сколько угодно других моделей (об этом ниже).
  2. Выбираем метод — лучше всего подойдут harvest и crepe. Затем нажимаем Convert и ждем несколько минут, пока будет генерироваться файл. После успешного завершения нажимайте на путь файла, подсвеченный зеленым цветом, и преображенное аудио сразу откроется.

Как загрузить модель голоса: вы можете скачать уже готовую модель голоса в сообществе на Hugging Face. Тут есть голоса многих исполнителей, правда, по большей части западных. Кликаем на нужную папку, а затем нажимаем Download. После этого .zip-архив распаковываем в директорию models внутри папки RVC-GUI-pkg с нашей программой. Перезагружаем программу, и модель голоса должна появиться в списке при нажатии на Select a model. Вуа ля!

Компания Бекмамбетова синтезировала голоса Путина, Собчак и Познера. Клоны голосов озвучат рекламу и кино

Компании Screenlife Technologies Тимура Бекмамбетова и «Стафори» запустили Vera Voice — проект по синтезу голосов знаменитостей. Синтезированные голоса будут озвучивать рекламу, фильмы и аудиокниги, сообщает РБК.

Проект работает на основе нейросети, которая анализирует голос человека, воспроизводит его цифровую копию с учётом специфического произношения слов, скорости речи, интонаций и тембра. Для синтеза достаточно нескольких часов аудиоданных, озвученных обладателем голоса, и оцифрованного текста, который он зачитывает.

Screenlife Technologies и «Стафори» создадут совместную компанию для развития Vera Voice. Проект хотят применять для голосовых поздравлений, розыгрышей, «умных» устройств, а также для озвучки рекламы, фильмов, аудиокниг.

В 2019 году подобные технологии синтеза голоса анонсировал Facebook и стартап AI Dessa. Однако Vera Voice называют первым подобным продуктом на русском языке.

Компания «Стафори» ранее создала проект «Робот Вера» — сервис для подбора сотрудников на базе искусственного интеллекта с технологией распознавания речи.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *