Самый подробный гайд, как делать мультфильмы с помощью Midjourney
С помощью генеративной нейросети Midjourney можно не только создавать картинки, но и делать вполне годные мультики.
Как сгенерировать персонажей, анимировать их, сделать задний фон, добавить 3D-эффект и всё остальное об ИИ-мультипликации: энтузиаст выложил огромный туториал абсолютно бесплатно! Внутри документа вы найдете 167 страниц про настройки, раскадровки, анимации, постпродакшен в After Effects, Photoshop и так далее.
ИИ компании Disney создаёт мультфильмы по текстовому описанию
Нейросети, которые создают оригинальные видео по текстовому описанию, уже существуют. И хотя пока они не в состоянии заменить кинематографистов или мультипликаторов полностью, подвижки в этом направлении уже есть. Disney Research и Rutgers разработали нейросеть, которая может создать грубую раскадровку и видео по текстовому сценарию.
Как отмечается, система работает с естественным языком, что позволит применять её в ряде областей вроде создания учебных видеороликов. Также эти системы помогут сценаристам визуализировать их идеи. При этом заявлено, что цель — не заменить писателей и художников, а сделать их работу более эффективной и менее утомительной.
Разработчики заявляют, что перевод текста в анимацию является непростой задачей, поскольку данные на входе и выходе не имеют фиксированной структуры. Потому большинство подобных систем не могут обрабатывать сложные предложения. Чтобы обойти ограничения предыдущих подобных программ, разработчики построили модульную нейронную сеть, состоящую из нескольких компонентов. В их число входит модуль обработки естественного языка, модуль разбора сценариев, а также модуль, генерирующий анимацию.
Для начала система анализирует текст и переводит сложные предложения в простые. После этого создаётся 3D-анимация. Для работы используется библиотека из 52 анимированных блоков, список которых был расширен до 92 за счёт добавления похожих элементов. Для создания анимации используется игровой движок Unreal Engine, который опирается на предварительно загруженные объекты и модели. Из них система выбирает подходящие элементы и формирует видеоролик.
Для обучения системы исследователи составили набор описаний из 996 элементов, взятых из более чем 1000 сценариев с IMDB, SimplyScripts и ScriptORama5. После этого были проведены качественные тесты, в которых 22 участникам довелось оценить 20 анимаций. При этом 68 % сказали, что система создала вполне достойную анимацию на основе входных текстов.
Тем не менее, команда признала, что система не идеальна. Её список действий и объектов не является исчерпывающим, и иногда лексическое упрощение не сопоставляет глаголы с аналогичными анимациями. Исследователи намерены устранить эти недостатки в дальнейшей работе.
Нейросеть научилась создавать мультфильмы по текстовому описанию
Сотрудники университетов Иллинойса, Вашингтона и института искусственного интеллекта Пола Аллена представили нейросеть CRAFT для создания мультфильмов по текстовому описанию. Текущая версия алгоритма допускает ошибки, но, по мнению экспертов, в будущем технология сможет облегчить работу мультипликаторов.
Нейросеть как будущее мультипликации
Для обучения ИИ авторы использовали 25 184 фрагментов из мультфильма «Флинстоуны». Эти материалы оказались наиболее простыми для освоения компьютером — в кадрах двигаются только персонажи, а фон остается статичным. Авторы вручную дали названия всем подвижным объектам и написали, какие действия они выполняют.
Изучив текстовое описание ожидаемого результата, CRAFT отбирает из обучающей базы подходящий фон, персонажей и действия. Из элементов собирается новая сцена, однако в текущей версии часто возникают ошибки: объектам присваиваются неверные анимации, а при наложении возникают артефакты. Подробности о работе нейросети изложены в техническом документе (PDF).
Это не первая технология в своем роде. В феврале 2018 года американские ученые создали похожий алгоритм, но, в отличие от CRAFT, он работает с обычными видео, а не мультфильмами.
Нейросеть научили рисовать мультики по текстовому сценарию
Разработчики из Института искусственного интеллекта Аллена и Иллинойского университета создали систему CRAFT (Composition, Retrieval and Fusion Network), задача которой — генерировать анимированную картинку по текстовому описанию. За основу взяли мультсериал «Флинстоуны». Тексты, доступные пониманию нейросети, шаблонные: в них должна быть описана обстановка (например, кухня или гостиная) и перечислены персонажи и их действия (сидит, стоит, идет, читает книгу, говорит).
Нейросети, входящие в систему CRAFT, обучали на 25 тысячах вручную обработанных роликов из мультсериала «Флинстоуны». Обработка заключалась в разметке кадров (в каждом ролике их было 75); ученые выделяли на них персонажей, фон и их действия. Система подбирает подходящие под текстовое описание фрагменты из этой библиотеки и компилирует из них новые ролики. Иногда CRAFT ошибается — путает действия или разворачивает героев не в ту сторону лицом.