Nvidia пообещала ускорить работу Stable Diffusion и других генеративных моделей в два раза уже сегодня
Все благодаря новому драйверу и примененным в нем оптимизациям. Прочитать подробней можно в блоге компании. Все что понадобится сделать это скачать новый драйвер версии 532.03.
24 мая мы выпустим наши последние оптимизации в драйверах версии 532.03, которые в сочетании с моделями, оптимизированными для Olive, значительно повысят производительность искусственного интеллекта. Используя оптимизированную для Olive версию стабильного генератора преобразования текста в изображение Diffusion с популярным дистрибутивом Automatic1111, производительность нового драйвера повышается более чем в 2 раза.
Канал Нейроновости — источник новостей о нейронках, подпишись чтобы не пропускать
Мой канал с гайдами по SD. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.
Картина маслом. Представитель nvidia ускоряет работу Stable Diffusion
Эммм. . . может кто-то обьяснить что к чему для хлебушков?
Майки сделали штуку которая оптимизирует модели, нвидиа тоже на месте не сидели и сделали штуку которая предоставляет доступ к тензорным ядрам более эффективно. Одна штука плюс другая штука ускоряют работу с моделями.
Спасибо тебе, добрый человек.
короче только для 20х+ серии
Логично, только в них есть тензорные ядра
без глубокого изучения вопроса не так логично.
Найс. Надеюсь там действительно будет х2 скорость.
Жаль еще не вышел, ждёмс
Бля, это драйвера уже по 850МБ? Я всё еще для игр такой размер считаю приемлемым.
1 там идет софтина в драйвере
2 твои взгляды остались в 2007
Всегда можно скачать чистый драйвер на Гуру3д который будет весить в 2-3 раза меньше без всякого шлака внутри от нвидии.
Вышло.
Качаю.
Держу в курсе.
Ща буду сравнивать скорость!
а с этим что делать?
Microsoft выпустила инструментарий Microsoft Olive для оптимизации и преобразования моделей PyTorch в ONNX с аппаратным ускорением на графическом процессоре и тензорных ядрах видеокарт RTX. Заявленный прирост производительности достигнут не только за счёт использования нового драйвера, но и оптимизированной с помощью Olive модели для генератора Stable Diffusion.
Ну как маленькие.
я в 2 раза прироста не заметил.
а ты?
Более чем в 2 раза у Olive моделей.
Даже с лорами это работает
два шага вперёд, один назад) если я всё верно понимаю
Рано ещё на вторую версию переходить.
уже месяц на нём сижу, всё быстро стабильно
Автоматик по дефолту на торч2 уже почти месяц..
У меня кастомная сборка. Я на первую версию спецом откатывал.
Мощная новость. Сейчас у меня в среднем генерит 6,5 секунд. Если станет 3 секунды, то охренеть как круто будет. Жду обнову.
Ждёмс. Пожалуй, потещу и отпишусь)
Т.е. еще что-то качать устанавливать надо?
Microsoft выпустила инструментарий Microsoft Olive для оптимизации и преобразования моделей PyTorch в ONNX с аппаратным ускорением на графическом процессоре и тензорных ядрах видеокарт RTX. Заявленный прирост производительности достигнут не только за счёт использования нового драйвера, но и оптимизированной с помощью Olive модели для генератора Stable Diffusion.
Microsoft olive directml что это
Компания Microsoft решила продвигаться довольно ударными темпами в продвижении DirectX 12, в последнем крупном обновлении Windows, Microsoft расширила функциональность своего API с добавлением DirectX Raytracing (DXR). Раньше такие крупные изменения получили бы собственный номер «DirectX 13» например. Но с последней версией Windows 10, похоже, компания решила вводить все улучшения и дополнять функционал «на лету». К сожалению, на практике такой подход достаточно пагубно сказывается на ОС в целом.
реклама
Microsoft достаточно сильно вложилась в искусственный интеллект и методы машинного обучения (ML). ML используется в таких продуктах как: Office 365, Windows 10 (используется в Windows Hello и приложением «Фотографии»); Bing и Cortana используют ИИ для поиска и ответов на вопросы.
В 2019 году MS собирается пойти еще дальше, и в одном из крупных обновлений хочет расширить DirectX – внедрив в него поддержку машинного обучения DirectML.
DirectML будет использовать видеокарты для ускорения своих расчетов. Hardware поддержка декларируется для всех совместимых с DX12 GPU и любых пользователей в Windows 10.
Но какие конкретно улучшения принесет DirectML?
Во-первых, машинное обучение поможет улучшить игровой опыт. Каждый игрок любит действовать по-своему – некоторые любят играть в компании с друзьями или конкурировать друг с другом, а другие просто хотят расслабиться и насладиться повествованием игры. Независимо от предпочтений игроков, ML поможет получить игрокам именно то, что они хотят. ИИ можно обучить под стиль поведения игрока. Он может изменять все: от уровня сложности до внешнего вида «аватара» в соответствии с предпочтениями, а так же есть возможность подстройки внешнего мира под конкретного игрока. Если вы — тот, кто любит находить сокровища в игре, но не хочет участвовать в боях, ИИ мог бы расставить приоритеты и усилить нужные действия, уменьшая количество или сложность сражений.
NPC требуют много работы, и в конечном итоге не стоят тех сил, что на них тратят. ИИ поможет решить эту проблему, сделав их более умными и адаптированными – т.к. они понимают ваши игровые привычки в реальном времени.
Во-вторых, искусственный интеллект поможет в создании игр. Для создания игр требуется много разных компонентов: графика, АРТ, анимация, история игры, контроль качества и т.д. — которые можно улучшить или оптимизировать с помощью нейронных сетей. Художники должны сосредоточиться на создании своих лучших творений, представьте, если некоторые из наиболее трудных частей дизайна ландшафта в открытом мире будут генерироваться нейронной сетью с тем же качеством, как и у человека. Затем художник сможет сосредоточиться на том, чтобы сделать этот мир более красивым и интерактивным местом. В конечном итоге создавая более высококачественный и гораздо более объемный контент для геймеров, попутно сокращая время до выпуска игр в продажу.
В-третьих, пожалуй, самая любимая часть у геймеров – это улучшение «картинки»… то, на что игроки смотрят на протяжении всей игры.
Как ИИ могут помочь улучшить визуальное качество и производительность игр?
Внимательно рассмотрите, что происходит, когда NVIDIA использует ML, чтобы увеличить эту фотографию автомобиля в 4 раза. Сначала изображения будут выглядеть примерно одинаково, но когда вы приблизите ближе, вы заметите, что у машины справа есть зазубренные края или сглаживание, а та, которая использует ML слева, более четкая. Модели могут научиться определять наилучший цвет для каждого пикселя, чтобы получать выгоду от небольших изображений, прошедших через «upscale», или изображений, которые кратно приблизились (zoomed in). Вероятно, у вас был опыт в играх, где объекты выглядят великолепно издалека, но когда вы приближаетесь к стене или прячетесь за ящик, вещи начинают выглядеть немного нечеткими или размытыми — с ML можно покончить с этим.
Включая во внимание все вышеперечисленное — консоли нового поколения, вероятно, получат все вышеперечисленные плюшки. Попутно занеся их и на ПК, MS плотно сотрудничает с производителями «железа» Intel, AMD и Nvidia.
В предварительной версии WinML данные форматируются с точностью FP32. Некоторые сети не требуют высокого уровня точности, который предлагает FP32, поэтому, выполняя математику в FP16, мы можем обрабатывать примерно вдвое больше данных за одно и то же время. Поскольку модели получают преимущества от этого формата данных, официальный выпуск WinML будет поддерживать точность FP16, что значительно повышает производительность.
Мы видим увеличение скорости в 8 раз при использовании метакоманд FP16 в модели DNN с высокими требованиями к графическому процессору. Эта модель перешла от статической к работе в реальном времени благодаря нашему сотрудничеству с NVIDIA и мощью метакоманд D3D12, используемых в DirectML.
AMD Software 23.5.2 delivers a 2x DirectML Performance boost with new optimisations
AMD has released their 23.5.2 graphics drivers for Windows 10 and Windows 11, adding game-specific optimisations for Diablo IV alongside new performance optimisations for Microsoft’s DirectML API that can deliver incredible performance increases.
With the Microsoft Olive DirectML pipeline, Stable Diffusion 1.5 now runs two times faster on average on a Radeon RX 7900 XTX with AMD’s new 23.5.2 driver, which is great news for anyone who is into AI image generation.
Below are the full release notes for AMD’s new 23.5.2 driver for Radeon GPUs on Windows.
Highlights
Support for:
— Performance optimizations for Microsoft Olive DirectML pipeline for Stable Diffusion 1.5 on AMD Radeon RX 7900 series graphics
— Boost your performance by an average of 2x in Microsoft Olive Optimized DirectML Stable Diffusion 1.5 using AMD Software: Adrenalin Edition™ 23.5.2 on the AMD Radeon™? RX 7900 XTX graphics card, versus the previous software driver version 23.5.1. RS-579
Known Issues
— High idle power has situationally been observed when using select high-resolution and high refresh rate displays on Radeon™ RX 7000 series GPUs.
— Certain virtual reality games or applications may encounter suboptimal performance or occasional stuttering on Radeon™ RX 7000 series GPUs.
— Application crash may be intermittently observed while playing RuneScape™ on some AMD Graphics Products, such as the Radeon™ RX 5700 XT.
— Application crash or driver timeout may be observed during playback of AV1 video content using DaVinci Resolve™ Studio.
— Intermittent corruption may be observed after switching windows while play Nioh 2™ on some AMD Graphics Products, such as the Radeon™ RX 6800 XT.
Important Notes
— Factory Reset has been temporarily disabled as a precautionary measure while we address isolated installation issues that have been reported during PC upgrades. Users may use AMD Cleanup Utility as a temporary option.
Desktop GPUs
Radeon Product Family Compatibility
Radeon RX 7000 Series Radeon RX 7000M Series Radeon RX 6000 Series Radeon RX 6000M Series Radeon RX Navi 5700/5600 Series Radeon VII Radeon RX 5500 Series RX 5300M (Notebook GPU) Radeon RX Vega Series AMD Radeon Pro Duo Radeon RX 500 Series Graphics AMD Radeon RX 400 Series Graphics
Download Links
— Windows 10 (64-bit)
— Windows 11 (64-bit)
You can join the discussion on AMD Software 23.5.2 driver on the OC3D Forums.
Optimize DirectML performance with Olive
Are you ready to revolutionize the way you optimize your AI models? Say hello to Olive (ONNX Live), the advanced model optimization tool that integrates seamlessly with DirectML for hardware acceleration across the breadth of the Windows ecosystem.
With Olive, you can easily incorporate cutting-edge techniques like model compression, optimization, and compilation, all in one powerful tool. And the best part? You don’t need to be an expert in optimizing models for underlying GPUs or NPUs – Olive does all the heavy lifting for you to get the best possible performance with DirectML!
In our Stable Diffusion tests, we saw over 6x speed increase to generate an image after optimizing with Olive for DirectML!
Olive and DirectML in Practice
The Olive workflow consists of configuring passes to optimize a model for one or more metrics. Olive then executes each pass to find the best candidate model. Our recommended passes for GPU optimization with DirectML are as follows:
Generic non-transformer models
Transformer models:
- “use_gpu”: true
- “float16”: true
- “optimization_options”: see example
For configuring multi-model pipelines (e.g. Stable Diffusion), see our sample on the Olive repository . To learn more about configuring Olive passes, visit: Configuring Pass — Olive documentation (microsoft.github.io)
With Olive, you’ll be able to take your AI models to the next level. Say goodbye to complicated optimization processes and hello to a streamlined, efficient workflow. To get started, check out our Olive & DirectML samples and stay tuned for additional DirectML samples like quantization.