Stable Diffusion — программное обеспечение, создающее изображения по текстовым описаниям, с открытым исходным кодом. И так как это программное обеспечение требует довольно мощные компьютерные комплектующие, работает оно не самым быстрым способом.
И сегодня мы рассмотрим плагин, который ускоряет генерацию изоборажений почти в 2 раза. Имя этому плагину TensorRT.
Установка Stable Diffusion
Итак, для начала если у вас еще не установлен Stable Diffusion, нужно скачать последнюю версию с официального репозитория от Automatic1111. Если Stable Diffusion последней версии уже установлен и присутствует папка venv то необходимо удалить ее. Найти ее можно по этому пути:
После того как вы удали данную папку, необходимо заново запустить файл webui-user.bat который сам установит все необходимые для начала зависимости. Вот так выглядит данный файл:
Когда все установится, Stable Diffusion запустится на локальном адресе, мы сможем перейти к следующему шагу. Так выглядит докозательства что все установилось правильно:
Подготовка к установке плагина
Закрываем консоль с запущенным Stable Diffusion и открываем новую. Далее переходим по пути к нашей папке и активируем виртуальное окружение - venv\Scripts\activate.bat.Так выглядит активация виртуального окружения.
Далее нам нужно обновить pip до последней версии. Это легко можно сделать вставив следующую команду в консоль python.exe:
-m pip install --upgrade pip
Теперь установим модули нужные нам для работы. А именно TensorRT:
python -m pip install nvidia-cudnn-cu11==8.9.4.25 --no-cache-dir
python -m pip install --pre --extra-index-url https://pypi.nvidia.com/ tensorrt==9.0.1.post11.dev4 --no-cache-dir
После этого можно удалить первый установленный модуль с помощью данной комманды:
python -m pip uninstall -y nvidia-cudnn-cu11
Выходим с виртуального окружения и запускаем Stable Diffusion.
venv\Scripts\deactivate.bat
webui-user.bat
Установка плагина TensorRT
Заходим на оффициальный репозиторий и устанавливаем плагин TensorRT для Stable Diffusion Web UI. Во вкладке "Extensions" установим наш плагин по ссылке репозитория:
Выбираем установку по URL - ссылке:
Нажимаем "Install" и ждем конца установки. В консоли мы видим, что плагин устанавливает дополнительные модули:
Как только все установиться, переходим во вкладку "Settings" и в поиске пишем "Quicksettings list", затем в списке выбираем sd_unet. После проделанных действий применяем настройки - Apply settings и Reload UI:
После всего в интерфейсе появится вкладка TensorRT и сверху sd_unet. Перейдем во вкладку TensorRT и создадим профиль для будущей модели. Для каждой модели в которой вы захотите ускроить генерацию необходимо будет создать профиль, который занимает примерно 1.6 гигабайт места на диске.
Жмем "Export Default Engine" и ждем. Это займет примерно 2-3 минуты. Не бойтесь когда всплывет такое уведомление, так и надо:
Весь процесс можно наблюдать в консоли:
Как только все завершиться, придет уведомление об этом в консоли, в папке models/Unet-trt у нас появится TRT модель. Ее нужно
будет выбрать в SD Unet:
Входная форма обязательно должна быть 64-х битной в обоих измерениях (ширине, высоте). Пример 512x512, 512x768. (так же допустимый размер зависит от выбранного профиля). На данном этапе можно спокойно перейти к генерации изображения. Генерация на таких же параметрах с TRT занимает около 3-х секунд.
Генерация без TRT занимает от 5.5 и более секунд:
На этом все, надеюсь статья оказалась для Вас полезной!
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.