Используйте стабильную диффузию опенвино с поэзией

Фото Andrea De Santis on Unsplash

Если вы пользуетесь социальными сетями, то, возможно, недавно видели изображение или изображения, сгенерированные технологией машинного обучения.

DALLE 2

https://openai.com/dall-e-2/
Вы можете использовать DALLE 2 бесплатно, но вам, возможно, придется подождать месяц, а может и больше.

Недавно была выпущена еще одна программа. Это Stable Diffusion. Она очень похожа на DALLE 2. Если вы зададите текст и некоторые параметры, он сгенерирует довольно красивое изображение. Вы можете использовать Stable Diffusion, не дожидаясь месяца, что очень приятно, правда? Однако для этого требуется графический процессор. Если у вас нет GPU или нет доступа к GPU, вероятно, вы 😭 (Что мне делать?).

О стабильной диффузии

https://stability.ai/blog/stable-diffusion-public-release

CompVis / stable-diffusion

Стабильная диффузия

Стабильная диффузия стала возможной благодаря сотрудничеству с Stability AI и Runway и основывается на нашей предыдущей работе:

Синтез изображений высокого разрешения с использованием моделей скрытой диффузии
Робин Ромбах*Андреас Блаттманн*Доминик ЛоренцПатрик Эссер, Бьорн Оммер
CVPR ’22 Oral |GitHub | arXiv | Страница проекта

Stable Diffusion — это латентная модель диффузии текста в изображение. Благодаря щедрому пожертвованию вычислительной техники от Stability AI и поддержке LAION, мы смогли обучить латентную модель диффузии на изображениях 512×512 из подмножества базы данных LAION-5B. Подобно Imagen от Google, эта модель использует замороженный текстовый кодер CLIP ViT-L/14, чтобы обуславливать модель на текстовых подсказках.С его 860M UNet и 123M текстовым кодером, модель относительно легкая и работает на GPU с по крайней мере 10GB VRAM.Смотрите этот раздел ниже и карту модели.

Требования

Подходящий…

Посмотреть на GitHub

Тогда вы можете попробовать stable_diffusion.openvino. Вам не нужен GPU, чтобы запустить это!!!

bes-dev / stable_diffusion.openvino

stable_diffusion.openvino

Реализация генерации Text-To-Image с использованием Stable Diffusion на Intel CPU.

Требования

  • Linux, Windows, MacOS
  • Python 3.8.+
  • Процессор, совместимый с OpenVINO.

Требования к установке

pip install -r requirements.txt
Войти в полноэкранный режим Выйти из полноэкранного режима

Генерирование изображения из текстового описания

usage: demo.py [-h] [--model MODEL] [--seed SEED] [--beta-start BETA_START] [--beta-end BETA_END] [--beta-schedule BETA_SCHEDULE] [--num-inference-steps NUM_INFERENCE_STEPS]
               [--guidance-scale GUIDANCE_SCALE] [--eta ETA] [--tokenizer TOKENIZER] [--prompt PROMPT] [--init-image INIT_IMAGE] [--strength STRENGTH] [--mask MASK] [--output OUTPUT]
optional arguments:
  -h, --help            show this help message and exit
  --model MODEL         model name
  --seed SEED           random seed for generating consistent images per prompt
  --beta-start BETA_START
                        LMSDiscreteScheduler::beta_start
  --beta-end BETA_END   LMSDiscreteScheduler::beta_end
  --beta-schedule BETA_SCHEDULE
                        LMSDiscreteScheduler::beta_schedule
  --num-inference-steps NUM_INFERENCE_STEPS
                        num inference steps
  --guidance-scale GUIDANCE_SCALE
                        guidance scale
  --eta ETA             eta
  --tokenizer TOKENIZER
                        tokenizer
  --prompt PROMPT       prompt
  --init-image INIT_IMAGE
                        path to initial image
  --strength STRENGTH   how strong the initial image should be noised [0.0, 1.0]
  --mask MASK           mask of the region to inpaint on the initial image
  --output OUTPUT       output image name
Войти в полноэкранный режим Выйти из полноэкранного режима

Примеры

Посмотреть на GitHub

Readme очень простое, так что, вероятно, у вас не возникнет проблем с запуском demo.py и попыткой создания скрипта на python для streamlit.

Однако может возникнуть проблема, если вы уже используете python с менеджером версий python, anaconda и т.д.

Тогда вы можете использовать poetry, чтобы избежать беспорядка и сохранить ваш python dev env чистым.

установка poetry

Есть 2 способа установки поэзии.

  1. с помощью pip
  2. с помощью curl

Installation
https://python-poetry.org/docs/#installation

Создайте папку проекта

$ poetry new poetry-stable-diffusion
Войдите в полноэкранный режим Выйти из полноэкранного режима

Установить пакеты

$ poetry add package_name@package_version
Войти в полноэкранный режим Выйти из полноэкранного режима

Однако вам не обязательно делать это. Вы можете использовать следующий pyproject.toml, который я уже тестировал.

В этом случае я использовал python 3.8.12.
Если у вас нет python 3.8, я настоятельно рекомендую вам установить его с помощью [pyenv](https://github.com/pyenv/pyenv).

[tool.poetry]
name = "stablediffusion"
version = "0.1.0"
description = "test Stable Diffusion"
authors = ["koji"]

[tool.poetry.dependencies]
python = "^3.8"
numpy = "1.19.5"
transformers = "4.16.2"
diffusers = "0.2.4"
tqdm = "4.64.0"
openvino = "2022.1.0"
huggingface-hub = "0.9.0"
streamlit = "1.12.0"
watchdog = "2.1.9"
opencv-python = "4.5.2.54"
scipy = "1.6.1"

[tool.poetry.dev-dependencies]

[build-system]
requires = ["poetry-core>=1.0.0"]
build-backend = "poetry.core.masonry.api"
Вход в полноэкранный режим Выход из полноэкранного режима

Для настройки env вам нужно выполнить всего одну команду!

$ poetry install
Войти в полноэкранный режим Выйти из полноэкранного режима

Клонировать репозиторий

$ git clone https://github.com/bes-dev/stable_diffusion.openvino.git
$ cd stable_diffusion.openvino
Войти в полноэкранный режим Выйти из полноэкранного режима

Запустите файл demo.py

$ poetry run python demo.py --prompt "cyberpunk New York City"
Войти в полноэкранный режим Выйти из полноэкранного режима

сгенерированное изображение

Процесс генерации займет несколько минут (в моем случае это заняло около 3 минут)

спецификация моего mac

$ system_profiler SPHardwareDataType
Hardware:

    Hardware Overview:

      Model Name: MacBook Pro
      Model Identifier: MacBookPro16,1
      Processor Name: 8-Core Intel Core i9
      Processor Speed: 2.3 GHz
      Number of Processors: 1
      Total Number of Cores: 8
      L2 Cache (per Core): 256 KB
      L3 Cache: 16 MB
      Hyper-Threading Technology: Enabled
      Memory: 16 GB
      System Firmware Version: 1916.0.28.0.0 (iBridge: 20.16.365.5.4,0)
      OS Loader Version: 564.40.2.0.1~4
      Serial Number (system): C02CP2ESMD6Q
      Hardware UUID: FFCE331E-4543-5DBE-8F98-E329E0A69F91
      Provisioning UDID: FFCE331E-4543-5DBE-8F98-E329E0A69F91
      Activation Lock Status: Disabled
Войти в полноэкранный режим Выход из полноэкранного режима

Оцените статью
devanswers.ru
Добавить комментарий