Нейросеть Stable Diffusion: принципы работы, установка и создание изображений

Что такое Stable Diffusion и чем она отличается от других нейросетей

Stable Diffusion — это нейросеть с открытым исходным кодом, разработанная группой Stability.ai. Она была выпущена в августе 2022 года и с тех пор регулярно обновляется. Главная особенность Stable Diffusion — её открытость: любой желающий может скачать модель, доработать её или создать собственную версию. Благодаря этому вокруг нейросети сформировалось активное сообщество, которое выпускает сотни модификаций для генерации изображений в разных стилях — от живописи Ван Гога до мультфильмов Disney.

В отличие от многих коммерческих нейросетей, Stable Diffusion можно запускать локально на своём компьютере без подключения к интернету. Это даёт полный контроль над процессом генерации и позволяет не зависеть от ограничений онлайн-сервисов. Нейросеть способна не только создавать картинки по текстовому описанию, но и дорисовывать наброски, редактировать готовые изображения, заменять объекты и расширять фон.

Ключевое преимущество Stable Diffusion — её диффузионная архитектура. Вместо того чтобы рисовать изображение с нуля, модель учится постепенно удалять шум из случайного набора пикселей, пока не получится осмысленная картинка. Этот подход позволяет добиваться высокой детализации и реалистичности.

Как устроена архитектура Stable Diffusion: три ключевых компонента

Stable Diffusion состоит из трёх основных моделей, которые работают последовательно:

1. Кодировщик текста — это языковая модель-трансформер, которая преобразует текстовый запрос в набор числовых векторов. Каждое слово или фраза получает своё числовое представление, которое описывает его смысл и контекст.

1. Генератор изображений — включает нейросеть UNet и алгоритм планирования. UNet работает в сжатом пространстве признаков: вместо того чтобы обрабатывать каждый пиксель, она оперирует сжатыми версиями изображений. Это значительно экономит память и ускоряет генерацию. Алгоритм планирования определяет, как именно будет проходить процесс удаления шума на каждом шаге.

1. Декодер — преобразует сжатое представление, полученное от генератора, в полноценное изображение. Он восстанавливает детали, цвета и текстуры.

Такая архитектура позволяет Stable Diffusion работать даже на видеокартах с 4 ГБ видеопамяти, что делает её доступной для широкого круга пользователей. При этом модель способна генерировать изображения высокого разрешения — до 2048x2048 пикселей и выше.

Что можно делать с помощью Stable Diffusion: основные возможности

Stable Diffusion предлагает широкий набор функций для работы с изображениями:

• Генерация по текстовому запросу — самая популярная функция. Вы описываете желаемую картинку на английском языке, и нейросеть создаёт её с нуля. Можно указывать стиль, художника, освещение, цветовую палитру и другие детали.

• Дорисовка изображений (Inpainting) — позволяет заменить часть картинки на новый объект. Например, можно удалить с фотографии лишний предмет или добавить элемент, которого не было.

• Расширение фона (Outpainting) — нейросеть дорисовывает фон вокруг исходного изображения. Это полезно, когда нужно расширить кадр или создать панораму.

• Генерация по референсу (Image-to-Image) — вы загружаете картинку-образец, и Stable Diffusion создаёт новые изображения в похожем стиле или с похожей композицией.

• Улучшение качества — нейросеть может повышать разрешение изображений, исправлять размытые лица и добавлять детали.

• Создание анимации — с помощью последовательных запросов можно генерировать покадровую анимацию и объединять кадры в видео.

• Генерация объектов для игр — интеграция с игровыми движками позволяет создавать внутриигровые предметы и локации по текстовому описанию.

Как установить Stable Diffusion на компьютер: пошаговая инструкция

Существует несколько способов установки Stable Diffusion, от простых до продвинутых. Выбор зависит от ваших задач и технической подготовки.

Самый простой способ — NMKD Stable Diffusion GUI для Windows. Это бесплатный клиент с базовыми возможностями. Достаточно скачать архив с сайта разработчика, распаковать его и запустить. Программа поддерживает генерацию по тексту и референсам, улучшение качества и исправление лиц.

Для macOS подойдёт DiffusionBee. Это также бесплатное приложение, которое устанавливается как обычная программа. Оно поддерживает генерацию по тексту, референсам, замену фона и создание объектов внутри картинки.

Универсальный вариант — Easy Diffusion. Он работает на Windows, macOS и Linux. Установка простая, но возможности ограничены генерацией только по текстовому запросу. Зато можно выбирать стиль результата — от карандашного рисунка до 3D.

Продвинутый способ — установка через Git и Python. Этот метод даёт полный доступ ко всем функциям, включая обучение собственных моделей. Процесс включает несколько шагов:

1. Скачайте и установите Git.
2. Скачайте и установите Python, обязательно поставьте галочку "Add python.exe to PATH".
3. Клонируйте репозиторий AUTOMATIC1111/stable-diffusion-webui с GitHub.
4. Скачайте базовую модель (например, v1-5) и поместите её в папку models/Stable-diffusion.
5. Настройте автоматическое обновление, добавив команду "git pull" в файл webui-user.bat.
6. Запустите webui-user.bat и дождитесь завершения установки (может занять до часа).
7. Откройте в браузере ссылку http://127.0.0.1:7860/ — появится интерфейс для работы.

Системные требования: какое оборудование нужно для комфортной работы

Для работы Stable Diffusion на локальном компьютере потребуется достаточно мощное оборудование. Разработчики рекомендуют следующие характеристики:

• Видеокарта: NVIDIA серии GeForce RTX 20xx и выше. Минимальный объём видеопамяти — 4 ГБ, но для комфортной работы с высоким разрешением лучше иметь 8 ГБ и больше.
• Оперативная память: от 16 ГБ.
• Процессор: любой современный, но основная нагрузка ложится на видеокарту.

Для пользователей Mac подойдут компьютеры с процессорами M1 или M2 и последней версией macOS Monterey.

Если ваша видеокарта не соответствует рекомендациям, вы всё равно можете попробовать запустить нейросеть, но генерация будет идти значительно дольше. Например, на видеокарте GTX 1650 вместо RTX 20xx время создания одного изображения может увеличиться в несколько раз.

Важно учитывать, что установленная программа занимает от 11 до 25 ГБ на жёстком диске в зависимости от выбранного клиента и количества скачанных моделей.

Как составлять эффективные промпты: правила и примеры

Качество изображения, которое создаёт Stable Diffusion, напрямую зависит от того, как составлен текстовый запрос (промпт). Вот основные правила:

1. Порядок слов имеет значение. Нейросеть придаёт наибольший вес первым словам в запросе. Поэтому главные объекты и ключевые характеристики лучше указывать в начале.

1. Используйте категории. В запросе желательно указать:

• предмет (что именно должно быть на картинке);
• характер изображения (фотография, масляная живопись, цифровой арт);
• стиль (сюрреализм, конструктивизм, киберпанк);
• имя художника или фотографа для подражания;
• разрешение и детализацию (например, "8k", "highly detailed");
• цветовую палитру и освещение.

1. Не перегружайте запрос. Слишком много объектов с конкретными деталями могут запутать нейросеть. Лучше сделать несколько простых запросов, чем один сложный.

1. Используйте негативный промпт. В Stable Diffusion есть отдельное поле для того, чего на картинке быть не должно. Например, можно указать "ugly, deformed, blurry" — и нейросеть постарается избежать этих эффектов.

1. Экспериментируйте с синонимами. Разные слова могут давать разные результаты. Например, вместо "beautiful" попробуйте "stunning", "gorgeous" или "magnificent".

Пример хорошего промпта: "a portrait of an old coal miner in 19th century, painting with highly detailed face by greg rutkowski and magali villenueve, in the wild west, outside photography".

Основные настройки генерации: что означают параметры Steps, CFG, Seed и Sampler

В интерфейсе Stable Diffusion есть несколько ключевых параметров, которые влияют на результат генерации. Понимание их работы поможет получать более предсказуемые и качественные изображения.

Steps (количество шагов) — определяет, сколько итераций нейросеть сделает для удаления шума. Чем больше шагов, тем дольше длится генерация, но и детализация может быть выше. Однако после 30-40 шагов улучшение становится незаметным, а время ожидания растёт. Оптимальное значение — 20-50 шагов.

CFG Scale (Classifier Free Guidance) — регулирует, насколько строго нейросеть следует вашему запросу. Значение по умолчанию — 7. Если поставить меньше (например, 3-5), нейросеть будет больше "фантазировать" и отходить от запроса. Если больше (10-15), результат будет максимально близок к тексту, но может выглядеть неестественно.

Seed (зерно) — это начальное число, с которого нейросеть начинает генерацию. Если указать конкретный seed, при одинаковом запросе и настройках вы будете получать один и тот же результат. Это удобно, когда нужно воспроизвести удачную картинку или внести небольшие правки. По умолчанию стоит случайное значение.

Sampler (сэмплер) — алгоритм, который определяет, как именно будет проходить процесс удаления шума. Разные сэмплеры дают разные результаты. Например, k_lms — один из самых популярных и универсальных. Для начала можно использовать его, а потом экспериментировать с другими.

Рекомендуемая базовая комбинация для новичков: CFG — 8, Steps — 50, Sampler — k_lms, Seed — случайный.

Практические примеры: генерация портретов, пейзажей и цифрового арта

Stable Diffusion отлично справляется с разными жанрами изображений. Вот несколько примеров того, что можно получить с помощью правильно составленных промптов.

Портреты. Для реалистичного портрета укажите детали лица, освещение и стиль. Пример промпта: "a portrait of old man, cold color palette, muted colors, detailed, 8k". Нейросеть создаст изображение с проработанными морщинами, текстурой кожи и естественным освещением.

Пейзажи. Для пейзажа опишите место, время суток и атмосферу. Пример: "a landscape of sea, cold color palette, muted colors, detailed, 8k". Результат будет содержать волны, облака и детали береговой линии.

Цифровой арт. Если хотите получить изображение в стиле конкретного художника, добавьте его имя в запрос. Например, "a portrait of a girl in yellow on the farm in disney style, detailed, 8k" создаст картинку, напоминающую мультфильмы Disney.

Стилизация под живопись. Можно попросить нейросеть нарисовать в стиле Ван Гога или других художников. Для этого существуют специальные дообученные модели, например, Van-Gogh-diffusion.

Генерация по референсу. Если загрузить фотографию и попросить нейросеть изменить стиль или добавить детали, можно получить уникальные результаты. Например, превратить обычное фото в картину маслом или в изображение в стиле киберпанк.

Где брать готовые промпты и обученные модели: полезные ресурсы

Сообщество Stable Diffusion создало множество ресурсов, которые помогут вам быстрее освоить нейросеть и получить качественные результаты.

Сайты с готовыми промптами:

• PromptHero — крупнейшая база промптов с примерами изображений. Можно искать по ключевым словам и смотреть, какие запросы дают лучшие результаты.
• OpenArt — содержит учебник по промптам с хорошими примерами и объяснениями.
• Metaverse Post — подборка из более чем 100 удачных промптов на все случаи жизни.
• Lexica Art — поисковик по промптам и изображениям, созданным с помощью Stable Diffusion.

Бесплатные промптеры (помощники в составлении запросов):

• Public Prompts
• PromptoMania
• Stable Diffusion Modifier Studies

Где скачать обученные модели:

• Hugging Face — крупнейший репозиторий моделей для Stable Diffusion. Здесь можно найти как базовые версии, так и специализированные (для рисования в стиле аниме, фотореализма и т.д.).
• Civitai — сообщество, где пользователи делятся своими дообученными моделями и промптами.

Использование готовых промптов и моделей значительно ускоряет работу и помогает быстрее понять, как нейросеть реагирует на разные формулировки.

Ограничения и частые проблемы при работе со Stable Diffusion

Несмотря на все возможности, у Stable Diffusion есть ряд ограничений, которые важно учитывать.

Качество зависит от оборудования. На слабых видеокартах генерация может занимать минуты, а не секунды. Кроме того, нейросеть может выдавать ошибки при нехватке видеопамяти.

Проблемы с пониманием запросов. Stable Diffusion не всегда правильно интерпретирует сложные или двусмысленные фразы. Частицу "не" нейросеть воспринимает плохо, поэтому лучше использовать негативный промпт.

Артефакты на изображениях. Иногда на картинках появляются искажения, особенно в области лиц, рук и текста. Для исправления лиц есть специальная опция Restore faces.

Ограничение по длине промпта. Запрос должен укладываться примерно в 75 слов. Более длинные описания нейросеть может игнорировать.

Баг с бесконечной очередью. При запуске через webui-user.bat иногда возникает ошибка, когда после ввода запроса система пишет "In queue..." и ничего не происходит. Решение — нажать Enter в командной строке, чтобы программа выполнила дополнительные действия.

Проблемы с установкой Torch. Одна из частых ошибок — "Couldn't install Torch". Чтобы исправить, нужно удалить папку venv и запустить установку заново.

Несмотря на эти ограничения, Stable Diffusion остаётся одной из самых гибких и доступных нейросетей для генерации изображений, особенно если вы готовы потратить время на настройку и эксперименты.

Вопросы и ответы