Как улучшить изображения от Stable Diffusion? Тестирую рефайнер FreeU.
Пару недель назад нашел на гитхабе рефайнер FreeU для диффузионных нейронок.
Он использует эффективный метод обработки информации, который повышает качество генерации без дополнительного обучения или тонкой настройки.
FreeU может быть интегрирован в такие диффузионные модели как Stable Diffusion, DreamBooth, ModelScope, Rerender и ReVersion, для улучшения качества генерации всего несколькими строками кода. Все, что требуется - это скорректировать два параметра в процессе вывода.
Основная идея заключается в том, чтобы стратегически перераспределить вклад, вносимый пропускными (skip features) и основными (backbone features) признаками изображения, чтобы использовать сильные стороны обоих компонентов архитектуры Unet.
1 Для начала разберемся в терминологии
⚡1.1 Что такое рефайнер
В программировании и алгоритмах: Рефайнер (или рефайнмент) - это процесс улучшения или оптимизации алгоритма или программного кода. В ходе рефайнмента могут вноситься изменения, чтобы улучшить производительность, эффективность, точность или другие характеристики программы или алгоритма.
⚡1.2 Что такое сегментация изображения
Сегментация — это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями). Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать. Для сегментации изображений часто используется архитектура нейронной сети U-net.
⚡1.3 Что такое Unet
U-Net — это свёрточная нейронная сеть, которая была создана в 2015 году для сегментации биомедицинских изображений.
У U-Net есть две основные части: энкодер и декодер. Энкодер принимает входное изображение и постепенно уменьшает его размер, извлекая важные признаки. Это позволяет сети понять структуру и контекст изображения.
Декодер выполняет обратную операцию, увеличивая размер исходного изображения и восстанавливая детали.
Энкодер работает на понижение, а декодер на повышение. И если посмотреть на графическое представление этих двух процессов, то можно увидеть пораболу с вершиной внизу, поэтому эту архитектуру назвали буквой «U».
Во время обучения U-Net использует аугментацию данных, то есть создает небольшие изменения в изображениях, чтобы увеличить разнообразие обучающей выборки. Это помогает сети обучиться более устойчивым и эффективным представлениям изображений.
Одной из ключевых особенностей U-Net является использование skip-соединений. Это означает, что во время декодирования информация из энкодера передается напрямую в декодер. Это помогает сохранить детали и контекст изображения на разных уровнях.
U-Net часто применяется для сегментации медицинских изображений, таких как снимки МРТ или УЗИ. Например, с помощью U-Net можно выделить определенные структуры или органы на изображении, что может быть полезно для диагностики и анализа.
⚡1.4 Какими параметрами оперирует рефайнер?
⚡1.4.1 "backbone features" (основные признаки) относятся к выходным признакам (функциям) энкодера, которые извлекаются на разных уровнях иерархии изображения. Представляют собой набор признаков, полученных после прохождения исходного изображения через энкодер.
Когда декодер восстанавливает изображение, он использует эти backbone features, чтобы объединить информацию о контексте и деталях. Он также использует skip-соединения, чтобы передать информацию с более низких уровней признаков напрямую к соответствующим уровням декодера.
⚡1.4.2 "Skip features" (пропускающие признаки) относятся к связям, которые соединяют энкодер и декодер модели. Эти связи позволяют передавать информацию о контексте и деталях с более низких уровней энкодера напрямую к соответствующим уровням декодера. Skip features используются для улучшения точности и детализации сегментации в U-Net.
Рефайнер позволяет нам регулировать эти два параметра :
B - backbone features
S - skip features
⚡2 Теперь к практике
Я проверил интернет на наличие тестов FreeU и обратив внимание на пару из них:
⚡2.1 Энтузиаст Насир Халид сделал большой проект по исследованию полного сета значений и пишет, что он получил очень хорошие результаты при следующих параметрах:
* b1 = 1,1
* b2 = 1,2
* s1 = 0,6
* s2 = 0,4
⚡2.2 В видеоролике на канале «A Latent Place» автор получает наилучшие результаты при таких значениях:
* b1 = 0,9
* b2 = 0,8
* s1 = 0,9
* s2 = 0,3
Такие различия в значениях, видимо, связаны с использованными чекпоинтами, которые не одинаковы, и это вносит дополнительную путаницу.
⚡2.3 Я тестировал этот рефайнер на HuggingFace в SDXL на таком промпте:
« Full body photography of a prophecy geologic creature woman, unknown existence, global dark matter sculpture, ruby and obsidian, crystal jade, ray tracing ornate detailed, translucent skin with subsurface scatter, palette knife, oil painting, intricate detailed, best quality, endlessly fractal, aura melting dimension, reflection light, catch light, delicate details, photoshoot and retouched»
Пробовал крайние значения, чтобы понять, как они взаимодействуют между собой и дублировал b и s для простоты эксперимента. Мне понравились такие значения:
* b1 = 1,3
* b2 = 1,3
* s1 = 0,9
* s2 = 0,9
FreeU значительно улучшает качество результата, но когда дело доходит до понимания принципа работы, то можно споткнуться.
***
В целом, упрощенно, можно сделать такой вывод:
По сути, вы регулируете степень влияния глубоких слоев Unet на конечное изображение, что и происходит при увеличении b1 и b2 и уменьшении s1 и s2.
Но настройки могут быть разными в зависимости от того, чего вы пытаетесь достичь и какую конкретно модель используете.
Если вы утомились, разбираясь в терминологии, то посмотрите скриншоты, демонстрирующие работу рефайнера, а также видео, которое я смонтировал из анимированных изображений в Genmo ai, полученных в SDXL по промпту
«Abstract 3d render, flowing particles, smooth and blobs, mesmerizing magic hypnotizing motion, colored vivid metal and glass, futuristic, steel, iridescent, bokeh, dof, specular, bloom, chromatic aberration, refraction, halation».
***
Продолжаю познавать нейросети и генерировать видео и аудио-контент под хэштегом #dotworkpro
***
нейросети
нейросеть
видео
