IV.1Ритейл, электронная коммерция и fashion-tech

Модель dkingtutcd/gemma-3-4b — дообученная разработчиком dkingtutcd версия Gemma 3 4B Instruct с поддержкой изображений и текста. Она предназначена для диалогов и задач, где нужно отвечать на вопросы по изображениям или сочетать визуальный ввод с текстовыми запросами. Модель построена на плотной архитектуре Gemma 3 и выдаёт текст; карточка указывает английский язык и формат весов Safetensors. Дообучение выполнено с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Подробности о наборе данных и оценке качества в карточке отсутствуют.

drbaph/HiDream-O1-Image-FP8 — вариант модели HiDream-O1-Image в смешанной точности FP8, подготовленный для запуска через ComfyUI. В README указано, что исходная модель разработана командой HiDream-ai и использует архитектуру Pixel-level Unified Transformer (UiT) с 9 млрд параметров: она работает с пикселями, текстом и условиями задачи в общем пространстве токенов, без внешнего VAE и отдельных текстовых энкодеров. По метаданным модель связана с архитектурой Qwen3-VL и использует библиотеку Diffusers. Модель предназначена для создания изображений по текстовому описанию, редактирования изображений по инструкциям, персонализации по нескольким референсам и генерации раскадровок. README заявляет генерацию с разрешением до 2048 × 2048, поддержку длинного текста и многоязычного текста на изображениях, а также встроенного агента рассуждения для уточнения компоновки перед генерацией. FP8-вариант хранит веса в формате float8_e4m3fn, сохраняя отдельные чувствительные слои в более высокой точности; в README для него указано около 10 ГБ видеопамяти и небольшое снижение качества относительно вариантов BF16 и FP16. Для работы рекомендуется ComfyUI с пользовательским узлом HiDream_O1-ComfyUI. Модель распространяется по лицензии MIT. Заявления о качестве и сравнении с другими моделями приведены в README как результаты исходной модели; отдельная независимая оценка именно этой FP8-квантизации не описана.

Mungert/InternVL3-8B-GGUF — GGUF-версия мультимодальной модели InternVL3-8B, созданной командой OpenGVLab. Модель предназначена для обработки текста и изображений, включая визуальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, инструментами и задачами 3D-восприятия. В карточке также указана поддержка многоязычных сценариев. Архитектура сочетает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий класс модели — 8B параметров. Эта публикация представляет собой преобразованный формат GGUF, сгенерированный с использованием llama.cpp. Автор применил собственный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но, по заявлению автора, может улучшать точность при заданном уровне квантования, особенно на низкой разрядности. Сильными сторонами являются мультимодальность, сочетание визуального анализа с языковым рассуждением и возможность локального использования в экосистеме llama.cpp благодаря формату GGUF. Ограничения включают зависимость качества, размера и требований к ресурсам от выбранного варианта квантования; конкретные поддерживаемые языки, размер контекста и результаты независимого тестирования в карточке не указаны. Для модели указана лицензия Apache-2.0, однако в метаданных также приведена ссылка на лицензию Qwen.

Карточка модели arjunraim/FoodExtract-gemma-3-270m-fine-tune-v1 на Hugging Face совпадает с карточкой adodabele/FoodExtract-gemma-3-270m-fine-tune-v1, поэтому описание составлено по ней. FoodExtract-v1 — компактная текстовая модель для извлечения сведений о еде и напитках из произвольного текста. Её разработчик дообучил Gemma 3 270M Instruct (257 млн параметров) на 1400 примерах набора FoodExtract-1k; примеры включают текст и структурированные результаты, подготовленные с помощью gpt-oss-120b. Модель классифицирует текст как связанный или не связанный с едой и напитками, назначает тематические теги и извлекает съедобные продукты и напитки в виде списков. Её можно применять для фильтрации больших коллекций подписей к изображениям и другого текста, а также для подготовки данных о продуктах и ингредиентах. Это текстовая модель на базе Gemma 3, доступная в формате safetensors, с контекстом до 32 768 токенов. Модель предназначена для специализированного извлечения, а не для общей генерации ответов. Её обучение опирается на небольшой набор из 1400 примеров, поэтому полноту и точность извлечения на иных типах текста следует проверять. Лицензия — Gemma; использование регулируется её условиями.

LongLLaVA-53B-A13B — мультимодальная модель семейства LongLLaVA, разработанная FreedomIntelligence. Она предназначена для диалога и генерации текста по текстовым запросам и изображениям; архитектура относится к llava_jamba и использует смесь экспертов. В метаданных указано 7,2 млрд параметров, формат весов — safetensors, основная задача автора — image-text-to-text. Модель подходит для вопросов об изображениях и генерации ответов с учётом визуального содержимого. В README упомянуты результаты оценки, включая Video-NIAH, но описание не подтверждает поддержку видео как входной модальности. Модель распространяется по лицензии MIT. В доступной карточке нет сведений о поддерживаемых естественных языках и длине контекста; числовые характеристики названия модели не совпадают с общим числом параметров из метаданных, поэтому в описании приведено значение метаданных.

Карточка модели AtomicChat/Qwen3.8-27B-MLX-bf16 на Hugging Face совпадает с карточкой AtomicChat/Qwen3.8-27B-MLX-AD-3.80bpw-DWQ-13.7GB, поэтому описание составлено по ней. AtomicChat/Qwen3.8-27B-MLX-AD-3.80bpw-DWQ-13.7GB — мультимодальная плотная модель семейства Qwen3.5 на 27 млрд параметров, подготовленная AtomicChat на основе Qwen/Qwen3.8-27B для работы в формате MLX. Она предназначена для диалогов и задач, где нужно анализировать изображения и формировать текстовый ответ. Карточка также указывает поддержку vision и conversational-взаимодействия. Модель принимает текст и изображения, выдаёт текст. Репозиторий использует safetensors, а для базовой модели указана лицензия Apache-2.0. README описывает преобразование в MLX с помощью mlx-lm 0.31.3; сведений о контекстном окне и ограничениях качества карточка не приводит.

ASID-Captioner-7B — мультимодальная модель для детального описания видео, разработанная AudioVisual-Caption и дообученная на основе Qwen/Qwen2.5-Omni-7B на наборе ASID-1M. Она анализирует видеокадры и, если доступна, звуковую дорожку, формируя связное текстовое описание.

bigshanedogg/CSD — неофициальная версия модели CSD в формате Transformers, подготовленная bigshanedogg на основе опубликованных весов CSD. Модель использует визуальную основу CLIP ViT-L/14 без проекционного слоя: извлечённые признаки размерности 1024 преобразуются отдельными обученными головами стиля и содержания в L2-нормализованные дескрипторы размерности 768. Для обработки изображений применяется масштабирование короткой стороны до 224 пикселей, центральное кадрирование до 224×224 и нормализация CLIP. Модель предназначена для извлечения признаков изображений и сравнения их стилистического сходства: сходство двух изображений оценивается косинусом между их стилевыми эмбеддингами. Также доступны эмбеддинги содержания. Для загрузки используется trust_remote_code; во время выполнения не требуются clip или open_clip. Репозиторий содержит веса safetensors. Порт лицензирован по MIT, исходный код CSD — по MIT, а веса — по CC-BY-4.0 с требованием атрибуции Somepalli и соавторам / University of Maryland. Это неофициальный порт.

minsu0567/IAD-X1-GRPO-answer-last — дообученная minsu0567 модель семейства Qwen3.5 для преобразования изображений и текста в текст. Карточка указывает на обучение с Unsloth и библиотекой TRL; метаданные описывают архитектуру как плотную условную генеративную модель с поддержкой изображений и диалогового взаимодействия. Модель предназначена для задач image-text-to-text. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о размере модели, длине контекста и конкретных языках использования; метаданные указывают английский язык.

Qwen-Image-ControlNet-Union — объединённый ControlNet от InstantX для управления генерацией и редактированием изображений на базе Qwen-Image. Модель принимает изображение с картой управления и текстовое описание, поддерживая четыре типа условий: контуры Canny, мягкие границы, глубину и позу. Она интегрируется с Diffusers и ComfyUI. ControlNet обучен с нуля в течение 50 тысяч шагов на 10 миллионах качественных изображений общего содержания и изображений людей. В архитектуре используются пять двойных блоков из предварительно обученного трансформера; обучение проводилось при разрешении 1328×1328 в BF16. Для управления силой условия предусмотрен параметр controlnet_conditioning_scale. Модель подходит для создания изображений по тексту с сохранением заданных контуров, глубины или позы, а также для редактирования изображений с таким контролем. В README отмечено, что без явного указания текста в промпте некоторые детали, например мелкий текст, могут сохраняться хуже. Лицензия — Apache-2.0.

VACE-Wan2.1-1.3B-Preview — модель Tongyi Lab для создания и редактирования видео, дообученная на базе Wan2.1-T2V-1.3B. Она объединяет генерацию видео по референсным изображениям, редактирование видео по видео и редактирование с маской. Можно комбинировать сценарии, например перемещать или заменять объекты, анимировать изображения и расширять видео. Модель принимает текстовый запрос и, в зависимости от сценария, видео, маску и изображения; результатом служит видео. В README для этой версии указан ориентир размера ролика около 81 кадра при разрешении 480 × 832; поддерживаются и другие разрешения, но оптимальные результаты ожидаются в заданном диапазоне. Метаданные указывают английский и китайский языки. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

ChartVerse-8B — мультимодальная модель для анализа графиков и диаграмм, разработанная в рамках проекта opendatalab/ChartVerse. Это дообученная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration и 8 млрд параметров, которая принимает изображения графиков вместе с текстовыми запросами и формирует текстовые ответы с визуальным рассуждением. Она предназначена для ответов на вопросы по графикам и решения задач, требующих извлечения и интерпретации данных. Для обучения использованы наборы ChartVerse-SFT-600K и ChartVerse-RL-40K; заявлены 64,1% среднего результата на шести бенчмарках, превосходство над Qwen3-VL-30B-A3B-Thinking и близкие результаты к Qwen3-VL-32B-Thinking. Карточка не сообщает длину контекста. Модель распространяется по лицензии Apache-2.0.

unstructuredio/donut-base-sroie — модель семейства Donut, разработанная Unstructured и дообученная на базе naver-clova-ix/donut-base для обработки изображений документов. Архитектура VisionEncoderDecoder объединяет визуальный энкодер и текстовый декодер; модель принимает изображение документа и генерирует текстовый результат. Модель предназначена для извлечения и структурирования сведений из чеков SROIE, например, распознавания текста и полей документа. В карточке не приведены подробности о качестве, процедуре оценки или конкретном формате результата. Репозиторий содержит веса PyTorch, лицензия — MIT.

GLIGEN — диффузионная модель генерации изображений с привязкой объектов к заданным областям. Её разработали исследователи и инженеры University of Wisconsin–Madison, Columbia University и Microsoft. Эта версия предназначена для запуска через StableDiffusionGLIGENTextImagePipeline в библиотеке Diffusers. Модель принимает текстовое описание, ограничивающие рамки и, при необходимости, исходные изображения. Она генерирует сцену по запросу и размещает описанные объекты в областях, заданных рамками; использует замороженный текстовый энкодер CLIP ViT-L/14. Модель рассчитана прежде всего на английский язык и творческие сценарии: создание иллюстраций, дизайн и образовательные инструменты. К ограничениям относятся нечитаемый текст на изображениях, несовершенный фотореализм и трудности со сложными пространственными отношениями; лица и люди также могут получаться некорректно. Модель может воспроизводить смещения обучающих данных и запоминать дублированные изображения. Для использования предусмотрена лицензия CreativeML OpenRAIL-M; авторы рекомендуют подключать Safety Checker из Diffusers и не использовать модель для фактического изображения людей или событий.

Omni-Edu-9B — мультимодальная модель семейства Qwen3.5, разработанная OmniEdu и дообученная на наборе данных Omni-Edu-70K поверх Qwen/Qwen3.5-9B-Base. Она предназначена для диалоговых задач с изображениями и текстом: принимает текст и изображения и формирует текстовые ответы. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, 9 млрд параметров у базовой модели, библиотека Transformers и формат весов safetensors. Модель подходит для сценариев, где нужно задавать вопросы по изображениям и получать ответы в диалоге. Карточка не сообщает подробностей о составе данных обучения, результатах оценки или конкретных ограничениях. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория и условиями базовой модели.

Ismailzeine/schema-bac-qwen-model — дообученная модель для диалога с изображениями, созданная на базе Qwen2.5-VL-7B-Instruct. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL; архитектура — Qwen2.5-VL с плотной моделью условной генерации. Модель принимает текст и изображения и отвечает текстом, поэтому подходит для визуальных вопросов и диалога по содержимому изображений. Модель основана на unsloth/qwen2.5-vl-7b-instruct-unsloth-bnb-4bit и распространяется по лицензии Apache-2.0. Карточка не описывает специализированную область обучения или конкретные тесты качества; пригодность для точных прикладных сценариев следует оценивать на собственных данных.

Bespoke-MiniChart-7B — открытая модель для понимания диаграмм, разработанная Bespoke Labs и поддерживаемая Liyan Tang и Bespoke Labs. Это дообученная версия VLM Qwen2.5-VL с 7,1 млрд параметров, которая принимает изображения диаграмм и текстовые вопросы, а отвечает текстом. Основной сценарий — ответы на вопросы по данным, представленным в графиках и диаграммах; модель также сочетает визуальное восприятие с текстовыми рассуждениями. По заявлению разработчиков, модель показывает лучшие результаты среди моделей сопоставимого размера на семи публичных тестах Chart-QA и превосходит некоторые более крупные закрытые модели. В метаданных указаны контекст до 128 000 токенов и поддержка английского языка. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

Clark Labs Clark Swin2SR ×2 Ternary — компактная модель Swin2SR для увеличения разрешения изображений в два раза. Она предназначена для локального запуска в браузере и обработки скриншотов интерфейсов, изображений товаров, иллюстраций и фотографий без отправки изображений на сервер. Модель основана на caidas/swin2SR-lightweight-x2-64 и использует архитектуру Swin2SR для восстановления деталей. В ней 1 005 348 параметров; 97,24% параметров представлены тернарными значениями −1, 0 и +1, а небольшие векторы нормализации и смещения хранятся в FP16. Доступны веса Safetensors и экспорт ONNX; README описывает запуск в браузере через WebGPU с резервным вариантом WebAssembly. Модель принимает изображение и выдаёт изображение с фиксированным увеличением ×2. Обучение усилено примерами с разными типами сжатия и искажений, а также плотным текстом на семи языках. Модель рассчитана на улучшение читаемости текста и деталей интерфейса на сжатых, размытых или повторно масштабированных изображениях. Она не генерирует отсутствующие детали, не поддерживает другой коэффициент увеличения и на чистом bicubic-тесте Set5 уступает предыдущей версии по PSNR. Лицензия — Apache-2.0.

OmniWeaving — модель генерации и редактирования видео, разработанная командой Tencent Hunyuan совместно с исследователями Zhejiang University и Nanyang Technological University. Она построена на базе HunyuanVideo-1.5 и сочетает мультимодальную языковую модель для интерпретации запросов, MMDiT для генерации и VAE для работы с визуальными данными. В каталоге Hugging Face представлены веса safetensors; лицензия указана как other. Модель предназначена для создания видео по тексту и изображениям, интерполяции между ключевыми кадрами и редактирования существующего видео по текстовой инструкции. Она принимает комбинированные текстовые, графические и видеовходы, связывает их во времени и может использовать режим рассуждения для уточнения намерения пользователя перед генерацией. В README заявлена высокая точность композиции и сильные результаты на предложенном бенчмарке IntelligentVBench. Для запуска требуются зависимости HunyuanVideo-1.5 и значительные вычислительные ресурсы: README описывает настройки для случаев нехватки GPU- и CPU-памяти. Конкретные размер модели, длина контекста и языковая поддержка в предоставленных источниках не приведены. Лицензия обозначена как other, поэтому условия использования следует проверить в файлах лицензии репозитория.

ICM-Qwen2-VL-7B — дообученная модель zhaoyuzhi на основе Qwen/Qwen2-VL-7B-Instruct, созданная с использованием набора данных qwen_sexy_after. Это мультимодальная модель с архитектурой Qwen2-VL и 7,1 млрд параметров, предназначенная для диалога и генерации текстовых ответов по изображениям. Она принимает текст и изображения, а выдаёт текст; поддерживает контекст до 32 768 токенов. В карточке приведено значение loss 0,1821 на оценочном наборе, но подробности оценки не раскрыты. Модель опубликована в формате safetensors; лицензия обозначена как other.

RefControl FLUX.2 Klein 9B Reference Canny LoRA — адаптер LoRA, разработанный пользователем thedeoxen для базовой модели black-forest-labs/FLUX.2-klein-base-9B. Это модель для image-to-image генерации и редактирования изображений, объединяющая референсное изображение с картой контуров Canny. Референс задаёт идентичность и стиль персонажа, человека или объекта, а карта Canny — форму, композицию и основные контуры. Для активации используется триггерное слово refcontrol. Модель прежде всего обучалась на людях, но также применима к стилизованным персонажам и некоторым объектам. Она предназначена для рестайлинга персонажей с сохранением внешности, поддержания согласованного дизайна в разных композициях, создания иллюстраций и раскадровок с управляемой компоновкой, а также преобразования объектов с сохранением деталей. Лучшие результаты достигаются, когда карта контуров имеет близкие к референсу пропорции и масштаб; текстовые подсказки можно использовать для уточнения фона, освещения и настроения. Адаптер рассчитан на FLUX.2 Klein 9B Base и рекомендуется использовать с ним примерно за 50 шагов при guidance_scale около 4.0. Также возможна работа с дистиллированной версией FLUX.2 Klein 9B примерно за 4 шага и при guidance_scale около 1.0, однако качество, особенно сохранение идентичности и точность контуров, может быть ниже. Рекомендуемый вес LoRA — 0.8–1.0. Для ComfyUI требуется CannyEdgePreprocessor из comfyui_controlnet_aux, если входное изображение ещё не является картой контуров. Лицензия — Apache 2.0.

Карточка модели Jinstudio/stable-diffusion-xl-base-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).

Trendyol LLM v1.0 — базовая генеративная языковая модель, разработанная Trendyol и дообученная на основе Mistral-7B-v0.1. Это авторегрессионный трансформер Mistral с 7,2 млрд параметров; модель принимает текст и генерирует текст. Для версии base указано дообучение с LoRA на 10 млрд токенов, а максимальная длина последовательности при обучении составляла 1024 токена. В метаданных указан нативный контекст 32 768 токенов. Модель предназначена для продолжения текста и может служить основой для приложений генерации текста и диалоговых сценариев на английском и турецком языках. Карточка также упоминает варианты chat и DPO. Модель распространяется по лицензии Apache-2.0. Качество не проверено в широком круге реальных сценариев: возможны фактические ошибки, предвзятые или токсичные ответы. Понимание сленга и языков, кроме английского и турецкого, может быть ограниченным; результаты следует проверять.

farishehzad/vilt_finetuned_200 — дообученная модель ViLT на основе dandelin/vilt-b32-mlm, опубликованная пользователем farishehzad. Она предназначена для визуальных вопросов и ответов: принимает изображение и текстовый вопрос, затем выдаёт текстовый ответ. Архитектура ViLT объединяет обработку изображений и текста; модель содержит 136,7 млн параметров и имеет контекст до 40 токенов. Репозиторий содержит веса в формате safetensors. Модель подходит для ответов на вопросы о содержимом изображений. Данные обучения указаны как неизвестный набор, поэтому нельзя судить о тематическом охвате и качестве ответов. Лицензия — Apache-2.0.

Bernini-R 1.3B ComfyUI bundle — облегчённая сборка модели для редактирования изображений и видео, опубликованная neuregex. В репозитории есть рендерер на 1,3 млрд параметров, VAE и текстовый энкодер; доступны веса BF16 Safetensors и варианты GGUF с квантованием. Модель представляет собой одноэкспертную доработку Wan2.1-T2V-1.3B и предназначена для запуска в ComfyUI на менее мощных видеокартах. Сборка рассчитана на редактирование по изображению и текстовому запросу: перенос стиля, удаление водяных знаков и субтитров, локальные правки. По заявлению карточки, на простых изменениях она близка по результатам к 14B-сборке, но уступает ей на сложных задачах. Для работы нужны ComfyUI-BerniniR и ComfyUI-GGUF; лицензия — Apache-2.0.

Dots3-Note Preview — модель с открытыми весами от Dots Studio, построенная по архитектуре mixture-of-experts. В ней 280 млрд параметров всего, из которых 16 млрд активны. Это самая компактная модель семейства Dots 3. Модель предназначена для преобразования изображений и текста в текст, согласно задаче, указанной в метаданных каталога. Доступный фрагмент README не раскрывает конкретные сценарии применения, языки, длину контекста или условия лицензии, поэтому эти характеристики не описываются.

Mage-VL — мультимодальная модель для понимания изображений и видео, предназначенная для офлайн-анализа и потокового восприятия. Визуальный энкодер Mage-ViT обучен с нуля, а языковая часть основана на Qwen3-4B-Instruct-2507; компоненты соединены двухслойным MLP-проектором. Модель использует структуру видеокодеков: сохраняет все патчи опорных кадров и выбирает патчи предсказанных кадров по признакам движения и новых деталей. По заявлению авторов, это сокращает число визуальных токенов более чем на 75% и обеспечивает ускорение инференса до 3,5 раза относительно равномерной выборки кадров. Модель предназначена для ответов на вопросы по изображениям и видео, пространственного анализа, временной локализации событий и потоковых комментариев, которые запускаются при обнаружении значимых событий. Для потока предусмотрен отдельный когнитивный шлюз, который фильтрует рутинное содержимое. Карточка указывает архитектуру Mage-VL и формат Safetensors; размер визуального энкодера заявлен как 4B, языковая основа — Qwen3-4B. Основной README описывает checkpoint microsoft/Mage-VL, тогда как данный репозиторий называется xocialize/Mage-VL, поэтому точную связь этих репозиториев по карточке установить нельзя. Лицензия — Apache-2.0. README не сообщает поддерживаемые естественные языки или длину контекста.

lllyasviel/sd-controlnet-canny — модель ControlNet, разработанная Lvmin Zhang и Maneesh Agrawala. Это диффузионная модель условной генерации изображений, предназначенная для работы совместно с Stable Diffusion v1.5. Она принимает текстовое описание на английском языке и дополнительное условие в виде карты границ Canny — монохромного изображения с белыми контурами на чёрном фоне — чтобы управлять структурой создаваемого изображения. Модель подходит для сценариев text-to-image и image-to-image, когда важно сохранить композицию, контуры и общую геометрию исходного изображения, одновременно изменяя его содержание или визуальный стиль по текстовому запросу. ControlNet усиливает управляемость генерации и может применяться в художественных и прикладных задачах обработки изображений. Точный размер модели и длина контекстного окна в README не указаны. Модель распространяется по лицензии CreativeML OpenRAIL M, адаптированной из Open RAIL M; ограничения и условия использования определяются текстом этой лицензии.

Карточка модели yangjiwoong1/stable-diffusion-2-1-base на Hugging Face совпадает с карточкой Manojb/stable-diffusion-2-1-base, поэтому описание составлено по ней. Manojb/stable-diffusion-2-1-base — модель генерации изображений по тексту, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель, использующая предварительно обученный текстовый энкодер OpenCLIP-ViT/H. Версия 2.1 дообучена на Stable Diffusion 2-base ещё на 220 тысячах шагов; модель распространяется в форматах Diffusers, PyTorch и Safetensors и работает с библиотекой Diffusers. Модель предназначена для создания и изменения изображений по текстовым запросам, в том числе для художественных и дизайнерских задач и творческих инструментов. В первую очередь она рассчитана на английские запросы; качество генерации по запросам на других языках ниже. Лицензия — CreativeML Open RAIL++-M. Модель не гарантирует фотореализм, плохо передаёт читаемый текст и сложные пространственные композиции, а лица и люди могут получаться некорректно. Обучающие данные содержали изображения для взрослых, насилие и сексуальный контент, частично отфильтрованные NSFW-детектором; возможны социальные предубеждения, включая смещение в сторону западных культур. Модель не предназначена для достоверного изображения реальных людей или событий.

Stable Diffusion 2 Depth Img2Img — модель Robin Rombach и Patrick Esser для изменения изображений по текстовому описанию с сохранением пространственной структуры исходного изображения. Это латентная диффузионная модель, дообученная на базе stable-diffusion-2-base в течение 200 тысяч шагов; она использует дополнительный канал с относительной картой глубины, рассчитанной MiDaS dpt_hybrid. Модель работает через Diffusers и распространяется в форматах PyTorch и safetensors. Модель принимает текстовый запрос и изображение, а также использует карту глубины для управления генерацией; результатом служит изображение. Основной язык запросов — английский. Лицензия — CreativeML Open RAIL++-M License (openrail++). Модель подходит для творческого редактирования и преобразования изображений с учётом глубины сцены. Ограничения включают слабую генерацию читаемого текста, несовершенный фотореализм, ошибки в изображении лиц и людей, а также трудности со сложными пространственными композициями. Качество запросов на языках, отличных от английского, ниже; модель также может отражать смещения обучающих данных LAION.