IV.9Медиа, журналистика, культура, архивы и игры

Карточка модели ghunkins/stable-diffusion-v1-5-inpainting на Hugging Face совпадает с карточкой benjamin-paine/stable-diffusion-v1-5-inpainting, поэтому описание составлено по ней. Stable Diffusion v1.5 Inpainting — латентная диффузионная модель генерации и редактирования изображений по текстовым запросам и маске. Репозиторий — повторная публикация весов модели, разработанной Робином Ромбахом и Патриком Эссером; модель основана на Stable Diffusion v1.2 и дообучена для восстановления замаскированных областей изображения. Вариант для inpainting добавляет к входу UNet пять каналов для закодированного изображения с маской и самой маски. Модель использует текстовый энкодер CLIP ViT-L/14 и рассчитана прежде всего на английские запросы. Подходит для заполнения выделенных областей, удаления или замены объектов и творческого редактирования изображений с помощью текстового описания. Модель работает с изображениями разрешения 512×512. Она может ошибаться в деталях, лицах и сложной композиции, плохо воспроизводит читаемый текст, а результаты по неанглийским запросам обычно хуже. Обучающие данные содержали взрослый контент, а модель может усиливать социальные предубеждения и запоминать дубликаты изображений. Лицензия — CreativeML OpenRAIL-M с ограничениями на использование и распространение; условия лицензии следует соблюдать при применении модели.

stable-diffusion-xl-1.0-turbo-GGUF — экспериментальная GGUF-квантизованная версия SDXL-Turbo, разработанная Stability AI. Модель предназначена для генерации изображений по текстовому описанию и основана на SDXL 1.0 Base. Для ускорения вывода применяется метод Adversarial Diffusion Distillation, позволяющий синтезировать изображения за 1–4 шага, включая практически мгновенную генерацию в режиме реального времени. Модель поддерживает сценарии text-to-image и image-to-image, подходит для исследований генеративных моделей, создания иллюстраций, дизайна, образовательных и творческих инструментов, а также приложений реального времени. Предпочтительный размер изображения — 512×512, при этом возможны и более высокие разрешения. Для text-to-image не требуются guidance_scale и negative_prompt; рекомендуемое значение guidance_scale равно 0.0. Варианты GGUF включают FP16, Q8_0, Q4_1 и Q4_0, тогда как OpenAI CLIP ViT-L/14, OpenCLIP ViT-G/14 и VAE указаны в формате FP16. Работа именно этой сборки официально обозначена как экспериментальная и поддерживается только gpustack/llama-box версии v0.0.75 и выше. Сильные стороны модели — высокая скорость, хорошее качество и соответствие текстовому запросу при малом числе шагов; четыре шага могут улучшать результат по сравнению с однопроходной генерацией. Ограничения включают зависимость от специализированной поддержки llama-box, отсутствие указанных сведений о точном числе параметров, языках и максимальном контексте, а также возможные ограничения качества и безопасности, характерные для генеративных моделей изображений. Лицензия указана как Stability AI Non-Commercial Community License; условия коммерческого использования необходимо уточнять у Stability AI.

SDXL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она основана на латентной диффузии и использует два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно запускать отдельно или сочетать с моделью-refiner для завершающих шагов очистки изображения; также описан двухэтапный вариант с повышением разрешения через SDEdit. Модель подходит для создания иллюстраций, художественных работ и визуальных материалов для творческих и образовательных инструментов, а также для исследований генеративных моделей. В README отмечено улучшение пользовательских оценок по сравнению с предыдущими версиями Stable Diffusion. Модель не обеспечивает идеальный фотореализм, плохо воспроизводит читаемый текст и сложные пространственные отношения; лица и люди могут выглядеть некорректно, а автоэнкодер вносит потери. Генерация достоверных изображений людей и событий указана как использование вне заявленного назначения. Лицензия — CreativeML Open RAIL++-M.

Stable Diffusion XL Alchemist — дообученная Yandex модель генерации изображений по текстовому описанию, созданная на основе Stable Diffusion XL 1.0 с использованием датасета Alchemist. Она предназначена для создания изображений с улучшенной эстетикой и большей визуальной сложностью по сравнению с базовой моделью. Модель работает через библиотеку Diffusers и распространяется в форматах Diffusers и safetensors. Модель подходит для генерации иллюстраций и концепт-артов по текстовым запросам. В карточке указаны английский язык и лицензия Apache-2.0. Контекстные и количественные характеристики в доступных материалах не приведены.

Starlight XL v3 — модель генерации изображений по текстовому описанию, доступная через сервис ModelsLab. В карточке показан вызов API с идентификатором модели starlight-xl-v3 и примерами параметров генерации: промптом и негативным промптом, размером изображения, числом шагов и guidance scale. В метаданных указан конвейер StableDiffusionXLPipeline и форматы Diffusers и PyTorch. Модель предназначена для создания изображений, в том числе фотореалистичных портретов и сцен с кинематографическим освещением. Пример обращения использует промпт на английском языке; заявленная лицензия — CreativeML OpenRAIL-M. README описывает доступ через API ModelsLab, однако не содержит сведений о локальном запуске или характеристиках качества.

Step1X-Edit-v1p2 — модель редактирования изображений по текстовым инструкциям, выпущенная командой StepFun и также называемая ReasonEdit-S в статье. Она сочетает мультимодальную языковую модель с циклом «обдумывание — редактирование — проверка»: сначала интерпретирует запрос с опорой на знания о мире, затем оценивает результат, исправляет нежелательные изменения и определяет, когда остановиться. Модель предназначена для инструкционного редактирования изображений, включая запросы, требующие понимания абстрактных формулировок. Авторы сообщают об улучшении результатов на KRIS-Bench и GEdit-Bench. Для запуска README приводит проверенную версию Transformers 4.55.0; репозиторий использует Diffusers и формат safetensors. Поддерживаются английский и китайский языки. Лицензия — Apache-2.0.

Step-Video-TI2V — модель StepFun для генерации видео по изображению. Репозиторий содержит веса и код инференса; модель интегрирована с ComfyUI-Stepvideo-ti2v и предназначена для сценариев image-to-video. Для работы используется библиотека Diffusers и формат весов Safetensors. В README описана схема инференса с раздельной обработкой текстового энкодера, декодирования VAE и DiT: для сервисов текстового энкодера и декодирования VAE требуются выделенные GPU-ресурсы. Модель распространяется по лицензии MIT.

Карточка модели TechnoBaptist/stupase на Hugging Face совпадает с карточкой cisco-ai/stupase, поэтому описание составлено по ней. StuPASE — генеративная модель улучшения речи, разработанная Cisco Systems. Она подавляет шум и реверберацию в монофонических аудиозаписях с частотой 16 кГц, стремясь сохранить разборчивость речи, её содержание и особенности голоса говорящего. Модель состоит из компонентов DeWavLM-R для фонетического улучшения, CFM для акустического улучшения и вокодера Mel для восстановления звукового сигнала; всего около 561 млн параметров. Модель предназначена для очистки шумных или реверберирующих записей речи и повышения их воспринимаемого качества. Она обучалась преимущественно на английской речи; при работе с другими языками качество может снижаться. Сильный шум или условия реверберации, отличающиеся от обучающих, могут вызвать артефакты, а сохранение характеристик голоса не гарантируется полностью. Модель не предназначена для неречевого аудио, преобразования голоса или критически важных медицинских, юридических и безопасностных решений. Лицензия — Apache 2.0.

SunflowerASR-51-african-languages — модель распознавания речи от Sunbird AI, адаптация Whisper large-v3 для 51 широко используемого в Африке языка, включая английский и французский с африканскими акцентами. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для транскрибации аудио: мониторинга СМИ, анализа звонков и отзывов граждан, голосовых интерфейсов и использования в конвейерах перевода речи. Обучение включало дообучение всех параметров на 7 412 часах африканской речи и этап GRPO, оптимизирующий частоту ошибок символов. Авторы сообщают о сильных результатах на трёх бенчмарках, однако качество заметно различается между языками. Для каждого аудиофрагмента язык нужно задать при декодировании — автоматического определения языка нет. Модель не переводит, не выдаёт временные метки или метки говорящих. Фрагменты длиннее 30 секунд необходимо разбивать. На шумной, спонтанной, перекрывающейся или смешанной по языкам речи точность может снижаться; результаты транскрибации для важных решений требуют проверки человеком.

Swin2SR — модель компьютерного зрения на архитектуре SwinV2 Transformer для повышения разрешения изображений в 4 раза. Карточка указывает, что эта версия предназначена для восстановления изображений в реальных условиях; модель представлена как реализация работы Conde и соавторов о повышении разрешения и восстановлении сжатых изображений. Модель принимает изображение и создаёт его версию с увеличенным разрешением, что подходит для улучшения качества снимков и изображений с низким разрешением. В репозитории указаны веса PyTorch. Модель распространяется по лицензии Apache-2.0.

Sygil Diffusion — модель генерации изображений по текстовому описанию, разработанная ZeroCool94 в Sygil-Dev. Это дообучение Stable Diffusion 1.5 на наборе Imaginary Network Expanded Dataset. В карточке указана версия v0.4: она продолжает обучение предыдущих версий и достигла 2,37 млн шагов; модель использует архитектуру Stable Diffusion и библиотеку Diffusers, формат репозитория включает PyTorch и safetensors. Модель рассчитана на создание разнообразных изображений: портретов, архитектуры, фэнтези, концепт-арта, аниме и пейзажей. Теги с пространствами имён, например species:seal и studio:dc, помогают точнее задавать отдельные элементы сцены и уменьшать ошибки интерпретации подсказок. Модель частично понимает подсказки на китайском, японском и испанском языках, а наиболее полно работает с английскими. Для лучших результатов может потребоваться адаптировать привычные подсказки, используя теги и пространства имён. Разработчик отмечает, что модель находится на ранней стадии и предполагает дальнейшее обучение и обновления. Лицензия — OpenRAIL++; условия её использования следует сверять с текстом лицензии.

Taiyi-Stable-Diffusion-1B-Chinese-v0.1 — модель генерации изображений по текстовому описанию от команды IDEA-CCNL, созданная на основе Stable Diffusion v1.4. В README она названа первой открытой китайской Stable Diffusion-моделью; также указана поддержка китайских и английских запросов. Модель распространяется в форматах Diffusers и PyTorch. Для адаптации использовали отобранные пары китайских текстов и изображений из наборов Noah-Wukong и Zero: текстовый энкодер Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese обучали один проход, а остальные части Stable Diffusion v1.4 заморозили. Модель предназначена для создания иллюстраций и других изображений по описаниям, в том числе с китайскими культурными сюжетами и стилевыми указаниями. В README версия обозначена как предварительная; лицензия — CreativeML OpenRAIL-M.

Tea — восстановленная модель генерации изображений, связанная с andite. Это версия без EMA, в которую встроен VAE MoistMixV2 для повышения детализации и насыщенности цветов. Примеры показывают генерацию иллюстраций в стиле аниме, детской книжной графики и видеоигр, а также изображений с фотографической эстетикой. Модель принимает текстовые запросы и создаёт изображения. Репозиторий опубликован в формате Diffusers с весами safetensors и предназначен для использования с библиотекой Diffusers. Лицензия CreativeML OpenRAIL-M задаёт условия использования модели.

TempestV0.1 — модель генерации изображений по текстовому описанию от инициативы Tempest, опубликованная пользователем dataautogpt3. В карточке указана архитектура StableDiffusionXLPipeline и форматы Diffusers, PyTorch и Safetensors; лицензия — GPL-3.0. Модель предназначена для создания изображений с высокой детализацией и проработанными текстурами. Автор описывает вариант Base как основной обученный чекпойнт, а Artistic — как вариант с большей стилистической выразительностью, основанный на сочетании Proteus и Tempest. В README указаны рекомендуемые настройки CFG и числа шагов, а также размеры 2048×1024 и 1920×1088. Автор сообщает об обучающем наборе из более чем 6 миллионов изображений и 3 миллионах итераций. Известное ограничение: из-за отличий распределения данных LoRA могут не работать на высоких разрешениях. Использование регулируется лицензией GPL-3.0.

Kaousheik разработал TEMPO — экспериментальный чекпойнт аудиоязыковой модели для определения временных границ речи, звуков и музыки. Это вариант абляции из Table 3, обученный с distance-aware Gaussian timestamp loss без time-aware projector; он основан на NVIDIA Audio Flamingo 3. Базовая архитектура сочетает замороженный аудиоэнкодер Whisper-large, Qwen2-7B и проектор; модель принимает аудио и формирует текст с временными метками. Модель предназначена для диаризации с распознаванием реплик, привязки текстовых запросов к интервалам аудио, сегментации записей с описанием событий и анализа временных отрезков музыки. В README приведены результаты этой абляции: DER 86,2, diarization mIoU 37,5, dense-captioning eF1 49,9 и grounding F1 38,0. Поддерживается английский язык. Временные метки ограничены 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты; распознавание речи нескольких говорящих и определение аккордов остаются неточными. Метаданные указывают лицензию other, конкретные условия следует проверять в карточке модели.

Openjourney — модель генерации изображений по текстовому описанию, созданная PromptHero на основе Stable Diffusion и дообученная на изображениях Midjourney. Для получения характерного стиля в запрос рекомендуется добавлять фразу «mdjrny-v4 style». Модель подходит для создания иллюстраций и концепт-арта по текстовым промптам; её можно запускать через Diffusers и использовать в интерфейсе Gradio. В репозитории доступны форматы Diffusers и PyTorch, а README также описывает экспорт в ONNX, MPS и FLAX/JAX. Указана лицензия CreativeML Open RAIL-M.

Карточка модели TheSanctumbellsMediaInc/TheShootCompanion-FLUX2-klein-4B на Hugging Face совпадает с карточкой black-forest-labs/FLUX.2-klein-4B, поэтому описание составлено по ней. FLUX.2 [klein] 4B — модель Black Forest Labs с 4 млрд параметров на архитектуре rectified flow transformer. Она объединяет генерацию изображений по тексту и редактирование изображений с несколькими референсами в одной компактной модели; поддерживаются сценарии text-to-image и image-to-image. Модель рассчитана на интерактивные и производственные приложения, где важны скорость и локальный запуск, и, по данным разработчика, требует около 13 ГБ видеопамяти. Разработчик заявляет о дистиллированной версии с генерацией менее чем за секунду и качеством, сопоставимым с более крупными моделями. Для запуска доступны Diffusers и ComfyUI. Карточка указывает поддержку английского языка; текст внутри изображений может искажаться, а соответствие результатом запросу зависит от формулировки промпта. Модель не предназначена для предоставления фактической информации и может отражать смещения обучающих данных. Веса доступны по лицензии Apache 2.0 для коммерческого использования; карточка также перечисляет ограничения на отдельные вредоносные сценарии.

ThinkDiffusionXL (TDXL) — модель ThinkDiffusion для генерации изображений по текстовому описанию. Она предназначена для фотореалистичных изображений и работы с разными стилями и сюжетами без сложных промптов. По карточке модели, обучение проводилось на более чем 10 000 изображений, включая фотографии, цифровое искусство и аниме, с ручными подписями и 1,8 млн шагов обучения. Репозиторий использует Diffusers и формат safetensors; модель относится к семейству Stable Diffusion XL. Она может служить основой для дальнейших дообучений и использования LoRA. Карточка заявляет о способности генерировать откровенный контент. Результат зависит от промпта, а заявленные преимущества в качестве и снижении смещения являются оценкой разработчика. Лицензия в предоставленных данных не указана.

NiiCole/timesformer-base-finetuned-k400-continual-lora-ucf101 — дообученная модель классификации видео на архитектуре TimeSformer Base, созданная на основе facebook/timesformer-base-finetuned-k400. Она предназначена для отнесения видеозаписей к категориям действий; в карточке приведены результаты оценки: loss 0,2260 и accuracy 0,9767. Данные обучения и подробное описание модели не раскрыты. Модель содержит 113,2 млн параметров и распространяется в формате PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для работы модель принимает видео и выдаёт метку класса действия.

facebook/timesformer-hr-finetuned-k400 — вариант TimeSformer высокого разрешения, выпущенный командой Facebook и дообученный для классификации видео на наборе Kinetics-400. Модель основана на пространственно-временном Transformer и содержит 113,2 млн параметров. Она принимает видео и относит его к одной из 400 меток действий Kinetics-400. Модель подходит для распознавания действий в видеороликах и других сценариев классификации видео. В репозитории представлены веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

tiny-sd — облегчённый конвейер генерации изображений по текстовому описанию, разработанный Segmind. Модель получена дистилляцией SG161222/Realistic_Vision_V4.0 на подмножестве recastai/LAION-art-EN-improved-captions и распространяется в формате Diffusers/PyTorch. Для обучения указаны 125 000 шагов, разрешение 512 пикселей, fp16 и пакет 32 примера; авторы сообщают об ускорении до 80% относительно базовых моделей SD 1.5 на A100 80GB. Модель предназначена для быстрого создания изображений по текстовым промптам. В карточке показан сценарий использования через StableDiffusionPipeline из библиотеки Diffusers. Лицензия — CreativeML OpenRAIL-M, её условия следует учитывать при использовании и распространении результатов.

Hukyl/trocr-kgb-archive — модель Andrii Shalaiev для распознавания строк рукописного кириллического текста на изображениях советских архивных документов XX века. Она предназначена для OCR отдельных строк, преимущественно на русском языке; также может обрабатывать украинский и смешанный текст. Модель основана на TrOCR с архитектурой VisionEncoderDecoderModel и создана двухэтапным дообучением с LoRA на базе kazars24/trocr-base-handwritten-ru. В репозитории опубликован объединённый чекпойнт, для которого адаптер не требуется при инференсе. Модель обучалась на украинских рукописных строках из UkrainianCatholicUniversity/rukopys и небольшом целевом наборе архивных строк с разметкой; в набор также входили даты с кириллическими, латинскими, арабскими и римскими цифрами. На отложенной выборке указаны CER 0,152 и WER 0,439. Лицензия — Apache-2.0. Модель рассчитана на рукописные строки, похожие на обучающие примеры. Она хуже работает с незнакомыми стилями письма, сильно стилизованным почерком и письмом до XX века; печатный и машинописный текст не входил в обучение. Длинные строки могут обрезаться после 64 новых токенов, а оценку последовательности не следует использовать как показатель уверенности.

UnBIAS — модель классификации текстов по степени предвзятости, опубликованная в репозитории newsmediabias/UnBIAS-classifier. Это дообученная для выявления предвзятости модель BERT на 136,7 млн параметров с архитектурой BertForSequenceClassification; базовая модель — bert-base-uncased. Она относит текст к одному из трёх классов: «Highly Biased», «Slightly Biased» или «Neutral». Модель рассчитана на анализ новостных статей и может помогать выявлять предвзятые формулировки в материалах СМИ. Контекст ограничен 512 токенами. В README приведены метрики на валидации, однако там же указано, что их нужно заменить фактическими значениями, поэтому считать их подтверждёнными нельзя. Модель распространяется по лицензии OpenRAIL.

UniPic2-SD3.5M-Kontext-GRPO-2B — постобученная методом GRPO модель Skywork на базе UniPic2-SD3.5M-Kontext-2B. Она предназначена для генерации изображений по текстовому запросу и редактирования изображений; особое внимание уделено улучшенному отображению текста внутри изображений. Модель описана как быстрая и рассчитанная на запуск на одной потребительской видеокарте с 16 ГБ памяти. По тегам карточки модель относится к мультимодальным авторегрессионным моделям, объединяющим понимание изображений, редактирование и генерацию. Репозиторий содержит веса в формате safetensors, библиотека — Transformers; лицензия — MIT. README не сообщает поддерживаемые естественные языки и конкретные ограничения качества.

UniPic3-Consistency-Model — модель Skywork для редактирования изображений и композиции нескольких изображений, основанная на Consistency Flow Matching. Она дистиллирована из UniPic-3 и сопоставляет зашумлённые латентные состояния с чистыми изображениями, поддерживая генерацию не более чем за 8 шагов. Модель ориентирована на сохранение структуры и композиции, геометрическое выравнивание и семантическую согласованность, в том числе при взаимодействии человека с объектами. Лицензия — MIT.

UniPic3-DMD-Model — модель редактирования изображений и композиции из нескольких изображений, обученная Skywork с помощью дистилляции Distribution Matching Distillation (DMD). Она предназначена для получения детализированных и реалистичных результатов за небольшое число шагов генерации, приближая распределение выходов сильной модели-учителя. Модель инициализирована из чекпойнта, обученного методом consistency training, а затем дополнительно уточнена дистилляцией распределения. Карточка описывает задачи редактирования и композиции изображений; в метаданных также заявлен общий режим any-to-any и указаны теги text-to-image и image-understanding. Репозиторий использует форматы Diffusers, PyTorch и Safetensors. Лицензия — MIT. Размер модели, длина контекста и поддерживаемые языки в предоставленных источниках не указаны.

Yntec/Veritas — модель преобразования текста в изображения, созданная как дообучение coder119/Vectorartz_Diffusion. Она предназначена для генерации детализированных изображений по простым запросам и поддерживает разнообразную визуальную подачу: иллюстрации, фотореалистичные сцены и плоский стиль, напоминающий векторную графику. Примеры в карточке охватывают портреты, персонажей мультсериалов, пейзажи и предметы. Модель распространяется в формате Diffusers с весами Safetensors и лицензией CreativeML OpenRAIL-M. Качество и стиль результата зависят от формулировки запроса; карточка демонстрирует примеры, но не приводит систематических оценок качества.

VideoMAE Base — модель классификации видео, разработанная командой MCG-NJU. Она основана на архитектуре Vision Transformer, адаптированной для видео: кадры разбиваются на патчи размером 16×16, а видеопоследовательность обрабатывается трансформерным энкодером. Модель предварительно обучалась 1600 эпох без учителя и затем дообучалась с учителем на наборе Kinetics-400; в ней около 113,2 млн параметров. Модель предназначена для отнесения видео к одному из 400 классов Kinetics-400 и может использоваться для распознавания действий и классификации видеоклипов. На тестовой выборке Kinetics-400 указаны точность top-1 80,9% и top-5 94,7%. Для других наборов классов может потребоваться дополнительное обучение. Репозиторий содержит веса PyTorch и safetensors; лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение.

MCG-NJU выпустила VideoMAE Base, дообученную для классификации видео на наборе Kinetics-400. Модель основана на Vision Transformer и расширяет подход Masked Autoencoders на видео: разбивает видеоряд на патчи размером 16×16 и обрабатывает их как последовательность. Веса модели содержат 113,2 млн параметров. Модель классифицирует видео по 400 категориям Kinetics-400 и подходит для распознавания действий и сцен этого набора классов. Самообучающее предварительное обучение длилось 800 эпох, затем модель обучили с учителем на Kinetics-400. На тестовой выборке набора указана точность top-1 79,4% и top-5 94,1%. Модель принимает видео и выдаёт метку класса; сведения о поддерживаемых языках для этого сценария неприменимы. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Её область распознавания ограничена 400 классами Kinetics-400; качество на других наборах или типах видео в карточке не заявлено.

Video-MTR — дообученная Phoebe13 модель на базе Qwen2.5-VL-7B-Instruct, разработанная для многошагового анализа длинных видео. Она использует политику извлечения кадров, обученную методом PPO, и рассчитана на обработку до 80 кадров из одного видео; архитектура — плотная Qwen2.5-VL с 7,1 млрд параметров и контекстом 128 000 токенов. Модель предназначена для ответов на вопросы о содержании видео и рассуждений, требующих последовательного поиска нужных кадров. Метаданные указывают поддержку английского языка и визуально-текстовый режим работы. Модель распространяется под лицензией Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о данных обучения.