I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельМодель parkeychen/ddpm-celebahq-finetuned-butterflies-2epochs — диффузионная модель безусловной генерации изображений на базе DDPMPipeline из библиотеки Diffusers. В карточке она представлена как пример дообучения для курса по диффузионным моделям; пример кода показывает, как получить изображение без входного текстового запроса. Название указывает на дообучение модели CelebA-HQ для генерации изображений бабочек в течение двух эпох, однако README не описывает результаты и не подтверждает качество или точный состав обучающих данных. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT.
Это пример модели диффузии безусловной генерации изображений, подготовленный для второго раздела учебного курса по диффузионным моделям. В карточке приведён пример запуска через DDPMPipeline из библиотеки Diffusers: модель создаёт изображение без текстового запроса. Название репозитория указывает на дообучение на CelebA-HQ для генерации бабочек в течение двух эпох, однако README не описывает результаты или характеристики этого обучения. Модель распространяется в форматах Diffusers и safetensors по лицензии MIT. Размер модели, разрешение изображений и качество генерации в доступных сведениях не указаны.
FWKV-Image — экспериментальная модель генерации изображений по текстовому описанию, созданная как исследовательский проект по эффективным диффузионным трансформерам. Её разработчик в предоставленной карточке не назван. Модель содержит около 40 млн обученных параметров и использует 12 блоков FWKV-DiT шириной 384: вместо обычного self-attention применяется двунаправленное затухающее накопление, вычисляемое параллельным сканированием. Генерация основана на rectified flow в латентном пространстве замороженного VAE; текстовые условия кодирует замороженный CLIP ViT-B/32. Модель принимает текстовые промпты и создаёт изображения размером 256×256. Она предназначена для исследований и учебных демонстраций, а не для производственного применения. Небольшой размер и обучающий набор из 100 тысяч пар ограничивают детализацию, следование сложным запросам и разнообразие; возможны артефакты и смещения из обучающих данных. Для загрузки требуется пользовательская архитектура из репозитория и разрешение удалённого кода. Лицензия — Apache-2.0.
Модель malper/learning-interactions-summarization — версия T5-base, дообученная авторами проекта Learning Human-Human Interactions in Images from Weak Textual Supervision (ICCV 2023). Она преобразует полные текстовые подписи к изображениям в короткие описания взаимодействий между людьми. Модель использовалась для создания псевдоразметки pHHI для набора данных Who's Waldo и предназначена прежде всего для воспроизведения экспериментов статьи и подготовки подобных описаний из подписей. Это модель семейства T5 с архитектурой T5ForConditionalGeneration и 123,7 млн параметров; базовый контекст — 512 токенов. На вход подаётся текст, на выходе — краткое текстовое резюме взаимодействия. Модель дообучена на синтетических парах полных подписей и соответствующих описаний HHI. Распространяется под лицензией Apache-2.0. Она ориентирована на узкую задачу взаимодействий между людьми и предоставлена как исследовательский код для воспроизводимости результатов, поэтому её пригодность для обобщённого суммаризирования не подтверждена.
kenil-patel-183 выпустил сверточную нейронную сеть для распознавания рукописных цифр MNIST. Модель принимает изображения в градациях серого размером 28×28 пикселей и относит их к одному из десяти классов — цифрам от 0 до 9. В архитектуре четыре свёрточных слоя с пакетной нормализацией и ReLU, слой максимальной подвыборки и линейный выходной слой; заявлено около 50 тысяч обучаемых параметров. Модель обучена на MNIST и достигает точности 99,25% на его тестовой выборке. Модель предназначена для классификации рукописных цифр на изображениях, например для учебных проектов и демонстраций компьютерного зрения. Для наилучших результатов изображения следует преобразовать в оттенки серого, изменить размер до 28×28 пикселей и нормализовать с параметрами MNIST. Модель хуже работает с печатным текстом, шумными или искажёнными изображениями; оптимальный фон — светлый с тёмной цифрой. Для загрузки через Transformers требуются пользовательские классы модели и процессора с включённым trust_remote_code. Лицензия в метаданных указана как неизвестная.
astrodak99/sd-class-butterflies-32 — диффузионная модель для безусловной генерации изображений милых бабочек. Карточка указывает, что это Unit 1 курса по диффузионным моделям; для запуска предлагается библиотека Diffusers и конвейер DDPMPipeline. Модель предназначена для создания изображений бабочек без текстового запроса. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Размер модели, разрешение изображений и поддерживаемые языки в предоставленных данных не описаны.
QuantFactory/TIPO-500M-GGUF — квантизированная версия модели KBlueLeaf/TIPO-500M, созданная сообществом QuantFactory с использованием llama.cpp. Модель предназначена для оптимизации текстовых промптов в системах генерации изображений по тексту (T2I): она расширяет и уточняет пользовательский ввод перед передачей в генеративную модель, помогая получать более качественные результаты при меньших усилиях. Это модель архитектуры LLaMA с 500 млн параметров и максимальной длиной контекста 1024 токена. Она обучалась примерно на 30 млрд токенов на объединённых данных Danbooru2023, GBC10M и Coyo-HD-11M; в карточке указан английский язык. Модель интегрируется через z-tipo-extension с stable-diffusion-webui, stable-diffusion-webui-forge и ComfyUI. Согласно приведённой оценке, использование TIPO улучшает соответствие изображений целевому распределению по метрике Frechet Dino Distance и может повышать эстетическое качество и снижать количество артефактов. Модель специализирована для генерации и улучшения промптов, а не для непосредственного создания изображений, поэтому её возможности зависят от совместимой T2I-системы и расширения. В README не приведены сведения о конкретных форматах квантизации, требованиях к ресурсам и детальных ограничениях применения. Модель распространяется по лицензии Kohaku License 1.0.
Alchemist Mix Pretty Porn v20 SDXL — модель для генерации изображений по текстовому описанию, созданная пользователем Urameshi. Она опубликована в формате Diffusers и основана на Illustrious-xl-early-release-v0, представляя собой вариант Stable Diffusion XL с пайплайном StableDiffusionXLPipeline. Модель ориентирована на реалистичные и фотореалистичные изображения, включая контент для взрослой аудитории.
Это модель компьютерного зрения miquic/app-odonto-diagnostico-yolov8s, созданная в учебном проекте app-odonto для обнаружения стоматологических находок на панорамных рентгенограммах. Модель основана на YOLOv8s от Ultralytics и дообучена на весах, предварительно обученных на COCO; размер входного изображения при обучении — 1280 пикселей. Она выделяет четыре класса: ретинированные зубы, кариес, периапикальные поражения и глубокий кариес. Для обучения использован поднабор quadrant-enumeration-disease набора DENTEX. На тесте из 106 изображений модель показала общий mAP50 0,540; результаты заметно различаются по классам. Модель предназначена для экспериментов и помощи в анализе снимков, но клинически не валидирована и не должна использоваться для принятия медицинских решений. Для периапикальных поражений отмечен низкий recall; часть срабатываний на кариес может быть неопределимой по одному рентгеновскому снимку. Лицензия — CC BY-NC-SA 4.0.
Throng2351/ddpm-celebahq-finetuned-butterflies-2epochs — пример модели диффузии безусловной генерации изображений, размещённый пользователем Throng2351. Репозиторий подготовлен для занятия по диффузионным моделям; пример использования загружает веса через DDPMPipeline из библиотеки Diffusers и генерирует изображение без текстового запроса. Название указывает на дообучение модели CelebA-HQ на изображениях бабочек в течение двух эпох, однако README не описывает датасет и результаты обучения подробно. Модель предназначена для экспериментов и демонстрации безусловной генерации изображений. Репозиторий содержит файлы в формате Diffusers и Safetensors и распространяется по лицензии MIT. Параметры модели и качество генерации в карточке не описаны.
1aurent/ddpm-mnist — лёгкая безусловная модель генерации изображений на основе UNet2D, обученная разработчиком на наборе MNIST с использованием Diffusers. Она создаёт изображения, похожие на рукописные цифры, но запросить конкретную цифру нельзя. Модель подходит для демонстрации диффузионной генерации и простых экспериментов с изображениями MNIST. Обучение заняло около 40 минут на GPU L4 в Google Colab. Модель распространяется по лицензии MIT. Карточка отмечает, что для генерации цифр по условию существует отдельная модель, но она описана как довольно нестабильная.
MoMA — открытая модель персонализации изображений, разработанная как мультимодальная большая языковая модель на основе LLaVA-7B с дополнительными слоями внимания. Модель содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов; в метаданных указан формат PyTorch и задача text-generation. Модель предназначена прежде всего для исследований персонализированной генерации изображений. Её целевая аудитория — исследователи и энтузиасты компьютерного зрения, обработки естественного языка и машинного обучения. README не описывает конкретный процесс генерации или интерфейс подачи изображений и запросов, поэтому практические сценарии использования ограничены исследованием персонализации изображений. Лицензия в доступных данных не указана.
NSFW-gen — модель генерации изображений по текстовому описанию, разработанная UnfilteredAI. Она предназначена для создания разнообразных изображений, включая откровенный контент. Модель основана на дообученной PixelGen и распространяется в форматах Diffusers и ONNX; в README указаны 3,47 млрд параметров и тип тензоров FP16. Модель подходит для создания изображений по текстовым запросам и творческих экспериментов с генерацией контента для взрослых. Карточка отмечает отсутствие фильтрации NSFW-выходов и рекомендует использовать модель ответственно. Указана лицензия other, поэтому конкретные условия использования следует уточнять в материалах репозитория.
Это обученная политика размещения последовательных визуальных «взглядов» для сегментации сцен ADE20K, разработанная в рамках CanViT-PyTorch-RL. Она оценивает значения Q для дискретной сетки кандидатов: двух масштабов и центров 16×16; при запуске сначала выполняется обзор всего изображения, а затем выбираются действия с максимальным Q. Политика использует dueling-голову и обучалась с дробными вознаграждениями на основе cross-entropy при K=1. Модель предназначена для последовательного выбора областей изображения, полезных для семантической сегментации. В README приведены метрики валидации ADE20K: после нескольких шагов mIoU растёт с 39,60% на t0 до 43,90% на t2. Основа — замороженный CanViT с разрешённой сеткой canvas 64. Это отдельный экспериментальный чекпойнт одного запуска; README указывает, что позднее его превзошла серия qband. Лицензия — MIT.
Это диффузионная модель, созданная в рамках курса по диффузионным моделям; она предназначена для безусловной генерации изображений милых бабочек. Модель использует конвейер DDPMPipeline из библиотеки Diffusers и распространяется в форматах Diffusers и safetensors. Модель генерирует изображение без текстового запроса. Она подходит для создания декоративных изображений бабочек и учебных экспериментов с диффузионной генерацией. Репозиторий распространяется по лицензии MIT. Информация о размере модели и поддерживаемых языках не приведена.
Модель разработана группой NeuroGSD факультета информационных технологий Университета Моратува. Это классификатор на базе EfficientNetB0 с блоком внимания squeeze-excitation, дообученный для определения выраженности катаракты по фотографиям переднего отрезка глаза. Он относит изображение к одному из четырёх классов: норма, лёгкая, умеренная или тяжёлая степень. Модель принимает цветные изображения RGB размером 224×224; перед подачей требуется обработка, описанная в README: медианный фильтр, CLAHE для канала яркости LAB и изменение размера изображения. Модель предназначена для исследовательской и учебной оценки классификации офтальмологических изображений. В README приведены результаты на отложенной выборке из 59 изображений, сгруппированной по исходным фотографиям, чтобы исключить утечку между обучением и тестированием. Авторы сообщают точность 0,983 и сбалансированную точность 0,964, но малый объём данных и широкие доверительные интервалы ограничивают обобщаемость этих оценок. Датасет состоит из 357 уникальных изображений из одного источника; оценки классов присвоены студенческой командой и проверены специалистом. Работа на других камерах, при ином освещении и на других популяциях не проверялась. Модель не является медицинским изделием, не прошла клиническую валидацию или регуляторное одобрение и не должна использоваться для принятия решений о пациентах. Условия лицензии в предоставленных данных не приведены.
Модель sergio-sanz-rodriguez/ddpm-celebahq-finetuned-butterflies-2epochs — диффузионная модель безусловной генерации изображений, созданная как пример дообучения для учебного модуля по diffusion-моделям. Она генерирует изображения бабочек без текстового запроса и запускается через DDPMPipeline из библиотеки Diffusers. Модель опубликована в форматах Diffusers и safetensors. В README указано, что она дообучена на датасете CelebA-HQ в течение двух эпох; лицензия — MIT. Карточка не сообщает подробностей о размере модели, разрешении изображений и оценках качества.
AntiLeecher/Flux-Klein-NSFW-Lora — LoRA-адаптер для генерации изображений по текстовому описанию, разработанный пользователем или организацией AntiLeecher. Модель предназначена для сценариев text-to-image на базе leejet/FLUX.2-klein-base-9B-GGUF и ориентирована на создание контента для взрослых (NSFW). Адаптер совместим с экосистемой Diffusers; для активации рекомендуется использовать триггерные слова «flux klein», «nsfw» и «lora». В README не указаны точный размер адаптера, архитектурные детали LoRA, поддерживаемые языки, длина контекста и дополнительные модальности. Приведён пример результата генерации. Модель распространяется по лицензии Apache-2.0. Ограничения качества, набор данных, метод обучения и дополнительные условия использования в README не описаны.
nsfw_flux_lora_v1 — LoRA-адаптер для генерации изображений по текстовому описанию, разработанный пользователем smith297. Модель предназначена для использования с базовой моделью black-forest-labs/FLUX.1-dev и совместима с экосистемой Diffusers. По названию адаптер ориентирован на создание контента для взрослых, однако подробные сведения о характере стилистических или предметных изменений в README отсутствуют. Ключевые характеристики: архитектура LoRA, базовая модель FLUX.1-dev, модальность text-to-image. Размер, языки, максимальный контекст, требования к оборудованию, параметры обучения и количественные оценки качества не указаны. Сильной стороной является возможность подключать адаптер к совместимой базовой модели без использования отдельной полноразмерной модели; ограничения связаны с зависимостью от FLUX.1-dev и отсутствием подробной документации по настройке и ожидаемым результатам. Лицензия — MIT.
Модель 1AJA1/sd-class-butterflies-32 — диффузионная модель от автора 1AJA1 для безусловной генерации изображений милых бабочек. Она рассчитана на создание изображений без текстового запроса: пример использования загружает веса через DDPMPipeline из библиотеки Diffusers и генерирует изображение. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии MIT. Карточка описывает модель как Unit 1 учебного курса по диффузионным моделям. Она предназначена для экспериментов с генерацией изображений бабочек; сведения о размере модели, разрешении изображений и поддерживаемых языках в карточке и метаданных отсутствуют.
Модель jasminewcy/sd-class-butterflies-32 создана как учебный проект курса Diffusion Models Class. Это диффузионная модель безусловной генерации изображений бабочек; в карточке для запуска указан DDPMPipeline из библиотеки Diffusers. Модель предназначена для создания изображений милых бабочек без текстового запроса. Репозиторий распространяется в формате Diffusers с весами Safetensors. Лицензия — MIT. В карточке не приведены сведения о размере модели, разрешении изображений, обучающих данных или языках; текстовый ввод не заявлен.
Это диффузионная модель из учебного курса Diffusion Models Class, предназначенная для безусловной генерации изображений милых бабочек. Она использует DDPMPipeline из библиотеки Diffusers и публикует веса в формате safetensors. Модель принимает случайный шум и создаёт изображение без текстового запроса. Модель подходит для экспериментов и учебных демонстраций генерации изображений. Репозиторий распространяется по лицензии MIT. Размер модели, разрешение генерируемых изображений и поддерживаемые языки в доступных данных не указаны.
muneebable/ddpm-celebahq-finetuned-simpsons — модель генерации изображений, дообученная на основе DDPM CelebA-HQ для создания изображений в тематике «Симпсонов». Карточка представляет её как пример дообучения для курса по диффузионным моделям; для запуска используется DDPMPipeline из библиотеки Diffusers. Модель генерирует изображения без текстового запроса: при каждом запуске pipeline создаётся изображение, которое можно использовать для экспериментов с диффузионной генерацией или учебных демонстраций. Репозиторий распространяется в форматах Diffusers и Safetensors по лицензии MIT. Размер модели и разрешение генерируемых изображений в карточке не сообщаются.
PixelModel v2 — небольшая модель генерации изображений по текстовому запросу, опубликованная bench-labs. Согласно карточке, её веса непосредственно представляют изображение; по сравнению с предыдущей версией число параметров увеличено с 23 тысяч до 200 тысяч. Модель предназначена для экспериментального создания изображений по тексту. В карточке не описаны архитектурные детали, кроме семейства PixelModel v2 и плотного типа, а также не приведены сведения о контексте, качестве генерации или поддерживаемых языках сверх английского языка в метаданных. Репозиторий содержит веса safetensors и помечен лицензией MIT.
Это модель диффузии из курса Diffusion Models Class, предназначенная для безусловной генерации изображений милых бабочек. В карточке показан запуск через DDPMPipeline из библиотеки Diffusers: модель создаёт изображение без текстового запроса. Репозиторий содержит веса в формате Diffusers и safetensors, лицензия — MIT. Модель подходит для экспериментов и учебных примеров по генерации изображений. Карточка не сообщает размер модели, разрешение изображений, поддерживаемые языки или дополнительные ограничения.
DEVLENX/sd-class-butterflies-32 — диффузионная модель, обученная для безусловной генерации милых изображений бабочек. Она рассчитана на создание изображений без текстового запроса; для запуска в README приведён пример использования DDPMPipeline из библиотеки Diffusers. Модель опубликована в форматах Diffusers и safetensors под лицензией MIT. Размер, контекст и языки для неё не указаны, а текстовый ввод не предусмотрен. Карточка описывает её как учебную модель из курса по диффузионным моделям.
hs0817/sd-class-butterflies-32 — диффузионная модель для безусловной генерации изображений милых бабочек. Она представлена как учебная модель из курса по диффузионным моделям и использует DDPMPipeline из библиотеки Diffusers. Модель создаёт изображение без текстового запроса; репозиторий содержит веса в формате Safetensors и Diffusers. Модель подходит для демонстрации безусловной генерации и создания изображений бабочек. Лицензия — MIT. Размер модели, разрешение изображений и поддерживаемые естественные языки не указаны.
Модель dogfish-thinker/sd-class-butterflies-64 — диффузионная модель безусловной генерации изображений, созданная как учебный проект для первого блока курса Diffusion Models Class. Она предназначена для создания изображений милых бабочек без текстового запроса; карточка показывает использование через DDPMPipeline из библиотеки Diffusers. Модель распространяется в форматах Diffusers и safetensors по лицензии MIT. Размер модели, разрешение генерации и поддерживаемые языки в доступных данных не описаны; текстовый ввод для генерации не требуется.
jonghyuns/sd-class-butterflies-64 — диффузионная модель, созданная как Unit 1 курса Diffusion Models Class. Она генерирует изображения милых бабочек без текстового запроса; карточка показывает запуск через DDPMPipeline из библиотеки Diffusers. Модель подходит для создания изображений бабочек и учебных экспериментов с безусловной генерацией изображений. Репозиторий содержит веса в форматах Diffusers и safetensors. Лицензия — MIT.
echarlaix/tiny-random-stable-diffusion-xl — небольшая модель генерации изображений по текстовому описанию, опубликованная пользователем echarlaix, который на Hugging Face обозначен как сотрудник платформы. Она предназначена для запуска через Diffusers и использует StableDiffusionXLPipeline; в карточке приведён сценарий text-to-image, когда текстовый prompt преобразуется в изображение. Архитектура включает EulerDiscreteScheduler, два текстовых энкодера CLIPTextModel и CLIPTextModelWithProjection, два CLIPTokenizer, условную UNet2DConditionModel и AutoencoderKL. Для обоих текстовых энкодеров указаны 5 слоёв, 4 attention-heads, hidden size 32 и максимальная длина последовательности 77 токенов; точное число параметров модели и поддерживаемые языки не указаны. Название и конфигурация указывают на tiny random-вариант, поэтому его характеристики и практическое качество генерации нельзя приравнивать к полноразмерным моделям Stable Diffusion XL; в карточке также отсутствуют результаты оценки и подробное описание ограничений. Лицензия — Apache-2.0.