I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельYoutu-VL-4B-Instruct — компактная зрительно-языковая модель Tencent Youtu Lab с плотной архитектурой на 4,8 млрд параметров, построенная на Youtu-LLM. Модель принимает изображения и текст и формирует текстовые ответы; контекст составляет до 32 768 токенов. В основе обучения лежит подход Vision-Language Unified Autoregressive Supervision (VLUAS), который использует общий мультимодальный словарь и обучает модель предсказывать визуальные и текстовые токены. Модель предназначена для вопросов и рассуждений по изображениям, распознавания текста на изображениях, анализа нескольких изображений, а также задач компьютерного зрения: обнаружения и подсчёта объектов, визуальной привязки, сегментации, оценки глубины и распознавания поз. Она также заявлена для мультимодальной математики и задач с графическим интерфейсом. Карточка отмечает конкурентные результаты на тестах, но не приводит здесь численных оценок. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия указана как other; конкретные условия следует проверять в лицензии репозитория.
JoyAI-Image Edit Plus — разработанная JD.com мультиизображенческая модель редактирования изображений по текстовой инструкции. Она принимает несколько референсных изображений и текстовое описание изменений, а затем создаёт новое изображение, сочетая элементы референсов согласно инструкции. В архитектуре используются текстовый энкодер Qwen3-VL-8B-Instruct на 8 млрд параметров, трансформер MMDiT JoyImageEditPlusTransformer3DModel на 16 млрд параметров и VAE AutoencoderKLWan на 240 млн параметров. Модель предназначена для редактирования и композиции изображений по нескольким визуальным источникам. Для работы используется Diffusers; указанная в карточке лицензия — Apache-2.0. В README отмечено, что JoyImageEditPlusPipeline ещё не включён в официальный стабильный выпуск Diffusers, поэтому для запуска требуется версия из ветки PR. Рекомендуемые параметры генерации: 30 шагов и guidance scale 4.0.
LLaDA-Image — открытая унифицированная модель генерации и редактирования изображений, разработанная InclusionAI. Это чекпойнт на 6 млрд параметров в формате Diffusers и safetensors; модель использует диффузионный подход и принимает текстовый запрос, а для редактирования — также исходное изображение. Базовая версия предназначена для генерации изображений высокого качества и редактирования по инструкции, а отдельная версия Turbo ускоряет эти сценарии за счёт дистилляции и генерации за 2–4 шага. Модель ориентирована на фотореалистичные сцены, изображения с естественным освещением и деталями, плакаты с читаемым текстом, а также точечные изменения с сохранением содержимого исходного изображения. Поддерживаются английский и китайский языки, включая отрисовку текста на них. Для обычной генерации рекомендовано 50 шагов; Turbo рассчитана на быстрый вывод. Репозиторий предоставляет веса и код инференса на Diffusers, тогда как код обучения на момент карточки не опубликован. Лицензия — Apache-2.0.
vantagewithai/Qwen-Image-2.1-ComfyUI-GGUF — это GGUF-квантизированная версия модели Qwen-Image-2.1, адаптированная для использования в ComfyUI. Исходную модель разработала команда Qwen; данный вариант распространяется автором vantagewithai и основан на Qwen/Qwen-Image-2.1. Модель предназначена для генерации изображений по текстовому описанию и редактирования изображений. Она поддерживает создание обычных и прозрачных RGBA-изображений, работу с прозрачными слоями, выделение объектов на фотографиях, локальные правки с помощью кругов, нарисованных аннотаций или отдельных масок, а также использование до 10 референсных изображений. Заявлена возможность сохранять идентичность людей и товаров при редактировании. Поддерживаются соотношения сторон от 1:1 до 16:9 и 9:16 с разрешениями вплоть до 2752×2752 в зависимости от формата. Визуальный генеративный компонент содержит 7 миллиардов параметров и построен на архитектуре Single-Stream DiT с 32 слоями. В модели используются смешанное по гранулярности внимание и повторное использование prefix KV cache, что направлено на повышение эффективности вывода. Среди сильных сторон заявлены улучшенная отрисовка текста, реалистичные текстуры, портретное освещение, детализированная генерация и единая поддержка создания и редактирования изображений. Сведения о поддерживаемых языках, максимальном текстовом контексте и конкретных характеристиках квантизации в README не указаны. Модель распространяется по лицензии Qwen Research License Agreement; условия следует уточнять в файле LICENSE исходного репозитория.
Nano Banana Pro — модель Google для генерации и редактирования изображений на основе Gemini 3 Pro. Она предназначена для создания изображений по текстовым запросам и изменения существующих изображений с использованием мультимодального рассуждения и привязки к реальному миру.
Nano Banana Pro — модель Google для генерации и редактирования изображений на основе Gemini 3 Pro. Она предназначена для создания изображений по запросу и изменения существующих изображений с использованием мультимодального рассуждения и привязки к реальному миру.
JoyAI-Video-Edit — система потокового редактирования видео по текстовым инструкциям, разработанная командой JoyAI. Она принимает видеопоток с камеры или загруженный ролик и последовательно изменяет кадры по мере их поступления, поддерживая открытые по длительности потоки и не ожидая обработки всего видео. Архитектура включает MLLM-кодировщик условий, каузальный видео-VAE и мультимодальный диффузионный трансформер на 16 млрд параметров с авторегрессионной генерацией. Заявлена производительность до 30 кадров/с при разрешении 720 × 1248 в развернутом конвейере. Модель предназначена для редактирования объектов и отдельных областей, изменения фона и движения, переноса стиля, а также редактирования с опорным изображением. Разработчики сообщают об улучшенной сохранности объектов и их идентичности при работе с референсом и о повышении временной согласованности длинных потоков. Для запуска нужны опубликованные веса и код развертывания; производительность зависит от оборудования и конфигурации. Репозиторий распространяется по лицензии Apache-2.0.
LFM2.5-VL-450M-Extract-MLX-bf16 — конвертированная в формат MLX версия компактной мультимодальной модели Liquid AI LFM2.5-VL-450M-Extract для устройств Apple Silicon. Она принимает изображения и описание полей, которые нужно извлечь, и возвращает значения в строгом формате JSON; поддерживаются определения полей через YAML и ограничения на допустимые значения. В языковой части около 350 млн параметров, также используется визуальный энкодер SigLIP2 примерно на 100 млн параметров. Модель работает в точности bfloat16 через MLX и mlx-vlm; заявленный расход объединённой памяти при инференсе — около 900 МБ. Модель предназначена для извлечения структурированных сведений из изображений, например характеристик видимых объектов или поверхностей. Карточка указывает английский язык. Репозиторий основан на LiquidAI/LFM2.5-VL-450M-Extract; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверить с лицензией базовой модели и репозитория.
OmniGen-v1 — универсальная модель генерации изображений, представленная авторами проекта OmniGen. Она принимает текстовые и визуальные подсказки и предназначена для генерации изображений по тексту, редактирования изображений и создания изображений с учетом референсов или заданного объекта и его идентичности. Модель объединяет эти сценарии в одном решении без дополнительных модулей вроде ControlNet и отдельной предварительной обработки изображений. Модель содержит 3,7 млрд параметров, использует плотную архитектуру на базе Phi-3 и распространяется в формате safetensors. В карточке Hugging Face указана задача text-to-image; README также описывает генерацию по изображениям и мультимодальным подсказкам. Для запуска доступен код инференса, а авторы предоставляют возможность дообучения, включая LoRA. Репозиторий создан в октябре 2024 года. OmniGen позиционируется как гибкий инструмент для разнообразных задач генерации и редактирования изображений. Авторы отмечают, что модель пока имеет возможности для улучшения; при работе с несколькими изображениями могут потребоваться настройки размера входных изображений, а для снижения потребления памяти предусмотрена выгрузка части модели. Лицензия — MIT.
PaliGemma 2 28B PT 896 — базовая мультимодальная модель Google для обработки изображений и текста. Она объединяет визуальную модель SigLIP с языковой моделью Gemma 2 и принимает изображения размером до 896 × 896 пикселей вместе с текстом; на выходе генерирует текст. Модель доступна в формате bfloat16 для дообучения, а последовательности входного и выходного текста рассчитаны на 512 токенов. Модель предназначена прежде всего для дообучения под задачи компьютерного зрения и языка: создания подписей к изображениям и коротким видео, ответов на вопросы по изображению, чтения текста, обнаружения и сегментации объектов. Среди возможных специализированных сценариев — анализ спутниковых снимков, описание элементов интерфейса и помощь людям с нарушениями зрения. Для разметки рамками и масками требуется соответствующая настройка задачи. PaliGemma 2 разработана Google и основана на открытых компонентах; поддерживает несколько языков, но карточка не перечисляет их коды. Это модель для одного раунда взаимодействия, а не многоходовый чат-бот. Она может ошибаться в фактах и сложных рассуждениях, хуже справляться с расплывчатыми запросами, а качество без дообучения на конкретную задачу может быть ниже, чем у специализированных моделей. Использование регулируется условиями Gemma и политикой запрещённого использования Gemma.
PaliGemma 2 3B Mix 224 — мультимодальная модель Google на основе Gemma 2 и SigLIP, принимающая изображение и текст и генерирующая текст. Версия Mix объединяет несколько вариантов обучения для разных задач компьютерного зрения и языка; модель рассчитана прежде всего на дообучение под специализированные сценарии. Она подходит для создания подписей к изображениям, визуальных ответов на вопросы, чтения текста на изображениях (OCR), обнаружения и сегментации объектов. Также семейство предназначено для подписей к коротким видео и специализированных задач, например анализа снимков дистанционного зондирования, интерфейсов или научных изображений. Карточка подтверждает поддержку нескольких языков, но не перечисляет их коды. Репозиторий использует формат safetensors и библиотеку Transformers. Модель лучше работает с ясными инструкциями; качество в режиме без дообучения может уступать моделям, созданным для универсального общения. Она не является многоходовым чат-ботом и может ошибаться в фактах, рассуждениях и понимании языковых нюансов. Возможны смещения и генерация вредного или вводящего в заблуждение текста. Лицензия — gemma; применение регулируется условиями и политикой использования Gemma.
Qwen-Image-2.1 — модель семейства Qwen для генерации изображений по тексту и редактирования изображений. В README указана визуальная генеративная часть размером 7 млрд параметров: она построена на 32 слоях Single-Stream DiT. Модель поддерживает создание обычных и прозрачных изображений в формате RGBA, редактирование прозрачных слоёв и выделение объектов на фотографиях. Модель предназначена для генерации изображений по текстовому описанию и редактирования с опорой до 10 референсных изображений. Для задания локальных изменений можно использовать круги, нарисованные пометки или отдельные маски; также заявлено сохранение внешности людей и товаров. Среди заявленных улучшений — отрисовка текста, текстуры, освещение портретов и детализация. Репозиторий содержит веса в формате safetensors для Diffusers. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
Qwen-Image-Edit-2511 — модель редактирования изображений, созданная командой Qwen и опубликованная Unsloth как зеркало исходного репозитория. Согласно карточке, веса не изменены. Модель работает через библиотеку Diffusers и распространяется в форматах Diffusers и safetensors. Модель предназначена для правок по запросу с сохранением содержания исходного изображения. Среди описанных сценариев — сохранение внешности персонажей в одиночных и групповых изображениях, объединение портретов в общий снимок, изменение освещения и ракурса, создание вариантов промышленного дизайна и добавление геометрических вспомогательных линий. В версии 2511 также заявлены снижение дрейфа изображения и встроенная поддержка ряда популярных LoRA. В метаданных указана задача image-to-image, а языки карточки — английский и китайский. Лицензия — Apache-2.0; README сообщает, что применяются исходные условия лицензирования Qwen/Qwen-Image-Edit-2511.
SaShi 1.0 Vision — мультимодальная модель для работы с изображениями, разработанная ftmdeveloperz006, двумя авторами из Варанаси, Индия. Она объединяет генерацию изображений по текстовому описанию, преобразование и стилизацию существующих изображений, а также ответы на вопросы по изображениям и распознавание текста на хинди и английском языках. В карточке заявлены фотореалистичная генерация, работа с индийскими культурными памятниками, портретами, эскизами, чеками, вывесками и диаграммами. Модель распространяется в формате Diffusers с весами safetensors по лицензии Apache-2.0. Метаданные указывают задачу visual-question-answering, тогда как каталог также относит её к text-to-image; README заявляет обе задачи, а также преобразование изображений. Заявление о разрешении 8K содержится в тегах и карточке, но подробности архитектуры, размера и длины контекста не приводятся.
Emu3.5-Image — модель генерации изображений от команды Emu3.5 компании BAAI. Она предназначена для создания изображений по текстовым описаниям и по одному или нескольким референсным изображениям, в том числе для редактирования и преобразования изображений. Модель основана на плотной авторегрессионной архитектуре Emu3 и обучена предсказывать последовательности визуальных и текстовых токенов. Веса содержат 30,4 млрд параметров, модель работает с контекстом до 32 768 токенов и принимает визуально-текстовые последовательности. В отличие от общей модели Emu3.5, эта версия специально оптимизирована для одиночной генерации изображений по тексту и референсам. Для генерации доступны разные пропорции сторон и потоковая выдача. В README отмечено, что генерация без ускорения DiDA может занимать несколько минут на изображение. Модель распространяется под лицензией Apache 2.0.
Карточка модели BAAI/OmniGen-v1 на Hugging Face совпадает с карточкой Shitao/OmniGen-v1, поэтому описание составлено по ней. OmniGen-v1 — универсальная модель генерации изображений, представленная авторами проекта OmniGen. Она принимает текстовые и визуальные подсказки и предназначена для генерации изображений по тексту, редактирования изображений и создания изображений с учетом референсов или заданного объекта и его идентичности. Модель объединяет эти сценарии в одном решении без дополнительных модулей вроде ControlNet и отдельной предварительной обработки изображений. Модель содержит 3,7 млрд параметров, использует плотную архитектуру на базе Phi-3 и распространяется в формате safetensors. В карточке Hugging Face указана задача text-to-image; README также описывает генерацию по изображениям и мультимодальным подсказкам. Для запуска доступен код инференса, а авторы предоставляют возможность дообучения, включая LoRA. Репозиторий создан в октябре 2024 года. OmniGen позиционируется как гибкий инструмент для разнообразных задач генерации и редактирования изображений. Авторы отмечают, что модель пока имеет возможности для улучшения; при работе с несколькими изображениями могут потребоваться настройки размера входных изображений, а для снижения потребления памяти предусмотрена выгрузка части модели. Лицензия — MIT.
PaliGemma 2 28B — разработанная Google базовая модель компьютерного зрения и языка. Она объединяет визуальный энкодер SigLIP с языковой моделью Gemma 2 и принимает изображения размером 448×448 пикселей вместе с текстом; длина текстовой последовательности на входе и выходе — до 512 токенов. Веса доступны в формате bfloat16 для дообучения. Модель предназначена прежде всего для настройки под конкретные задачи: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Возможные специализированные сценарии включают анализ снимков дистанционного зондирования, описание элементов интерфейса и ответы на визуальные вопросы. Модель поддерживает несколько языков, но их перечень в предоставленных данных не уточнён. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma. Это базовая модель для однократного запроса с изображением и текстом, а не многоходовый чат-бот; для специализированных задач рекомендуется дообучение. Она может ошибаться в фактах и рассуждениях, хуже справляться с неоднозначными или сложными открытыми запросами, а также отражать предвзятость данных обучения. Для применения нужны проверки качества и меры безопасности.
PP-DocBlockLayout_onnx — модель PaddlePaddle/PaddleOCR для обнаружения и локализации блоков компоновки в изображениях документов. Она предназначена для предварительного анализа китайских и англоязычных научных статей, презентаций, журналов, контрактов, книг, экзаменационных материалов, древних книг и исследовательских отчётов, а также других документов со сложной структурой. Модель принимает изображения и выявляет области типа Region, что может использоваться в OCR-конвейерах и системах структурированного разбора документов. В основе модели лежит архитектура RT-DETR-L; доступен вариант для выполнения через ONNX Runtime. В README заявлена одна категория обнаружения — Region, а показатель mAP@0.5 составляет 95,9% на собственной тестовой выборке, включающей около 1000 изображений различных типов документов. Данные о точном размере модели, максимальном контексте, поддерживаемых языках сверх китайского и английского, вычислительных требованиях и ограничениях на конкретные форматы изображений не приведены. Модель распространяется по лицензии Apache 2.0.
PaddlePaddle PP-LCNet_x1_0_doc_ori_safetensors — модель классификации ориентации изображений документов на базе архитектуры PP-LCNet. Она определяет поворот документа или удостоверения личности, чтобы изображение можно было скорректировать перед распознаванием текста. Модель предназначена для использования в конвейерах обработки сканов и фотографий документов, помогая повысить точность последующего OCR. Репозиторий содержит веса в формате safetensors; для работы с моделью указана библиотека PaddleOCR. В карточке заявлена лицензия Apache-2.0. Метаданные указывают поддержку английского и китайского языков; модель анализирует изображения и выдаёт результат классификации ориентации. Количественные метрики качества в доступном описании не приведены.
RefControl FLUX.2 Klein 9B Reference Depth LoRA — адаптер LoRA от thedeoxen для базовой модели black-forest-labs/FLUX.2-klein-base-9B. Он предназначен для image-to-image генерации и редактирования изображений: объединяет референсное изображение с картой глубины, сохраняя идентичность и стиль объекта или персонажа и перенося его в позу, композицию или сцену, заданную глубиной. Основные сценарии включают портреты людей в разных позах, создание согласованного дизайна персонажей, трансформацию объектов, раскадровки, комиксы и генерацию кадров для анимации. Модель ориентирована преимущественно на людей, но также работает с объектами и стилизованными персонажами. Для использования требуется базовая FLUX.2 Klein 9B Base, триггерное слово refcontrol и карта глубины; рекомендуемый вес LoRA составляет 0,8–1,0. Лучше всего результат получается, когда масштаб и пропорции объекта на карте глубины близки к референсу. Поддерживается комбинирование с текстовыми промптами и другими совместимыми RefControl LoRA, например для управления позой, lineart или canny. README не указывает точные языки, размер адаптера или дополнительные модальности; базовая модель описана как вариант для примерно 50 шагов инференса с guidance_scale около 4,0. Для извлечения глубины в ComfyUI необходимы узлы depth estimation, например из comfyui_controlnet_aux. Распространение заявлено по лицензии Apache-2.0. Ограничения включают зависимость от базовой модели и карты глубины, а также снижение качества при сильном расхождении масштаба или пропорций между референсом и картой глубины.
DatologyAI CLIP Retrieval Optimized ViT-B/32 — контрастивная модель «изображение—текст», разработанная DatologyAI на базе архитектуры CLIP и обученная с помощью OpenCLIP. Она предназначена для поиска соответствий между изображениями и текстовыми запросами: поддерживает поиск изображений по описанию и подбор описаний к изображениям, а также классификацию изображений по текстовым меткам без отдельного обучения на этих классах. Модель использует визуальный энкодер ViT-B/32 с патчами 32×32 и входным размером изображения 224×224, а также 12-слойный текстовый Transformer с контекстом 77 токенов; размерность эмбеддингов — 512. Обучающие пары изображений и текста отобраны из DataComp-XL с использованием пайплайна курирования DatologyAI. В README приведены результаты на MSCOCO и Flickr30K, однако они не гарантируют аналогичного качества на других распределениях данных. Модель принимает изображения и текст, выдаёт векторные представления для сопоставления и оценки близости. Лицензия — Apache 2.0.
vikp/surya_layout3 — модель анализа структуры документов для проекта Surya, представленная в Hugging Face. Она предназначена для сегментации изображений страниц на области макета, например при разборе документов и подготовке их к OCR. Модель построена на архитектуре EfficientViT и содержит 38,5 млн параметров; карточка показывает загрузку через EfficientViTForSemanticSegmentation в Transformers. Для распознавания макета модель принимает изображение страницы и выдаёт сегментационную разметку. Карточка указывает лицензию CC BY-NC-SA 4.0. Отдельные сведения о языковой поддержке в карточке не приводятся; сама задача анализа визуальной структуры не требует языкового ввода.
Bernini-R 1.3B ComfyUI bundle — облегчённая сборка модели для редактирования изображений и видео, опубликованная neuregex. В репозитории есть рендерер на 1,3 млрд параметров, VAE и текстовый энкодер; доступны веса BF16 Safetensors и варианты GGUF с квантованием. Модель представляет собой одноэкспертную доработку Wan2.1-T2V-1.3B и предназначена для запуска в ComfyUI на менее мощных видеокартах. Сборка рассчитана на редактирование по изображению и текстовому запросу: перенос стиля, удаление водяных знаков и субтитров, локальные правки. По заявлению карточки, на простых изменениях она близка по результатам к 14B-сборке, но уступает ей на сложных задачах. Для работы нужны ComfyUI-BerniniR и ComfyUI-GGUF; лицензия — Apache-2.0.
FireRed-Image-Edit-1.0-8bit — это 8-битная версия модели FireRed-Image-Edit-1.0 от FireRedTeam, подготовленная prithivMLmods. Она использует диффузионную архитектуру для редактирования изображений по текстовым инструкциям; модель работает через Diffusers и рассчитана на уменьшение требований к памяти и ускорение вывода по сравнению с исходной версией. Модель предназначена для восстановления фотографий, добавления и изменения объектов, переноса стиля, виртуальной примерки одежды по нескольким изображениям и редактирования текста с учётом его расположения на изображении. В README также заявлены сохранение идентичности объектов и точности текста при редактировании. Для работы с моделью указана библиотека Diffusers, а лицензия — Apache-2.0; условия исходной модели распространяются и на эту версию.
Карточка модели 5enJie/FireRed-Image-Edit-1.1 на Hugging Face совпадает с карточкой FireRedTeam/FireRed-Image-Edit-1.1, поэтому описание составлено по ней. FireRed-Image-Edit-1.1 — универсальная модель редактирования изображений от FireRedTeam, обновлённая версия FireRed-Image-Edit-1.0. Модель принимает изображение и текстовые инструкции для его изменения; в карточке указана поддержка английского и китайского языков. Для обработки используется библиотека Diffusers, веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для творческого и профессионального редактирования: заявлены сохранение узнаваемости людей и персонажей при сложных изменениях, объединение множества элементов, ретушь портретов и макияжа, работа с типографикой, реставрация старых фотографий и виртуальная примерка. README также сообщает об агентном сценарии обработки нескольких изображений, поддержке обучения LoRA и оптимизациях для ускорения генерации. Заявления о качестве и скорости приведены разработчиком; независимые условия воспроизведения этих результатов в карточке не описаны.
NLLB-SigLIP-MRL — мультиязычная модель для сопоставления изображений и текста, объединяющая текстовый энкодер NLLB и визуальный энкодер SigLIP. Она предназначена для поиска изображений по текстовым запросам и поиска текстовых описаний по изображениям на языках Flores-200. Модель создаёт совместные эмбеддинги размером 768, а также укороченные векторы размером 32, 64, 128, 256 и 512 благодаря варианту Matryoshka Representation Learning. Согласно карточке, размеры 256 и 512 сохраняют более 90% качества полного представления; приведены результаты на наборах Crossmodal-3600 и XTD10. Репозиторий содержит веса PyTorch и предназначен для работы через OpenCLIP. Модель разработана Visheratin. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не описывает длину контекста; для задач поиска модель формирует векторы вместо обычного текста.
PP-OCRv5_mobile_rec_onnx — компактная модель распознавания текста в строках из семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она предназначена для извлечения текста из изображений и может использоваться в сценариях OCR, включая распознавание печатного и рукописного текста, вертикального, искажённого и художественного текста, пиньиня, редких символов и древнекитайского текста. Модель поддерживает упрощённый и традиционный китайский, английский и японский языки. Доступен вариант для запуска через ONNX Runtime, включая GPU-окружение. В README не указаны точная архитектура, количество параметров, размер модели и максимальная длина контекста. Заявленные показатели зависят от типа текста: среднее значение составляет 0,8015, а для печатного китайского и английского — 0,8605 и 0,8753 соответственно; для рукописного и художественного текста результаты ниже. Метрики используют строгий критерий: ошибка любого символа или знака пунктуации делает неверной всю строку. Модель ориентирована на эффективное и универсальное распознавание текста одной моделью, но её качество может существенно различаться между типами данных, языками и сложными сценариями. Распространяется по лицензии Apache-2.0.
mikoy92 подготовил MLX-версию компактной модели распознавания текста PP-OCRv6 small на основе PaddlePaddle/PP-OCRv6_small_rec_safetensors. Модель принимает изображение и выдаёт распознанный текст; пример использования показывает запуск через mlx-vlm и постобработку результата распознавания. Модель предназначена для OCR-сценариев, где требуется извлечь текст из изображения на устройствах Apple с использованием MLX. В метаданных указаны английский и китайский языки, библиотека MLX и лицензия Apache-2.0. Размер модели и длина контекста не указаны в предоставленных данных.
arthurcollet/Qwen3-VL-Embedding-2B-mlx — конвертированная в формат MLX мультимодальная модель эмбеддингов на основе Qwen3-VL-Embedding-2B. README указывает, что конверсия выполнена с помощью mlx-vlm версии 0.3.11; метаданные связывают модель с Qwen/Qwen3-VL-2B-Instruct и относят её к семейству Qwen3-VL. Модель предназначена для извлечения признаков из мультимодальных данных. Формат MLX рассчитан на запуск в экосистеме Apple MLX. Репозиторий распространяется по лицензии Apache-2.0. README отсылает к карточке исходной модели за подробностями; конкретные языки и ограничения в предоставленных данных не описаны.
RefControl FLUX.2 Klein 9B — это LoRA-адаптер, разработанный thedeoxen для базовой модели black-forest-labs/FLUX.2-klein-base-9B. Он предназначен для генерации и редактирования изображений по двум входным изображениям: карте позы со скелетом или ключевыми точками и референсному изображению персонажа, человека или объекта. Адаптер переносит позу и структуру тела с первой картинки, стараясь сохранить идентичность, внешность, стиль, одежду или характерные детали со второй. Модель ориентирована прежде всего на людей, но поддерживает стилизованных персонажей и некоторые объекты. Она подходит для позирования персонажей в иллюстрациях, комиксах и раскадровках, создания согласованных изображений одного персонажа в разных позах, репозинга и подготовки ключевых кадров для анимации. Для активации рекомендуется использовать фразу «apply pose from image 1 with reference from image 2», а вес LoRA обычно задавать в диапазоне 0,8–1,0. Для извлечения позы в workflow ComfyUI используется DWPose через comfyui_controlnet_aux. Рекомендуемая базовая модель — недистиллированная FLUX.2-klein-base-9B, для которой указаны около 50 шагов генерации и guidance_scale около 4,0. Адаптер также работает с дистиллированной FLUX.2-klein-9B в режиме примерно 4 шагов и guidance_scale около 1,0, однако качество сохранения идентичности и точности позы может быть ниже. Наилучшие результаты ожидаются, когда карта позы имеет близкие к референсу масштаб и пропорции; существенно отличающиеся кадрирование и размеры тела могут ухудшать результат. Лицензия модели — Apache-2.0.