I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельmicrosoft/trocr-small-handwritten — компактная модель TrOCR от Microsoft для распознавания рукописного текста на изображениях отдельных строк. Она дообучена на наборе IAM и предназначена для оптического распознавания текста (OCR). Модель использует архитектуру encoder-decoder: Transformer обрабатывает изображение, разбитое на патчи 16×16, а текстовый Transformer авторегрессионно генерирует распознанные токены. Энкодер основан на весах DeiT, декодер — UniLM. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
Youtu-VL-4B-Instruct-GGUF — компактная мультимодальная vision-language модель, разработанная Tencent Youtu Lab на базе Youtu-LLM. Модель предназначена для обработки изображений и текста в сценариях визуального вопросно-ответного взаимодействия, мультимодального рассуждения, OCR, анализа нескольких изображений, понимания реальных сцен, оценки галлюцинаций и задач GUI-агента. Она также ориентирована на визуальное grounding, классификацию изображений, детекцию объектов, подсчёт объектов и оценку позы человека. Модель содержит 4 млрд параметров и распространяется в формате GGUF для запуска с llama.cpp. В её основе лежит подход Vision-Language Unified Autoregressive Supervision (VLUAS), при котором визуальные и текстовые токены участвуют в едином авторегрессионном обучении. Это позволяет использовать стандартную архитектуру vision-language модели без специализированных модулей для разных задач и способствует сохранению детальной визуальной информации. Поддерживаются текст и изображения, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся компактный размер, эффективность и широкий спектр общих мультимодальных и визуальных сценариев. Существенное ограничение GGUF-версии заключается в том, что она не поддерживает задачи плотного предсказания, включая сегментацию и оценку глубины; для них рекомендуется исходная версия Youtu-VL-4B-Instruct на Transformers. Модель доступна по специальной лицензии youtu-vl; также указано ограничение доступа для пользователей из Европейского союза.
cyrillic_PP-OCRv5_mobile_rec — мобильная модель распознавания строк текста семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она принимает изображение строки и преобразует текст на кириллице в строку; модель можно использовать как компонент OCR-системы или в конвейере PP-OCRv5 вместе с обнаружением текста и другими модулями обработки изображения. Заявленная точность составляет 80,27%; при оценке строка считалась ошибочной, если в ней неверен хотя бы один символ, включая пунктуацию. Это специализированный распознаватель строк, поэтому для полного извлечения текста из документа обычно требуется конвейер с обнаружением текстовых областей. Модель распространяется по лицензии Apache-2.0.
Perception Encoder Language G14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный для мультимодальных языковых сценариев. Модель извлекает визуальные признаки и предназначена для подключения к языковому декодеру, например Llama или Qwen; в карточке приведены результаты связки с Llama 3.1 8B. Особенно хорошо энкодер показывает себя в задачах OCR и анализа документов, а также в визуальном поиске и понимании изображений и видео. Чекпойнт G/14 с разрешением 448 пикселей использует контрастивное предварительное обучение и дополнительное выравнивание для языкового моделирования. В сравнении с L14-448 в описанном авторами тестировании с замороженным энкодером он показал более высокие результаты на DocVQA, InfoQA, TextVQA и ряде видеобенчмарков. Для практического применения как мультимодальной языковой модели нужен совместимый языковой декодер. Модель опубликована под лицензией Apache-2.0.
Qwen3-VL-8B-NSFW-Caption-V4.5 — мультимодальная модель для подробного описания изображений, созданная на базе Qwen/Qwen3-VL-8B-Instruct с помощью дообучения LoRA. Разработчик в README называет модель thesby, тогда как идентификатор репозитория указывает monkeyslikebananas. Модель генерирует развернутые описания сцен, отмечая объекты, обстановку, эмоции, материалы и освещение. Она рассчитана на автоматическую разметку и каталогизацию изображений, помощь в доступности и анализ SFW- и NSFW-контента; также заявлена поддержка описания коротких видео. В основе — плотная архитектура Qwen3-VL с 8 млрд параметров; модель принимает визуальный ввод и формирует текст. Карточка указывает поддержку китайского и английского языков. README заявляет высокое качество и длинные описания, однако эти оценки не сопровождаются независимыми результатами тестирования. Возможны галлюцинации, предвзятость и ошибки при классификации пограничного SFW/NSFW-контента; для важных решений требуется проверка человеком. Лицензия — Apache-2.0.
VARCO-VISION-2.0-1.7B-OCR — компактная модель распознавания текста на изображениях от NCSOFT. Она построена на архитектуре LLaVA-OneVision и объединяет визуальную основу SigLIP 2 SO400M с языковой моделью Qwen3-1.7B. Модель распознаёт корейский и английский текст, включая документы со смешанными письменностями. В отличие от распознавания, которое возвращает только текст, модель также определяет положение каждого символа и выдаёт его координаты в ограничивающей рамке. Она предназначена для структурированного OCR в реальных сценариях, в том числе для приложений с ограниченными вычислительными ресурсами и обработки в реальном времени. В README приведены результаты на наборах CORD, ICDAR2013 и ICDAR2015; показатели различаются по бенчмаркам. Для изображений меньше рекомендуемого размера авторы советуют увеличить длинную сторону как минимум до 2304 пикселей. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Core-Embed-2B — мультимодальная модель эмбеддингов, разработанная Alibaba-NLP на архитектуре Qwen3-VL. Она преобразует текст и изображения в плотные векторы для поиска и сопоставления, уделяя особое внимание композиционным связям между атрибутами и объектами: например, различает изображение с белой тарелкой и чёрным стулом от изображения с обратным сочетанием цветов. Модель содержит 2 млрд параметров и рассчитана на извлечение признаков из текста и изображений. Модель обучена дистилляцией оценок ранжирования: её эмбеддинги учатся сохранять градации соответствия между запросом и кандидатами, включая ошибки атрибутов и объектов. Это помогает выполнять тонкий мультимодальный поиск, сохраняя качество обычного поиска изображений и текстов. Для запуска требуется версия Transformers с поддержкой Qwen3-VL. Модель распространяется по лицензии CC BY 4.0. Карточка описывает семейство и результаты Core-Embed-8B, но не приводит отдельные численные оценки для версии 2B.
TrOCR-large-str — модель оптического распознавания текста, разработанная Microsoft и дообученная на наборах IC13, IC15, IIIT5K и SVT для распознавания текста на изображениях отдельных строк. Она предназначена для преобразования изображения строки текста в последовательность символов, например при оцифровке фотографий и сканов с короткими надписями. Модель построена по архитектуре encoder-decoder: визуальный Transformer-кодировщик обрабатывает изображение как последовательность патчей размером 16×16, а текстовый Transformer-декодировщик авторегрессионно формирует распознанный текст. Кодировщик инициализирован весами BEiT, декодировщик — RoBERTa. Репозиторий содержит веса PyTorch. Модель рассчитана на распознавание одной текстовой строки за раз; для целых страниц или документов потребуется предварительно выделить строки. Лицензия в предоставленных данных не указана.
Kiri OCR — компактная модель оптического распознавания текста для английских и кхмерских документов, разработанная автором библиотеки Kiri OCR. Она обнаруживает строки и слова на изображении документа и распознаёт печатный текст, в том числе смешанный английский и кхмерский. Модель содержит 7,6 млн параметров и использует CNN-основу для обработки изображения, трансформерный энкодер-декодер и CTC-голову. В декодировании сочетаются beam search, CTC и языковая модель. В README указано обучение на 12 млн синтетических изображений строк на кхмерском и английском; метаданные подтверждают форматы ONNX и safetensors. Модель рассчитана на компактное и быстрое распознавание текста. Модель распространяется по лицензии Apache-2.0. Описанные результаты тестирования относятся к синтетическим изображениям с популярными шрифтами; качество на реальных документах может отличаться.
LLaVE-0.5B — мультимодальная модель встраивания, дообученная на базе LLaVA-OneVision-Qwen2-0.5B-OV. Она предназначена для получения представлений текста, изображений, нескольких изображений и видео, которые можно использовать для поиска и сопоставления содержимого. В README заявлены сильные результаты на наборе MMEB и перенос на поиск по видео без дополнительного обучения; модель обучалась на 662 тысячах пар. По метаданным, модель содержит 357,8 млн параметров, использует архитектуру LLaVA с Qwen2, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0. README также описывает контекстное окно в 4K токенов, что расходится с длиной контекста из метаданных.
strangervisionhf/deepseek-ocr-latest-transformers — экспериментальная копия весов DeepSeek OCR с исправленной конфигурацией для совместимости с актуальными версиями библиотеки Transformers. Модель семейства DeepSeek-VL-v2 имеет архитектуру DeepseekOCRForCausalLM, содержит 559,7 млн параметров и принимает изображения для генерации текстового ответа; её основное назначение — распознавание текста на изображениях и задачи визуально-языкового взаимодействия. Для работы в карточке приведён пример с Transformers 4.57.1, PyTorch и CUDA. Указаны английский язык и контекст 8192 токена. Модель распространяется по лицензии MIT. Автор предупреждает, что эта версия экспериментальная, рекомендует использовать более новые версии и сообщает, что копия весов не предназначена для иных целей.
Heretic-org/LFM2.5-VL-3B-heretic — мультимодальная модель для диалога по тексту и изображениям, созданная как decensored-версия LiquidAI/LFM2.5-VL-3B с помощью Heretic v1.4.0. Она предназначена для быстрых одношаговых задач, включая распознавание объектов и их локализацию по запросу, OCR с разметкой структуры страницы, ответы на вопросы по изображениям и перевод текста на изображениях. Модель использует гибридную архитектуру LFM2-VL: языковую основу LFM2.5-2.6B и визуальный энкодер SigLIP2 NaFlex. По карточке базовой модели, контекст составляет 32 768 токенов; поддерживаются текст и изображения, а список языков охватывает 17 языков, включая русский. В README указано, что базовая модель рассчитана на локальный запуск и может обрабатывать изображения высокого разрешения фрагментами. Версия Heretic заметно реже отказывает в ответах, чем исходная модель: в приведённом сравнении отказы составили 6 из 100 запросов против 100 из 100 у оригинала; указано также KL divergence 0,0553. Модель не рекомендуется для задач с длинным контекстом и интенсивными рассуждениями, например сложного анализа чертежей. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с карточкой репозитория.
JEILDLWLRMA/Qwen3-VL-8B-Instruct-NVFP4 — мультимодальная vision-language модель для понимания изображений и генерации текста. Она основана на Qwen3-VL-8B-Instruct, разработанной командой Qwen, и использует архитектуру Qwen3VLForConditionalGeneration. Модель предназначена для описания изображений, визуального вопросно-ответного взаимодействия и других задач мультимодального анализа и генерации. Модель сжата в формат NVFP4 с применением SmoothQuant и инструмента llmcompressor. Веса квантизуются в 4-битный формат NVFP4 поканально, активации — поточечно с динамическим масштабированием; визуальный энкодер, lm_head и отдельные MLP gate-проекции исключены из квантизации для сохранения качества. Максимальная длина последовательности составляет 32 768 токенов. Поддерживается обработка изображений; сведения о полном наборе языков в README не указаны. Основные преимущества — уменьшенное примерно на 80% потребление памяти и потенциально более высокая скорость инференса на совместимых NVIDIA GPU, включая Jetson Thor. По заявлению README, типичное снижение качества относительно полноточной версии составляет 2–5%, однако результат зависит от задачи. Для работы требуется оборудование и программное окружение с поддержкой NVFP4; заявлена совместимость, в частности, с NVIDIA H100, A100 и Jetson Thor при подходящих версиях CUDA. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
TrOCR base-stage1 — базовая предварительно обученная модель распознавания текста на изображениях, представленная Microsoft и основанная на работе Li и соавторов. Она предназначена для OCR на изображениях с одной строкой текста; для прикладного распознавания рекомендуется искать дообученные версии под нужный тип данных. Модель построена по архитектуре encoder-decoder: трансформерный визуальный энкодер получает изображение как последовательность патчей 16×16, а трансформерный текстовый декодер авторегрессионно генерирует текст. Энкодер инициализирован весами BEiT, декодер — RoBERTa. Карточка не приводит сведений о языковой специализации, размере и лицензии, поэтому эти характеристики здесь не уточняются.
team-lucid/trocr-small-korean — корейская модель распознавания текста на изображениях семейства TrOCR, разработанная на архитектуре VisionEncoderDecoder. Она состоит из визуального трансформерного энкодера, инициализированного весами DeiT, и текстового трансформерного декодера с собственными весами RoBERTa. Модель обучалась на 6 млн синтетических изображений, созданных с помощью SynthTiger, при поддержке Google TPU Research Cloud. Модель предназначена для извлечения текста из изображений, прежде всего для распознавания корейского текста. Может применяться для оцифровки изображений с текстом и распознавания строк. Репозиторий содержит веса PyTorch, Flax и Safetensors. Лицензия — Apache 2.0.
Карточка модели Alibaba-NLP/core-reranker-2b на Hugging Face совпадает с карточкой Alibaba-NLP/core-emb-2b, поэтому описание составлено по ней. Core-Embed-2B — мультимодальная модель эмбеддингов, разработанная Alibaba-NLP на архитектуре Qwen3-VL. Она преобразует текст и изображения в плотные векторы для поиска и сопоставления, уделяя особое внимание композиционным связям между атрибутами и объектами: например, различает изображение с белой тарелкой и чёрным стулом от изображения с обратным сочетанием цветов. Модель содержит 2 млрд параметров и рассчитана на извлечение признаков из текста и изображений. Модель обучена дистилляцией оценок ранжирования: её эмбеддинги учатся сохранять градации соответствия между запросом и кандидатами, включая ошибки атрибутов и объектов. Это помогает выполнять тонкий мультимодальный поиск, сохраняя качество обычного поиска изображений и текстов. Для запуска требуется версия Transformers с поддержкой Qwen3-VL. Модель распространяется по лицензии CC BY 4.0. Карточка описывает семейство и результаты Core-Embed-8B, но не приводит отдельные численные оценки для версии 2B.
Document Seal Detector v1 — модель компьютерного зрения для поиска чернильных резиновых печатей на страницах документов. Она разработана для рабочих процессов обработки документов, например маршрутизации, помощи при проверке и выделения области печати для последующей верификации. Модель находит положение печати и возвращает ограничивающую рамку в координатах xyxy исходного изображения и оценку уверенности. Модель построена на архитектуре YOLOS с backbone на основе Vision Transformer и реализована как YolosForObjectDetection в библиотеке Transformers. Размер — 113,2 млн параметров. Она дообучена на страницах документов с проверенными аннотациями преимущественно круглых и овальных административных печатей; в обучении также использовались документы без печатей как сложные отрицательные примеры. Для исходного тестового набора указаны mAP@[0.50:0.95] 0,869 и mAP@0.50 1,0, но эти результаты не гарантируют качество на других источниках документов. Модель определяет наличие и расположение визуально похожей печати, но не проверяет её подлинность, юридическую силу или принадлежность. Она может хуже работать с прямоугольными, бледными, размытыми или перекрытыми печатями; на незнакомых макетах возможны ложные срабатывания на QR-коды, логотипы, штрихкоды, марки и наклейки. Для решений с юридическими, финансовыми или комплаенс-последствиями требуется проверка человеком. Лицензия в предоставленных данных не указана.
YOLOS Tiny для обнаружения рукописных подписей на изображениях документов. Модель разработал Mario DEFRANCE: он дообучил YOLOS Tiny от hustvl, основанную на Vision Transformer и обученную с функцией потерь DETR. Модель содержит 7,1 млн параметров и предназначена для поиска и локализации подписей в сканах договоров, форм и других документов. Она принимает изображения и выдаёт обнаруженные области с координатами и оценками. Модель компактна и в тестах автора показала более быстрое время инференса по сравнению с версиями YOLOS Small и Base; результаты замеров зависят от оборудования. Обучение проводилось на наборе из 2 819 изображений, объединённом из Tobacco800 и signatures-xc8up. Качество может снижаться на изображениях низкого качества, с шумом или необычными стилями подписей; возможны ложные срабатывания и пропуски. Модель рассчитана на обнаружение подписей, а не других объектов, и для важных юридических или финансовых решений требует проверки человеком. Лицензия — Apache 2.0.
CapRL-Qwen3VL-4B-GGUF — мультимодальная vision-language модель примерно на 4 млрд параметров, разработанная на основе internlm/CapRL-Qwen3VL-4B и Qwen3-VL-4B. Модель распространяется в формате GGUF с различными вариантами квантования и предназначена для обработки изображений и текста; заявленный язык — английский. Модель ориентирована прежде всего на генерацию подробных подписей к изображениям, визуальные вопросы и ответы, извлечение текста, а также анализ диаграмм, инфографики, документов и естественных изображений. По данным карточки, она обучалась с использованием двухэтапного Reinforcement Learning with Verifiable Rewards (RLVR) с оценкой качества подписей через vision-only LLM на тщательно отфильтрованном наборе разнообразных изображений. Заявлены широкий охват визуальной информации, структурированные ответы и сниженная склонность к галлюцинациям; возможна интеграция через vLLM OpenAI-compatible API с передачей изображений в формате base64. Сильными сторонами являются сочетание компактного размера, мультимодального понимания и поддержки большого числа уровней квантования, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают заявленную ориентацию на английский язык, отсутствие в предоставленных данных точного размера контекстного окна и подробных результатов бенчмарков, а также потенциальные потери качества в сильно квантованных вариантах. Модель распространяется по лицензии Apache-2.0.
Карточка модели Alibaba-NLP/core-reranker-8b на Hugging Face совпадает с карточкой Alibaba-NLP/core-emb-2b, поэтому описание составлено по ней. Core-Embed-2B — мультимодальная модель эмбеддингов, разработанная Alibaba-NLP на архитектуре Qwen3-VL. Она преобразует текст и изображения в плотные векторы для поиска и сопоставления, уделяя особое внимание композиционным связям между атрибутами и объектами: например, различает изображение с белой тарелкой и чёрным стулом от изображения с обратным сочетанием цветов. Модель содержит 2 млрд параметров и рассчитана на извлечение признаков из текста и изображений. Модель обучена дистилляцией оценок ранжирования: её эмбеддинги учатся сохранять градации соответствия между запросом и кандидатами, включая ошибки атрибутов и объектов. Это помогает выполнять тонкий мультимодальный поиск, сохраняя качество обычного поиска изображений и текстов. Для запуска требуется версия Transformers с поддержкой Qwen3-VL. Модель распространяется по лицензии CC BY 4.0. Карточка описывает семейство и результаты Core-Embed-8B, но не приводит отдельные численные оценки для версии 2B.
Netra-OCR — модель распознавания текста в строках, разработанная Darayut. Она принимает изображение одной строки и возвращает распознанный текст на кхмерском или английском языке. В репозитории есть актуальная версия с декодированием графемных кластеров и более ранняя символьная версия для совместимости; модель рассчитана на использование через Transformers и пакет netra-ocr. Модель содержит 17 млн параметров и обучена с нуля на 1,3 млн синтетических изображений строк. Архитектура объединяет сверточную сеть Squeeze-and-Excitation, Transformer-энкодер и Transformer-декодер; длинные строки разбиваются на перекрывающиеся фрагменты. Кластерное декодирование сокращает последовательности кхмерского текста примерно на 43%, а отдельная блоково-параллельная версия ускоряет декодирование примерно в 1,55 раза при том же результате. Модель предназначена для печатного текста. Она распознаёт только отдельные строки, поэтому для обработки страниц требуется предварительное обнаружение строк; пакет netra-ocr добавляет инструменты для анализа страниц и документов. Рукописный текст не входил в обучение. Лицензия — MIT.
PaliGemma 3B PT 224 — компактная предобученная модель зрения и языка от Google, построенная на визуальном энкодере SigLIP и языковой модели Gemma. Она принимает изображение и текст, а в ответ генерирует текст; вариант 224 использует разрешение изображений 224 пикселя. Модель предназначена прежде всего для дообучения под конкретные задачи, а не для готового универсального чат-бота. После адаптации модель можно применять для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения объектов и сегментации. Также возможна настройка для анализа снимков дистанционного зондирования, вопросов по науке, помощи людям с нарушениями зрения и объяснения элементов интерфейса. Поддерживаются несколько языков, но карточка не перечисляет их коды. Это одноходовая модель: она не предназначена для многошагового диалога. Без дообучения на целевой задаче качество может уступать специализированным моделям; ответы могут содержать фактические ошибки, а сложные запросы, нюансы языка и некоторые аспекты рассуждения могут даваться хуже. Репозиторий содержит веса Safetensors и распространяется по лицензии Gemma.
OpenVINO/Qwen3.8-27B-int8-ov — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с помощью NNCF. Она предназначена для задач понимания изображений и видео, визуально-языкового диалога, описания изображений и выполнения сложных многошаговых задач с гибким управлением режимом рассуждений. Модель поддерживает текстовые и визуальные входы, однако точные сведения о языках и размере контекста в README не указаны. Ключевые особенности — архитектура исходной native vision-language модели Qwen3.8-27B и асимметричное INT8-сжатие весов с коэффициентом 1.0, что может снизить требования к ресурсам и ускорить инференс при сохранении практической применимости. Модель имеет экспериментальный статус и не прошла полную валидацию с OpenVINO; для работы требуются версии OpenVINO, OpenVINO GenAI и Optimum Intel из веток nightly или development, а также Transformers 5.2. Распространяется по лицензии Apache-2.0.
TrOCR large printed — модель оптического распознавания символов, разработанная Microsoft и дообученная на наборе SROIE. Она предназначена для распознавания текста на изображениях отдельных строк, включая печатный текст и строки из документов; SROIE ориентирован на извлечение информации из чеков. Модель построена по архитектуре encoder-decoder: Transformer-энкодер изображений на основе BEiT преобразует изображение в последовательность патчей 16×16, а авторегрессионный текстовый декодер на основе RoBERTa генерирует распознанные токены. Модель принимает изображения и выдаёт текст. Карточка рекомендует использовать её для OCR отдельных текстовых строк; распознавание произвольных многострочных страниц напрямую не заявлено. Модель выпущена под лицензией MIT.
YOLOS-base-signature-detection — модель обнаружения объектов, дообученная Марио Дефрансом на базе hustvl/yolos-base для поиска рукописных подписей на изображениях документов. Она использует архитектуру YOLOS на основе Vision Transformer и выдаёт области изображения с обнаруженными подписями. Модель рассчитана на обработку сканов договоров, форм и других документов; её можно использовать в конвейерах проверки документов с последующей проверкой результатов человеком. Обучение проводилось на наборе изображений подписей, собранном из Tobacco800 и signatures-xc8up и подготовленном в формате COCO; в метаданных также указан набор tech4humans/signature-detection. Репозиторий содержит около 113,2 млн параметров, веса представлены в формате safetensors, для работы заявлена поддержка PyTorch через Transformers. Модель лицензирована по Apache 2.0. Она предназначена только для обнаружения подписей, не для поиска других объектов или проверки подлинности подписи. Возможны ложные срабатывания и пропуски; качество может снижаться на шумных, низкокачественных изображениях и при разнообразии стилей, недостаточно представленном в обучающих данных. Для юридически или финансово значимых процессов результаты следует проверять вручную.
Hiro-Layout — модель PatSnap для анализа структуры страниц патентных и технических PDF. Она обнаруживает и классифицирует области документа: текст, заголовки, таблицы, формулы, химические структуры, иллюстрации, подписи, библиографии и другие элементы, включая патентные разделы. Модель основана на RT-DETR; опубликованный артефакт — экспорт в ONNX. Таксономия включает 25 категорий. Карточка приводит результаты оценки на патентных PDF и NPD PDF, при этом качество зависит от категории и типа документа. Модель предназначена для поиска областей страницы и разметки макета как этапа обработки технических документов; Hiro-Smart-Doc использует её в процессе анализа макета и OCR. Модель принимает изображения страниц и выдаёт обнаруженные области с метками. В карточке заявлена поддержка китайского и английского языков. Условия лицензирования указаны как Apache-2.0. Модель может ошибаться на сканах низкого разрешения, повёрнутых страницах, рукописных документах, необычных форматах и ранее не встречавшихся шаблонах; для юридических и других важных процессов требуется проверка человеком.
PaliGemma — компактная модель «зрение—язык» на 3 млрд параметров, основанная на визуальном энкодере SigLIP и языковой модели Gemma. Она принимает изображение и текст, а в ответ генерирует текст; в README описаны входные изображения 224 × 224 и последовательности текста длиной до 128 токенов. Модель представлена в формате safetensors и предназначена прежде всего для дообучения под конкретные задачи, а не для диалога. После настройки под задачу PaliGemma подходит для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. README также приводит примеры специализированных сценариев: вопросы по снимкам дистанционного зондирования, помощь незрячим пользователям в понимании изображений и анализ элементов интерфейса. Упомянута поддержка нескольких языков, но конкретные языки для этой модели не перечислены. Модель может ошибаться в фактических ответах и испытывать трудности со сложными открытыми запросами, нюансами языка и здравым смыслом. Качество без дообучения под конкретную задачу может уступать специализированным моделям; PaliGemma рассчитана на один раунд ввода изображения и текста. Указана лицензия Gemma.
YOLOS-small-signature-detection — модель обнаружения объектов, дообученная Марио Дефрансом на базе hustvl/yolos-small для поиска рукописных подписей на изображениях документов. Она использует архитектуру Vision Transformer (YOLOS) и выдаёт расположение найденных подписей на изображении. Модель насчитывает 28,3 млн параметров и предназначена для работы с документами, включая сканы договоров и форм. Лицензия — Apache 2.0. Модель подходит для автоматического выделения областей с подписями при обработке документов. По данным README, обучение проводилось на наборе из примерно 2,8 тыс. изображений, объединяющем Tobacco800 и signatures-xc8up; тестовые показатели приведены для изображений 640×640. Качество может снижаться на изображениях низкого качества и при разнообразии стилей, недостаточно представленном в обучающих данных. Возможны ложные срабатывания и пропуски, поэтому результаты для юридически или финансово значимых решений следует проверять человеком. Модель не предназначена для обнаружения других объектов или подделки подписей.
CapRL-Qwen3VL-2B — мультимодальная модель для создания описаний изображений из серии CapRL 2.0, опубликованной авторами проекта CapRL. Она основана на архитектуре Qwen3-VL и принимает изображения с текстовыми запросами, выдавая текстовые описания. Версия на 2 млрд параметров ориентирована на скорость и экономию вычислительных ресурсов; авторы сообщают, что она превосходит CapRL-Qwen2.5VL-3B и Qwen2.5VL-72B в задачах описания изображений. Модель предназначена для подробного описания естественных изображений, диаграмм, инфографики и документов. В README описан подход CapRL с обучением на QA-данных и подкреплением с проверяемыми наградами; каталог указывает датасет internlm/CapRL-2M. В карточке заявлена лицензия Apache-2.0. Результаты могут содержать ошибки или пропускать визуальные детали; численные оценки качества и длина контекста в предоставленных данных не приведены.
fal/moondream2-docci-instruct — дообученная модель семейства Moondream для создания подробных описаний изображений. Она разработана на основе Moondream2 и обучена на наборах gokaygokay/random_instruct_docci и, согласно метаданным, google/docci. Модель принимает изображение и текстовый запрос, а в ответ генерирует текст; основное назначение — подробное описание визуальных сцен и объектов. Модель относится к архитектуре Moondream и распространяется в формате safetensors. Карточка указывает на использование Transformers и лицензию Apache-2.0. В README нет количественной оценки качества или описания предельного разрешения и контекста, поэтому эти характеристики здесь не приводятся.