/ Профессии
Универсальные способности и операции

I.4Обработка документов и форм

В разделе собраны самостоятельные задачи, где AI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеТекст
AI-задач
16
в этой профессии
Подходящих моделей
7 180
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеТекст

Рекомендованные модели

7 180 моделей
Загрузки
Лайки
Дата выхода
2 551–2 580 из 7 180
Onely7
llava-1.5-llm-jp-3.1-1.8b-instruct4

Onely7/llava-1.5-llm-jp-3.1-1.8b-instruct4 — японская визуально-языковая модель на архитектуре LLaVA 1.5, предназначенная для ответов на инструкции и вопросы по изображениям. Она принимает изображение и запрос на японском языке и формирует ответ на японском. Общий размер модели составляет около 2,18 млрд параметров: визуальный энкодер openai/clip-vit-large-patch14-336 связан с языковой моделью llm-jp/llm-jp-3.1-1.8b-instruct4 через двухслойный MLP-адаптер. Модель собрана из этих компонентов и обучена в два этапа: сначала на подписях к изображениям настраивался адаптер, затем на японских инструкциях обучались адаптер и LLM при замороженном визуальном энкодере. Модель подходит для визуальных вопросов и ответов, описания изображений и визуальных рассуждений. В карточке указаны контексты обучения до 2048 токенов на первом этапе и до 4096 на втором; это не гарантирует максимальную длину контекста при использовании. Разработчик подготовил модель для книги о мультимодальных моделях и ориентирует её на исследования и проверку. Лицензия — CC BY-NC-SA 4.0; для входящих в состав весов и данных также действуют условия их первоначальных лицензий.

1410авг. 2026
textimagecc-by-nc-sa-4.0hugging-face
mmaaz60
LLaVA-7B-Lightening-v1-1

LLaVA-7B-Lightening-v1-1 — мультимодальная модель семейства LLaVA на архитектуре LLaMA, собранная из базовой LLaMA-7B и delta-весов LLaVA-7B-Lightening-v1-1. Она предназначена для диалога по изображениям и генерации текстовых ответов на вопросы о визуальном содержимом. Модель содержит 6,6 млрд параметров, использует формат PyTorch и имеет контекст длиной 2048 токенов. Модель принимает изображения и текстовые запросы, а выдаёт текст. Карточка не сообщает, какие языки поддерживаются и на каких наборах данных обучалась модель. Лицензия — CC BY 4.0; возможности и качество могут зависеть от используемого способа подачи изображений и среды запуска.

55814июнь 2023ctx2K
textcc-by-4.0hugging-face
llava-hf
llava-next-110b-hf

LLaVA-NeXT 110B — мультимодальная чат-модель семейства LLaVA-NeXT, разработанная авторами проекта LLaVA-NeXT. Архитектура объединяет языковую модель с визуальным энкодером; карточка описывает модель для диалоговой работы с изображениями. В README указана базовая языковая модель meta-llama/Meta-Llama-3-8B-Instruct, однако идентификатор модели содержит размер 110B, а метаданные не подтверждают число параметров, поэтому точный размер здесь не утверждается. Модель предназначена для описания изображений, ответов на вопросы по визуальному содержимому и мультимодального общения. README связывает улучшения серии с более разнообразными данными и более крупным языковым бэкбоном по сравнению с LLaVA-1.6; упомянутые обучающие данные включают пары изображение–текст, инструкции и наборы визуальных вопросов и ответов. Карточка приводит примеры запуска через Transformers и 4-битной квантизации с bitsandbytes. Метаданные указывают формат safetensors, библиотеку Transformers, визуальные и чат-возможности и английский язык. Лицензия обозначена как other; более конкретные условия в предоставленных данных не описаны. Как и другие генеративные мультимодальные модели, ответы могут содержать ошибки интерпретации изображения или выдуманные детали.

549июль 2024ctx32.8K
textimageotherhugging-face
litert-community
LLaVA-OneVision-0.5B

LLaVA-OneVision-0.5B — компактная мультимодальная модель для анализа изображений и генерации текстовых ответов. Базовую модель разработала команда LLaVA, а данный вариант преобразован сообществом LiteRT в формат LiteRT-LM для локального запуска на устройствах. Модель предназначена прежде всего для сценариев image-text-to-text и single-image VQA: можно передать изображение и вопрос, получить описание или ответ, основанный на содержимом изображения, полностью офлайн. Архитектура включает зрительный энкодер SigLIP с входным разрешением 384×384, MLP-проектор и языковой декодер Qwen2-0.5B. Энкодер формирует 730 визуальных токенов, декодер имеет размерность 896 и 24 слоя. Веса декодера квантизованы до int4, зрительная часть — до int8; вычисления выполняются в целочисленном формате. Контекст KV-кэша составляет 2048 токенов, размер пакета — около 829 МБ. Поддерживается обработка изображений и текста; аудиомодуль отсутствует. Языки модели в README не указаны. Сильные стороны модели — небольшой размер, возможность автономной работы на CPU и GPU, поддержка macOS, Linux, Windows и мобильных устройств через LiteRT-LM, а также связные ответы, привязанные к содержимому одного изображения. Ограничение — невысокий размер языковой модели и нестабильность при добавлении второго изображения в тот же диалог: для нового изображения рекомендуется начинать новую беседу. Модель распространяется по лицензии Apache-2.0.

1.4K1июнь 2026
textimageapache-2.0hugging-face
liuhaotian
llava-v1.6-mistral-7b

LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.

9.1K246янв. 2024ctx32.8K
textapache-2.0hugging-face
megaaziib
llava-v1.6-mistral-7b

Карточка модели megaaziib/llava-v1.6-mistral-7b на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.

150март 2024ctx32.8K
textapache-2.0hugging-face
allenai
Molmo-7B-D-0924

Molmo 7B-D — открытая зрительно-языковая модель семейства Molmo, разработанная Allen Institute for AI. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, например описывает содержимое изображения и отвечает на вопросы о нём. Модель предназначена для диалоговых сценариев с визуальными данными и демонстрационных приложений. Модель объединяет языковую основу Qwen2-7B с визуальным энкодером OpenAI CLIP; архитектура обозначена как плотная MolmoForCausalLM. Веса содержат 12,8 млрд параметров, контекст — 4096 токенов. Для обучения семейства использовался набор PixMo с тщательно отобранными парами изображение–текст. Карточка сообщает о результатах на уровне моделей сопоставимого размера и о предварительном статусе этого чекпойнта. Репозиторий распространяется по лицензии Apache 2.0; авторы указывают исследовательское и образовательное применение. Модель может ошибаться при интерпретации изображений и ответах на вопросы; чекпойнт обозначен как предварительная версия.

22K567сент. 2024ctx4.1K
textapache-2.0hugging-face
oddadmix
Nawah-RuleCheck-1M

Nawah-RuleCheck-1M — компактный арабский классификатор правил, разработанный oddadmix. Он принимает арабский текст и сформулированное на обычном языке правило, после чего определяет, соответствует ли текст правилу: «مطابق» или «مخالف». Модель предназначена для проверки простых правил, которые можно установить непосредственно по строке, например наличия числа или отсутствия адреса электронной почты. Это дообученная модель семейства Llama с архитектурой LlamaForSequenceClassification: 1,1 млн параметров, 4 слоя, размер скрытого состояния 32 и контекст до 2048 токенов. Она обучена на 159 240 парах «текст, правило» из арабского датасета; тесты охватывают короткие деловые тексты и 19 правил. Веса занимают около 4,30 МБ, формат — safetensors. Лицензия — Apache-2.0. Модель показывает высокие результаты на формулировках правил, похожих на обучающие, но хуже переносит самостоятельно написанные разговорные формулировки. Она не предназначена для правил, требующих знаний о мире, субъективных суждений или многошагового вывода; подсчёт слов также остаётся слабым типом правил. Проверка на длинных и существенно отличающихся текстах не описана.

470сент. 2026ctx2K
textapache-2.0hugging-face
oddadmix
Nawah-RuleCheck-5M

Nawah-RuleCheck-5M — арабская модель классификации текста, разработанная oddadmix для проверки, соответствует ли текст правилу, сформулированному на обычном арабском языке. Она принимает текст и правило в формате «النص: {text}\nالقاعدة: {rule}» и относит пару к одному из двух классов: «مطابق» (соответствует) или «مخالف» (не соответствует). Модель построена на плотной архитектуре LlamaForSequenceClassification: 5,1 млн параметров, 5 слоёв трансформера, размер скрытого состояния 128, словарь 32 000 токенов и контекст до 2048 токенов. Это дообучение oddadmix/Emhotob-5M-v2 на 159 240 парах «текст — правило». Модель рассчитана на короткие арабские деловые тексты и правила, проверяемые по самому тексту; README сообщает о тестировании на объявлениях, обращениях в поддержку, вакансиях, жалобах и объявлениях об аренде из девяти регионов. В тестах на формулировках, близких к обучающим, точность высока, но на самостоятельно написанных разговорных формулировках правил она заметно ниже; автор отдельно указывает, что ни одна модель из линейки не готова к надёжному применению без дополнительной проверки. Проверка правил, требующих знаний о мире, субъективных суждений или многошагового вывода, выходит за пределы обучения; подсчёт слов также относится к слабым сценариям. Лицензия модели — Apache-2.0.

530сент. 2026ctx2K
textapache-2.0hugging-face
hiyouga
PaliGemma-3B-Chat-v0.1

PaliGemma-3B-Chat-v0.1 — мультимодальная модель BUAADreamer, дообученная на базе google/paligemma-3b-mix-448 для диалоговых ответов по изображениям. Она принимает изображение вместе с текстовым запросом и генерирует текст; поддерживает многошаговый диалог. Модель построена на архитектуре PaliGemma и содержит 3 млрд параметров; опубликована в формате safetensors для использования с Transformers. В карточке указаны английский и китайский языки, а среди данных для дообучения — BUAADreamer/llava-en-zh-2k. Лицензия — Gemma, условия которой следует учитывать при использовании. В README указана более новая версия PaliGemma-3B-Chat-v0.2.

9311май 2024
textimagegemmahugging-face
bartowski
QVQ-72B-Preview-GGUF

QVQ-72B-Preview-GGUF — набор GGUF-квантизаций мультимодальной модели QVQ-72B-Preview, разработанной командой Qwen и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальным запросам, например подсчёта объектов или интерпретации содержимого изображения. Для запуска требуются инструменты llama.cpp для Qwen2-VL и отдельный multimodal projector. Модель имеет размер 72B параметров и поддерживает обработку изображений совместно с текстом. В README явно указан английский язык; сведения о контекстном окне, точной архитектуре базовой модели и дополнительных языках отсутствуют. Доступны варианты квантования от Q2 до Q8, различающиеся размером файла, требованиями к памяти и качеством: Q6_K и Q5 считаются вариантами высокого качества, Q4_K_M — сбалансированным вариантом, а форматы Q2 и Q3 экономят память за счёт заметного снижения качества. Основные преимущества — мультимодальные возможности, широкий выбор уровней квантования и возможность локального запуска через llama.cpp. Ограничения включают высокие требования к памяти даже у компактных вариантов, зависимость от совместимого multimodal projector и потенциальное снижение качества при использовании низкобитных квантов. В карточке указана лицензия other со ссылкой на лицензию Qwen; перед использованием следует проверить её условия.

2.3K55дек. 2024
textimageotherhugging-face
openbmb
RLHF-V-SFT

openbmb/RLHF-V-SFT — мультимодальная модель для генерации текста на основе архитектуры BEiT-3 и LLaVA с языковой частью LLaMA. Репозиторий содержит 12,9 млрд параметров в формате PyTorch; модель разработана OpenBMB и связана с работами по повышению надёжности ответов визуально-языковых моделей. Модель предназначена для генерации ответов в мультимодальных сценариях, включая диалог по визуальному содержимому. README связывает её с подходом RLAIF-V и сообщает об использовании данных проекта в MiniCPM-V 2.0. Поддержка английского языка указана в метаданных; лицензия — Apache-2.0. Модель относится к семейству BEiT-3/LLaVA и имеет класс Beit3LlavaLlamaForCausalLM. Карточка не приводит длину контекста или подробные результаты оценки самой RLHF-V-SFT, поэтому качество и конкретные границы применимости по имеющимся данным оценить нельзя.

2124нояб. 2023ctx2K
textapache-2.0hugging-face
bartowski
SicariusSicariiStuff_X-Ray_Alpha-GGUF

SicariusSicariiStuff_X-Ray_Alpha-GGUF — это набор GGUF-квантизаций модели X-Ray_Alpha, разработанной SicariusSicariiStuff и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов, а также для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят варианты от BF16 до низкоразрядных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 1,89 до 7,77 ГБ. Поддерживаемый язык — английский. Конкретные архитектурные параметры, размер исходной модели, максимальная длина контекста и точные возможности работы с изображениями в README не указаны. Доступны варианты с разным компромиссом между качеством, требованиями к памяти и скоростью; для большинства сценариев рекомендуются некоторые варианты Q4–Q6. Модель не поддерживает system prompt, что ограничивает сценарии, требующие отдельной системной инструкции. Качество и требования к ресурсам зависят от выбранной квантизации: более компактные варианты экономят память, но могут сильнее уступать исходным весам по качеству. Указана лицензия Gemma.

3.5K19март 2025
textimagegemmahugging-face
taskmaster141
SimplyParse-qwen3vl-merged

SimplyParse — дообученная taskmaster141 модель семейства Qwen3-VL, созданная на базе unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Это плотная мультимодальная модель для диалога с изображениями и текстом; метаданные также указывают интерфейс вызова инструментов. Модель предназначена для сценариев, где нужно задавать вопросы об изображениях и получать текстовые ответы в чате. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения или результаты оценки качества, поэтому применимость к конкретным типам изображений и задачам требует проверки.

150июль 2026ctx262.1K
textimageapache-2.0hugging-face
UCSC-VLAA
VLAA-Thinker-Qwen2VL-2B

VLAA-Thinker-Qwen2VL-2B — компактная модель компьютерного зрения и языка, разработанная проектом VLAA на архитектуре Qwen2VL. Она принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы; модель предназначена для диалоговых сценариев с визуальными данными и рассуждений по изображениям. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2VL и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, модель работает через Transformers и поддерживает чат с изображениями. В README модель связывается с исследованием раннего обучения рассуждающих визуально-языковых моделей по подходу R1. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Подробные сведения о поддерживаемых языках и точности на отдельных задачах в предоставленных материалах отсутствуют.

3921апр. 2025ctx32.8K
textimagecc-by-nc-4.0hugging-face
BAAI
Aquila-VL-2B-llava-qwen

Aquila-VL-2B — мультимодальная модель BAAI для диалога и ответов на вопросы по изображениям. Она построена на основе фреймворка LLaVA-OneVision: языковая часть использует Qwen2.5-1.5B-Instruct, а визуальная — SigLIP SO400M Patch14-384. Модель объединяет эти компоненты и дообучена на наборах Infinity-MM, Infinity-Instruct и Infinity-Preference; в Infinity-MM около 40 миллионов пар изображение–текст. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Поддерживает английский и китайский языки, использует архитектуру Qwen2 и имеет контекстное окно 32 768 токенов. В опубликованных тестах она показала результаты, сопоставимые с моделями сходного размера на бенчмарках MMBench на английском и китайском языках. Карточка не описывает поддержку видео или нескольких изображений; авторы указывают их как направление будущего обучения. Модель доступна по лицензии Apache-2.0. Как и другие компактные мультимодальные модели, она может ошибаться при распознавании деталей изображения и формировании ответов; результаты бенчмарков не гарантируют точность в конкретных сценариях.

35462окт. 2024ctx32.8K
textapache-2.0hugging-face
jasort
chinse

jasort/chinse — дообученная jasort модель на базе unsloth/gemma-4-E2B-it, созданная с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель семейства Gemma 4 с поддержкой диалога и анализа изображений; её основная задача — отвечать текстом на запросы, содержащие текст и изображения. Модель подходит для визуальных вопросов и разбора изображений в формате диалога. Модель распространяется в формате safetensors по лицензии Apache 2.0. В карточке не описаны конкретные данные обучения, целевые сценарии дообучения и результаты оценки качества, поэтому специализацию и преимущества относительно базовой модели определить нельзя.

690авг. 2026ctx131.1K
textimageapache-2.0hugging-face
mrzenin
Decka-4B

mrzenin/Decka-4B — мультимодальная модель семейства Qwen3.5, дообученная mrzenin для диалоговых сценариев с текстом и изображениями. Она принимает текстовые запросы и изображения и генерирует текст, поэтому подходит для вопросов по изображениям и визуального диалога. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, плотная структура и формат safetensors; модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Карточка указывает лицензию Apache-2.0. Модель ориентирована на английский язык. Опубликованные сведения не описывают её точный размер, длину контекста или результаты оценки качества.

2640авг. 2026ctx262.1K
textapache-2.0hugging-face
mlx-community
gemma-4-31B-it-qat-bf16

mlx-community/gemma-4-31B-it-qat-bf16 — конверсия Gemma 4 31B Instruct для запуска с библиотекой MLX на системах Apple Silicon. Это плотная мультимодальная модель с архитектурой Gemma4ForConditionalGeneration и поддержкой диалогового режима и обработки изображений. Она принимает текст и изображения и генерирует текст, поэтому подходит для вопросов об изображениях и диалоговых сценариев с визуальным вводом. В README приведена инструкция по установке mlx-vlm; репозиторий содержит веса safetensors. Модель ориентирована на английский язык. Обозначение QAT в названии указывает на обучение с учётом квантования, однако метаданные не содержат сведений о фактической точности весов. Лицензия, размер контекста и ограничения качества в предоставленных данных не описаны.

911июнь 2026
textimagehugging-face
ddrkane
kore

ddrkane/kore — модель семейства Gemma 3 для диалога с изображениями и текстом, доступная в формате safetensors и предназначенная для работы через Transformers. В метаданных указаны возможности чата и обработки изображений. README сообщает, что модель обучена с нуля на неизвестном наборе данных, но не приводит подробностей об обучении или оценке. Модель подходит для диалога по изображениям и текстовым запросам. Данных о поддерживаемых языках, размере, длине контекста, лицензии и проверенных ограничениях в доступных источниках нет.

1280сент. 2025
textimagehugging-face
qresearch
llama-3-vision-alpha-hf

llama3-vision-alpha — экспериментальная мультимодальная модель, созданная @yeswondwerr и @qtnx_. Обученный проекционный модуль добавляет к Llama 3 обработку изображений с использованием SigLIP; репозиторий содержит веса в формате safetensors, модель можно запускать через Transformers. Модель предназначена для диалога по изображениям: она отвечает на вопросы о содержимом изображения и кратко описывает его. Примеры показывают распознавание текста на обложке книги, положения человека и объектов, а также цветов и еды. В метаданных указана поддержка английского языка; размер модели и длина контекста не приведены. Это ранняя alpha-версия, поэтому качество ответов может быть нестабильным; пример с описанием изображения также содержит детали, которые не очевидны из изображения. Лицензия — Llama 3 Community License (llama3).

11056апр. 2024ctx8.2K
textllama3hugging-face
xtuner
llava-internlm2-7b

llava-internlm2-7b — мультимодальная модель семейства LLaVA, опубликованная XTuner. Она дообучена на базе InternLM2-Chat-7B с визуальным энкодером CLIP ViT-Large/14 с разрешением 336 пикселей, используя наборы LLaVA-Pretrain и LLaVA-Instruct-150K. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для диалога по изображению, описания визуального содержимого и ответов на вопросы о нём. В README приведены результаты сравнительных тестов MMBench и других наборов оценки визуально-языковых моделей. Для работы с моделью README рекомендует библиотеку XTuner. В репозитории указаны веса Safetensors. Лицензия и точная длина контекста в доступных данных не приведены.

185янв. 2024
textimagehugging-face
jingyaogong
minimind-3v

MiniMind-3V — компактная мультимодальная модель семейства MiniMind-V от Jingyao Gong для диалога по изображениям и генерации текста. Она сочетает языковую основу MiniMind с визуальным энкодером SigLIP и модулем проекции признаков; визуальный энкодер заморожен при обучении. Репозиторий описывает модель как вариант на 65 млн обучаемых параметров, а метаданные указывают 63,9 млн параметров. С учётом отдельного визуального энкодера README приводит около 160 млн параметров для плотной версии. Модель принимает текстовые запросы и изображения и предназначена, например, для описания изображений, визуальных вопросов и диалогового взаимодействия с картинками. Метаданные указывают контекст 32 768 токенов; карточка заявляет поддержку китайского и английского языков. Это компактная модель, рассчитанная также на локальные эксперименты и обучение на персональном GPU, поэтому её возможности и качество не следует приравнивать к крупным VLM. Распространяется по лицензии Apache-2.0.

772март 2026ctx32.8K
textapache-2.0hugging-face
mtgv
MobileVLM-3B

MobileVLM-3B — мультимодальная модель для работы с изображениями и текстом, разработанная командой MobileVLM для запуска на мобильных устройствах. Она построена на MobileLLaMA-2.7B-Chat и объединяет языковую модель, предварительно обученную в стиле CLIP модель зрения и проектор для связи визуальных и текстовых представлений. В метаданных указано 2,6 млрд параметров и контекст 2048 токенов. Модель предназначена для диалога по изображениям и других сценариев визуально-языкового понимания. Авторы сообщают о результатах на типовых бенчмарках VLM, сопоставимых с рядом более крупных моделей, и измеряют скорость генерации на мобильном процессоре Snapdragon 888 и GPU NVIDIA Jetson Orin. Веса доступны в формате PyTorch по лицензии Apache-2.0.

8914дек. 2023ctx2K
textapache-2.0hugging-face
ndrugov
nanoVLM-encoder-free

Encoder-free nanoVLM — минималистичная vision-language модель с архитектурой без отдельного визуального энкодера. Она разработана ndrugov и принимает изображение и текст: изображение масштабируется с сохранением пропорций, разбивается на патчи исходных пикселей и передаётся языковой модели через embedder и projector. Число визуальных токенов зависит от размера изображения. Языковая основа — причинная языковая модель Hugging Face, по умолчанию Qwen/Qwen3-1.7B. Модель предназначена для сценариев взаимодействия с изображениями на естественном языке; для загрузки требуется собственный код репозитория, а не прямой вызов через Transformers. Репозиторий распространяется по лицензии MIT. В карточке нет сведений о поддерживаемых языках и длине контекста.

80июнь 2026
textimagemithugging-face
luodian
OTTER-Image-MPT7B

OTTER-Image-MPT7B — мультимодальная модель семейства OTTER, разработанная исследователями S-Lab Наньянского технологического университета и Microsoft Research. Она предназначена для генерации ответов на текстовые запросы с учетом изображений, например для диалога о содержимом изображения и визуальных вопросов и ответов. Модель построена на архитектуре OtterForConditionalGeneration и использует базу MPT-7B; README предлагает запускать локальную оценку и демонстрацию. Вход включает текст и изображения, выход — текст. Лицензия — MIT. Доступные сведения не уточняют поддерживаемые языки и длину контекста.

9911июль 2023
textmithugging-face
ATH-MaaS
Ovis-Clip-Llama3-8B

Ovis-Clip-Llama3-8B — мультимодальная большая языковая модель архитектуры Ovis, разработанная авторами семейства Ovis. Она объединяет визуальный энкодер CLIP с Llama 3 8B Instruct и структурно согласует визуальные и текстовые представления. Модель предназначена для диалога по изображениям и ответов на вопросы о визуальном содержимом; поддерживает также генерацию текста. В карточке указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0. Модель принимает изображения вместе с текстовыми запросами и выдаёт текстовые ответы. В предоставленных материалах не приведены длина контекста и список поддерживаемых естественных языков. Практическое использование описано через Transformers; README отсылает к репозиторию Ovis за подробными инструкциями. Качество ответов зависит от изображения и формулировки запроса.

207июнь 2024
textapache-2.0hugging-face
BUAADreamer
PaliGemma-3B-Chat-v0.2

PaliGemma-3B-Chat-v0.2 — мультимодальная модель BUAADreamer, дообученная на основе google/paligemma-3b-mix-448 для многоходового диалога с изображениями. Она принимает изображение и текстовый запрос и генерирует текстовый ответ; подходит для вопросов об изображениях и диалоговых сценариев компьютерного зрения. По карточке, модель оценивалась на MMMU_Val и CMMMU_Val; в метаданных указаны архитектура PaliGemmaForConditionalGeneration, библиотека Transformers и формат safetensors. В качестве обучающего набора указан BUAADreamer/llava-en-zh-300k. Метаданные перечисляют английский и китайский языки. Лицензия — Gemma; применимость зависит от условий этой лицензии.

479июнь 2024
textimagegemmahugging-face
twinblade02
Qwen3.5VL-0.8B-ImageExplainer

Qwen3.5VL-0.8B-ImageExplainer — дообученная модель разработчика twinblade02 на базе Qwen/Qwen3.5-0.8B-Base. Это плотная мультимодальная модель семейства Qwen3.5 с 0,8 млрд параметров, предназначенная для диалога по изображениям и тексту; основная задача в карточке — image-text-to-text. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель подходит для объяснения содержимого изображений и ответов на вопросы о них в текстовом диалоге. Репозиторий содержит веса в формате safetensors и предоставляет интерфейс chat и vision. Лицензия — Apache-2.0. Карточка не приводит сведений о длине контекста и конкретных ограничениях качества.

310март 2026ctx262.1K
textimageapache-2.0hugging-face
Lin-Chen
ShareGPT4V-13B

ShareGPT4V-13B — открытая мультимодальная чат-модель, созданная командой ShareGPT4V дообучением визуального энкодера CLIP и языковой модели LLaMA/Vicuna на данных ShareGPT4V с аннотациями GPT-4 Vision и инструкционных данных LLaVA. Модель насчитывает 12,9 млрд параметров, использует архитектуру Share4VLlamaForCausalLM и имеет контекстное окно 4096 токенов. Модель принимает изображения и текстовые инструкции, чтобы вести диалог об изображениях, описывать их и отвечать на вопросы по визуальному содержимому. Она предназначена прежде всего для исследований мультимодальных моделей и чат-ботов; обучение включало 1,2 млн пар изображение–текст, 100 тыс. пар, созданных GPT-4 Vision, и данные инструкционного дообучения LLaVA. Карточка не приводит сведения о лицензии, поэтому условия распространения и коммерческого использования следует проверять в репозитории модели.

8334дек. 2023ctx4.1K
texthugging-face

Задачи профессии

16 задач
55Оптическое распознавание печатного текста со сканов и фотографий. — AI распознаёт печатные символы на сканах и фотографиях, одновременно восстанавливая строки, абзацы и координаты текста на странице. На вход поступают изображения документов, сведения о языке и, при наличии, ожидаемый шаблон. На выходе — редактируемый текст с привязкой к оригиналу и отметками низкой уверенности; качество измеряют символьной и словной ошибкой и визуальной сверкой критичных полей.
56Распознавание рукописного текста. — AI распознаёт рукописные символы и слова по форме штрихов, образцам почерка и языковому контексту. Система отмечает неоднозначные места, а не подменяет их уверенной догадкой. Результат — транскрипция с координатами и вероятностями вариантов; её проверяют на размеченных образцах и вручную сверяют для имён, чисел и юридически значимых записей.
57Определение структуры страницы: заголовков, колонок, сносок, таблиц и иллюстраций. — AI анализирует геометрию страницы, размеры и стили шрифта, интервалы, линии и взаимное расположение блоков, чтобы выделить заголовки, колонки, сноски, таблицы и иллюстрации. На выходе — дерево структуры документа и порядок чтения с координатами каждого элемента. Качество проверяют сравнением с размеченной разметкой и корректностью последующего извлечения текста и таблиц.
58Восстановление правильного порядка чтения сложного документа. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: преобразованный материал по задаче «Восстановление правильного порядка чтения сложного документа» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
59Проверка обязательных полей и комплектности пакета документов. — Практическая реализация: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, связанные документы, сканы, фотографии и PDF. Формат результата: протокол выполнения «Проверка обязательных полей и комплектности пакета документов» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Ошибки выявляют повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
60Сопоставление информации между несколькими документами одного дела. — Механизм: AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, сканы, фотографии, PDF и электронные формы. Формат результата: карта соответствий и различий для «Сопоставление информации между несколькими документами одного дела», где элементы приведены к единым критериям и связаны с первичными данными. Проверка: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
61Выявление расхождений между документом и эталонной записью в системе. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. К исходным данным относятся оригиналы документов, фотографии, PDF, электронные формы и шаблоны. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление расхождений между документом и эталонной записью в системе», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
62Сравнение версий и содержательное описание изменений. — Для этой задачи система сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Рабочие входы: PDF, электронные формы, шаблоны и связанные документы. Формат результата: карта соответствий и различий для «Сравнение версий и содержательное описание изменений», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
63Объединение нескольких документов в единое структурированное досье. — Практическая реализация: AI сводит несколько потоков, участников или наборов данных в согласованный общий результат и разрешает конфликты правил. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, электронные формы, шаблоны, связанные документы и сканы. Формат результата: согласованный общий результат для «Объединение нескольких документов в единое структурированное досье» с журналом синхронизации и разрешённых конфликтов. Ошибки выявляют по согласованности общего результата, отсутствию конфликтов и корректности порядка действий; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
64Разделение большого файла на самостоятельные документы. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: результат «Разделение большого файла на самостоятельные документы» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
65Автоматическое заполнение шаблонов на основании исходных данных. — AI автоматизирует содержательную часть операции и сохраняет промежуточные основания для ручной проверки. К исходным данным относятся связанные документы, сканы, фотографии и PDF. Формат результата: конкретный результат по задаче «Автоматическое заполнение шаблонов на основании исходных данных» с исходными данными, промежуточными основаниями и возможностью проверки. Надёжность оценивают сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
66Маскирование персональных, коммерческих или иных конфиденциальных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Рабочие входы: текст и изображения, сканы, фотографии, PDF и электронные формы. Формат результата: преобразованный материал по задаче «Маскирование персональных, коммерческих или иных конфиденциальных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
67Определение повреждённых, нечитаемых или подозрительно изменённых страниц. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, фотографии, PDF, электронные формы и шаблоны. Формат результата: установленное значение или вариант по задаче «Определение повреждённых, нечитаемых или подозрительно изменённых страниц» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
68Восстановление текста из документов с плохим качеством печати. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, PDF, электронные формы, шаблоны и связанные документы. Формат результата: преобразованный материал по задаче «Восстановление текста из документов с плохим качеством печати» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
69Преобразование PDF и сканов в редактируемый формат с сохранением структуры. — AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. К исходным данным относятся оригиналы документов, электронные формы, шаблоны, связанные документы и сканы. Формат результата: преобразованный материал по задаче «Преобразование PDF и сканов в редактируемый формат с сохранением структуры» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном.
70Проверка соответствия документа заданному шаблону или стандарту оформления. — Для этой задачи система сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, шаблоны, связанные документы, сканы и фотографии. Формат результата: протокол выполнения «Проверка соответствия документа заданному шаблону или стандарту оформления» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Критерии приёмки: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; сверкой распознанных полей с оригиналом, контрольными правилами и эталонным шаблоном. <a id="section-i-5"></a>

0 моделей