I.4Обработка документов и форм
В разделе собраны самостоятельные задачи, где AI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 180 моделейOnely7/llava-1.5-llm-jp-3.1-1.8b-instruct4 — японская визуально-языковая модель на архитектуре LLaVA 1.5, предназначенная для ответов на инструкции и вопросы по изображениям. Она принимает изображение и запрос на японском языке и формирует ответ на японском. Общий размер модели составляет около 2,18 млрд параметров: визуальный энкодер openai/clip-vit-large-patch14-336 связан с языковой моделью llm-jp/llm-jp-3.1-1.8b-instruct4 через двухслойный MLP-адаптер. Модель собрана из этих компонентов и обучена в два этапа: сначала на подписях к изображениям настраивался адаптер, затем на японских инструкциях обучались адаптер и LLM при замороженном визуальном энкодере. Модель подходит для визуальных вопросов и ответов, описания изображений и визуальных рассуждений. В карточке указаны контексты обучения до 2048 токенов на первом этапе и до 4096 на втором; это не гарантирует максимальную длину контекста при использовании. Разработчик подготовил модель для книги о мультимодальных моделях и ориентирует её на исследования и проверку. Лицензия — CC BY-NC-SA 4.0; для входящих в состав весов и данных также действуют условия их первоначальных лицензий.
LLaVA-7B-Lightening-v1-1 — мультимодальная модель семейства LLaVA на архитектуре LLaMA, собранная из базовой LLaMA-7B и delta-весов LLaVA-7B-Lightening-v1-1. Она предназначена для диалога по изображениям и генерации текстовых ответов на вопросы о визуальном содержимом. Модель содержит 6,6 млрд параметров, использует формат PyTorch и имеет контекст длиной 2048 токенов. Модель принимает изображения и текстовые запросы, а выдаёт текст. Карточка не сообщает, какие языки поддерживаются и на каких наборах данных обучалась модель. Лицензия — CC BY 4.0; возможности и качество могут зависеть от используемого способа подачи изображений и среды запуска.
LLaVA-NeXT 110B — мультимодальная чат-модель семейства LLaVA-NeXT, разработанная авторами проекта LLaVA-NeXT. Архитектура объединяет языковую модель с визуальным энкодером; карточка описывает модель для диалоговой работы с изображениями. В README указана базовая языковая модель meta-llama/Meta-Llama-3-8B-Instruct, однако идентификатор модели содержит размер 110B, а метаданные не подтверждают число параметров, поэтому точный размер здесь не утверждается. Модель предназначена для описания изображений, ответов на вопросы по визуальному содержимому и мультимодального общения. README связывает улучшения серии с более разнообразными данными и более крупным языковым бэкбоном по сравнению с LLaVA-1.6; упомянутые обучающие данные включают пары изображение–текст, инструкции и наборы визуальных вопросов и ответов. Карточка приводит примеры запуска через Transformers и 4-битной квантизации с bitsandbytes. Метаданные указывают формат safetensors, библиотеку Transformers, визуальные и чат-возможности и английский язык. Лицензия обозначена как other; более конкретные условия в предоставленных данных не описаны. Как и другие генеративные мультимодальные модели, ответы могут содержать ошибки интерпретации изображения или выдуманные детали.
LLaVA-OneVision-0.5B — компактная мультимодальная модель для анализа изображений и генерации текстовых ответов. Базовую модель разработала команда LLaVA, а данный вариант преобразован сообществом LiteRT в формат LiteRT-LM для локального запуска на устройствах. Модель предназначена прежде всего для сценариев image-text-to-text и single-image VQA: можно передать изображение и вопрос, получить описание или ответ, основанный на содержимом изображения, полностью офлайн. Архитектура включает зрительный энкодер SigLIP с входным разрешением 384×384, MLP-проектор и языковой декодер Qwen2-0.5B. Энкодер формирует 730 визуальных токенов, декодер имеет размерность 896 и 24 слоя. Веса декодера квантизованы до int4, зрительная часть — до int8; вычисления выполняются в целочисленном формате. Контекст KV-кэша составляет 2048 токенов, размер пакета — около 829 МБ. Поддерживается обработка изображений и текста; аудиомодуль отсутствует. Языки модели в README не указаны. Сильные стороны модели — небольшой размер, возможность автономной работы на CPU и GPU, поддержка macOS, Linux, Windows и мобильных устройств через LiteRT-LM, а также связные ответы, привязанные к содержимому одного изображения. Ограничение — невысокий размер языковой модели и нестабильность при добавлении второго изображения в тот же диалог: для нового изображения рекомендуется начинать новую беседу. Модель распространяется по лицензии Apache-2.0.
LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.
Карточка модели megaaziib/llava-v1.6-mistral-7b на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.
Molmo 7B-D — открытая зрительно-языковая модель семейства Molmo, разработанная Allen Institute for AI. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, например описывает содержимое изображения и отвечает на вопросы о нём. Модель предназначена для диалоговых сценариев с визуальными данными и демонстрационных приложений. Модель объединяет языковую основу Qwen2-7B с визуальным энкодером OpenAI CLIP; архитектура обозначена как плотная MolmoForCausalLM. Веса содержат 12,8 млрд параметров, контекст — 4096 токенов. Для обучения семейства использовался набор PixMo с тщательно отобранными парами изображение–текст. Карточка сообщает о результатах на уровне моделей сопоставимого размера и о предварительном статусе этого чекпойнта. Репозиторий распространяется по лицензии Apache 2.0; авторы указывают исследовательское и образовательное применение. Модель может ошибаться при интерпретации изображений и ответах на вопросы; чекпойнт обозначен как предварительная версия.
Nawah-RuleCheck-1M — компактный арабский классификатор правил, разработанный oddadmix. Он принимает арабский текст и сформулированное на обычном языке правило, после чего определяет, соответствует ли текст правилу: «مطابق» или «مخالف». Модель предназначена для проверки простых правил, которые можно установить непосредственно по строке, например наличия числа или отсутствия адреса электронной почты. Это дообученная модель семейства Llama с архитектурой LlamaForSequenceClassification: 1,1 млн параметров, 4 слоя, размер скрытого состояния 32 и контекст до 2048 токенов. Она обучена на 159 240 парах «текст, правило» из арабского датасета; тесты охватывают короткие деловые тексты и 19 правил. Веса занимают около 4,30 МБ, формат — safetensors. Лицензия — Apache-2.0. Модель показывает высокие результаты на формулировках правил, похожих на обучающие, но хуже переносит самостоятельно написанные разговорные формулировки. Она не предназначена для правил, требующих знаний о мире, субъективных суждений или многошагового вывода; подсчёт слов также остаётся слабым типом правил. Проверка на длинных и существенно отличающихся текстах не описана.
Nawah-RuleCheck-5M — арабская модель классификации текста, разработанная oddadmix для проверки, соответствует ли текст правилу, сформулированному на обычном арабском языке. Она принимает текст и правило в формате «النص: {text}\nالقاعدة: {rule}» и относит пару к одному из двух классов: «مطابق» (соответствует) или «مخالف» (не соответствует). Модель построена на плотной архитектуре LlamaForSequenceClassification: 5,1 млн параметров, 5 слоёв трансформера, размер скрытого состояния 128, словарь 32 000 токенов и контекст до 2048 токенов. Это дообучение oddadmix/Emhotob-5M-v2 на 159 240 парах «текст — правило». Модель рассчитана на короткие арабские деловые тексты и правила, проверяемые по самому тексту; README сообщает о тестировании на объявлениях, обращениях в поддержку, вакансиях, жалобах и объявлениях об аренде из девяти регионов. В тестах на формулировках, близких к обучающим, точность высока, но на самостоятельно написанных разговорных формулировках правил она заметно ниже; автор отдельно указывает, что ни одна модель из линейки не готова к надёжному применению без дополнительной проверки. Проверка правил, требующих знаний о мире, субъективных суждений или многошагового вывода, выходит за пределы обучения; подсчёт слов также относится к слабым сценариям. Лицензия модели — Apache-2.0.
PaliGemma-3B-Chat-v0.1 — мультимодальная модель BUAADreamer, дообученная на базе google/paligemma-3b-mix-448 для диалоговых ответов по изображениям. Она принимает изображение вместе с текстовым запросом и генерирует текст; поддерживает многошаговый диалог. Модель построена на архитектуре PaliGemma и содержит 3 млрд параметров; опубликована в формате safetensors для использования с Transformers. В карточке указаны английский и китайский языки, а среди данных для дообучения — BUAADreamer/llava-en-zh-2k. Лицензия — Gemma, условия которой следует учитывать при использовании. В README указана более новая версия PaliGemma-3B-Chat-v0.2.
QVQ-72B-Preview-GGUF — набор GGUF-квантизаций мультимодальной модели QVQ-72B-Preview, разработанной командой Qwen и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальным запросам, например подсчёта объектов или интерпретации содержимого изображения. Для запуска требуются инструменты llama.cpp для Qwen2-VL и отдельный multimodal projector. Модель имеет размер 72B параметров и поддерживает обработку изображений совместно с текстом. В README явно указан английский язык; сведения о контекстном окне, точной архитектуре базовой модели и дополнительных языках отсутствуют. Доступны варианты квантования от Q2 до Q8, различающиеся размером файла, требованиями к памяти и качеством: Q6_K и Q5 считаются вариантами высокого качества, Q4_K_M — сбалансированным вариантом, а форматы Q2 и Q3 экономят память за счёт заметного снижения качества. Основные преимущества — мультимодальные возможности, широкий выбор уровней квантования и возможность локального запуска через llama.cpp. Ограничения включают высокие требования к памяти даже у компактных вариантов, зависимость от совместимого multimodal projector и потенциальное снижение качества при использовании низкобитных квантов. В карточке указана лицензия other со ссылкой на лицензию Qwen; перед использованием следует проверить её условия.
openbmb/RLHF-V-SFT — мультимодальная модель для генерации текста на основе архитектуры BEiT-3 и LLaVA с языковой частью LLaMA. Репозиторий содержит 12,9 млрд параметров в формате PyTorch; модель разработана OpenBMB и связана с работами по повышению надёжности ответов визуально-языковых моделей. Модель предназначена для генерации ответов в мультимодальных сценариях, включая диалог по визуальному содержимому. README связывает её с подходом RLAIF-V и сообщает об использовании данных проекта в MiniCPM-V 2.0. Поддержка английского языка указана в метаданных; лицензия — Apache-2.0. Модель относится к семейству BEiT-3/LLaVA и имеет класс Beit3LlavaLlamaForCausalLM. Карточка не приводит длину контекста или подробные результаты оценки самой RLHF-V-SFT, поэтому качество и конкретные границы применимости по имеющимся данным оценить нельзя.
SicariusSicariiStuff_X-Ray_Alpha-GGUF — это набор GGUF-квантизаций модели X-Ray_Alpha, разработанной SicariusSicariiStuff и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов, а также для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят варианты от BF16 до низкоразрядных форматов Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 1,89 до 7,77 ГБ. Поддерживаемый язык — английский. Конкретные архитектурные параметры, размер исходной модели, максимальная длина контекста и точные возможности работы с изображениями в README не указаны. Доступны варианты с разным компромиссом между качеством, требованиями к памяти и скоростью; для большинства сценариев рекомендуются некоторые варианты Q4–Q6. Модель не поддерживает system prompt, что ограничивает сценарии, требующие отдельной системной инструкции. Качество и требования к ресурсам зависят от выбранной квантизации: более компактные варианты экономят память, но могут сильнее уступать исходным весам по качеству. Указана лицензия Gemma.
SimplyParse — дообученная taskmaster141 модель семейства Qwen3-VL, созданная на базе unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Это плотная мультимодальная модель для диалога с изображениями и текстом; метаданные также указывают интерфейс вызова инструментов. Модель предназначена для сценариев, где нужно задавать вопросы об изображениях и получать текстовые ответы в чате. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения или результаты оценки качества, поэтому применимость к конкретным типам изображений и задачам требует проверки.
VLAA-Thinker-Qwen2VL-2B — компактная модель компьютерного зрения и языка, разработанная проектом VLAA на архитектуре Qwen2VL. Она принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы; модель предназначена для диалоговых сценариев с визуальными данными и рассуждений по изображениям. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2VL и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, модель работает через Transformers и поддерживает чат с изображениями. В README модель связывается с исследованием раннего обучения рассуждающих визуально-языковых моделей по подходу R1. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Подробные сведения о поддерживаемых языках и точности на отдельных задачах в предоставленных материалах отсутствуют.
Aquila-VL-2B — мультимодальная модель BAAI для диалога и ответов на вопросы по изображениям. Она построена на основе фреймворка LLaVA-OneVision: языковая часть использует Qwen2.5-1.5B-Instruct, а визуальная — SigLIP SO400M Patch14-384. Модель объединяет эти компоненты и дообучена на наборах Infinity-MM, Infinity-Instruct и Infinity-Preference; в Infinity-MM около 40 миллионов пар изображение–текст. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Поддерживает английский и китайский языки, использует архитектуру Qwen2 и имеет контекстное окно 32 768 токенов. В опубликованных тестах она показала результаты, сопоставимые с моделями сходного размера на бенчмарках MMBench на английском и китайском языках. Карточка не описывает поддержку видео или нескольких изображений; авторы указывают их как направление будущего обучения. Модель доступна по лицензии Apache-2.0. Как и другие компактные мультимодальные модели, она может ошибаться при распознавании деталей изображения и формировании ответов; результаты бенчмарков не гарантируют точность в конкретных сценариях.
jasort/chinse — дообученная jasort модель на базе unsloth/gemma-4-E2B-it, созданная с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель семейства Gemma 4 с поддержкой диалога и анализа изображений; её основная задача — отвечать текстом на запросы, содержащие текст и изображения. Модель подходит для визуальных вопросов и разбора изображений в формате диалога. Модель распространяется в формате safetensors по лицензии Apache 2.0. В карточке не описаны конкретные данные обучения, целевые сценарии дообучения и результаты оценки качества, поэтому специализацию и преимущества относительно базовой модели определить нельзя.
mrzenin/Decka-4B — мультимодальная модель семейства Qwen3.5, дообученная mrzenin для диалоговых сценариев с текстом и изображениями. Она принимает текстовые запросы и изображения и генерирует текст, поэтому подходит для вопросов по изображениям и визуального диалога. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, плотная структура и формат safetensors; модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Карточка указывает лицензию Apache-2.0. Модель ориентирована на английский язык. Опубликованные сведения не описывают её точный размер, длину контекста или результаты оценки качества.
mlx-community/gemma-4-31B-it-qat-bf16 — конверсия Gemma 4 31B Instruct для запуска с библиотекой MLX на системах Apple Silicon. Это плотная мультимодальная модель с архитектурой Gemma4ForConditionalGeneration и поддержкой диалогового режима и обработки изображений. Она принимает текст и изображения и генерирует текст, поэтому подходит для вопросов об изображениях и диалоговых сценариев с визуальным вводом. В README приведена инструкция по установке mlx-vlm; репозиторий содержит веса safetensors. Модель ориентирована на английский язык. Обозначение QAT в названии указывает на обучение с учётом квантования, однако метаданные не содержат сведений о фактической точности весов. Лицензия, размер контекста и ограничения качества в предоставленных данных не описаны.
ddrkane/kore — модель семейства Gemma 3 для диалога с изображениями и текстом, доступная в формате safetensors и предназначенная для работы через Transformers. В метаданных указаны возможности чата и обработки изображений. README сообщает, что модель обучена с нуля на неизвестном наборе данных, но не приводит подробностей об обучении или оценке. Модель подходит для диалога по изображениям и текстовым запросам. Данных о поддерживаемых языках, размере, длине контекста, лицензии и проверенных ограничениях в доступных источниках нет.
llama3-vision-alpha — экспериментальная мультимодальная модель, созданная @yeswondwerr и @qtnx_. Обученный проекционный модуль добавляет к Llama 3 обработку изображений с использованием SigLIP; репозиторий содержит веса в формате safetensors, модель можно запускать через Transformers. Модель предназначена для диалога по изображениям: она отвечает на вопросы о содержимом изображения и кратко описывает его. Примеры показывают распознавание текста на обложке книги, положения человека и объектов, а также цветов и еды. В метаданных указана поддержка английского языка; размер модели и длина контекста не приведены. Это ранняя alpha-версия, поэтому качество ответов может быть нестабильным; пример с описанием изображения также содержит детали, которые не очевидны из изображения. Лицензия — Llama 3 Community License (llama3).
llava-internlm2-7b — мультимодальная модель семейства LLaVA, опубликованная XTuner. Она дообучена на базе InternLM2-Chat-7B с визуальным энкодером CLIP ViT-Large/14 с разрешением 336 пикселей, используя наборы LLaVA-Pretrain и LLaVA-Instruct-150K. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для диалога по изображению, описания визуального содержимого и ответов на вопросы о нём. В README приведены результаты сравнительных тестов MMBench и других наборов оценки визуально-языковых моделей. Для работы с моделью README рекомендует библиотеку XTuner. В репозитории указаны веса Safetensors. Лицензия и точная длина контекста в доступных данных не приведены.
MiniMind-3V — компактная мультимодальная модель семейства MiniMind-V от Jingyao Gong для диалога по изображениям и генерации текста. Она сочетает языковую основу MiniMind с визуальным энкодером SigLIP и модулем проекции признаков; визуальный энкодер заморожен при обучении. Репозиторий описывает модель как вариант на 65 млн обучаемых параметров, а метаданные указывают 63,9 млн параметров. С учётом отдельного визуального энкодера README приводит около 160 млн параметров для плотной версии. Модель принимает текстовые запросы и изображения и предназначена, например, для описания изображений, визуальных вопросов и диалогового взаимодействия с картинками. Метаданные указывают контекст 32 768 токенов; карточка заявляет поддержку китайского и английского языков. Это компактная модель, рассчитанная также на локальные эксперименты и обучение на персональном GPU, поэтому её возможности и качество не следует приравнивать к крупным VLM. Распространяется по лицензии Apache-2.0.
MobileVLM-3B — мультимодальная модель для работы с изображениями и текстом, разработанная командой MobileVLM для запуска на мобильных устройствах. Она построена на MobileLLaMA-2.7B-Chat и объединяет языковую модель, предварительно обученную в стиле CLIP модель зрения и проектор для связи визуальных и текстовых представлений. В метаданных указано 2,6 млрд параметров и контекст 2048 токенов. Модель предназначена для диалога по изображениям и других сценариев визуально-языкового понимания. Авторы сообщают о результатах на типовых бенчмарках VLM, сопоставимых с рядом более крупных моделей, и измеряют скорость генерации на мобильном процессоре Snapdragon 888 и GPU NVIDIA Jetson Orin. Веса доступны в формате PyTorch по лицензии Apache-2.0.
Encoder-free nanoVLM — минималистичная vision-language модель с архитектурой без отдельного визуального энкодера. Она разработана ndrugov и принимает изображение и текст: изображение масштабируется с сохранением пропорций, разбивается на патчи исходных пикселей и передаётся языковой модели через embedder и projector. Число визуальных токенов зависит от размера изображения. Языковая основа — причинная языковая модель Hugging Face, по умолчанию Qwen/Qwen3-1.7B. Модель предназначена для сценариев взаимодействия с изображениями на естественном языке; для загрузки требуется собственный код репозитория, а не прямой вызов через Transformers. Репозиторий распространяется по лицензии MIT. В карточке нет сведений о поддерживаемых языках и длине контекста.
OTTER-Image-MPT7B — мультимодальная модель семейства OTTER, разработанная исследователями S-Lab Наньянского технологического университета и Microsoft Research. Она предназначена для генерации ответов на текстовые запросы с учетом изображений, например для диалога о содержимом изображения и визуальных вопросов и ответов. Модель построена на архитектуре OtterForConditionalGeneration и использует базу MPT-7B; README предлагает запускать локальную оценку и демонстрацию. Вход включает текст и изображения, выход — текст. Лицензия — MIT. Доступные сведения не уточняют поддерживаемые языки и длину контекста.
Ovis-Clip-Llama3-8B — мультимодальная большая языковая модель архитектуры Ovis, разработанная авторами семейства Ovis. Она объединяет визуальный энкодер CLIP с Llama 3 8B Instruct и структурно согласует визуальные и текстовые представления. Модель предназначена для диалога по изображениям и ответов на вопросы о визуальном содержимом; поддерживает также генерацию текста. В карточке указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0. Модель принимает изображения вместе с текстовыми запросами и выдаёт текстовые ответы. В предоставленных материалах не приведены длина контекста и список поддерживаемых естественных языков. Практическое использование описано через Transformers; README отсылает к репозиторию Ovis за подробными инструкциями. Качество ответов зависит от изображения и формулировки запроса.
PaliGemma-3B-Chat-v0.2 — мультимодальная модель BUAADreamer, дообученная на основе google/paligemma-3b-mix-448 для многоходового диалога с изображениями. Она принимает изображение и текстовый запрос и генерирует текстовый ответ; подходит для вопросов об изображениях и диалоговых сценариев компьютерного зрения. По карточке, модель оценивалась на MMMU_Val и CMMMU_Val; в метаданных указаны архитектура PaliGemmaForConditionalGeneration, библиотека Transformers и формат safetensors. В качестве обучающего набора указан BUAADreamer/llava-en-zh-300k. Метаданные перечисляют английский и китайский языки. Лицензия — Gemma; применимость зависит от условий этой лицензии.
Qwen3.5VL-0.8B-ImageExplainer — дообученная модель разработчика twinblade02 на базе Qwen/Qwen3.5-0.8B-Base. Это плотная мультимодальная модель семейства Qwen3.5 с 0,8 млрд параметров, предназначенная для диалога по изображениям и тексту; основная задача в карточке — image-text-to-text. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель подходит для объяснения содержимого изображений и ответов на вопросы о них в текстовом диалоге. Репозиторий содержит веса в формате safetensors и предоставляет интерфейс chat и vision. Лицензия — Apache-2.0. Карточка не приводит сведений о длине контекста и конкретных ограничениях качества.
ShareGPT4V-13B — открытая мультимодальная чат-модель, созданная командой ShareGPT4V дообучением визуального энкодера CLIP и языковой модели LLaMA/Vicuna на данных ShareGPT4V с аннотациями GPT-4 Vision и инструкционных данных LLaVA. Модель насчитывает 12,9 млрд параметров, использует архитектуру Share4VLlamaForCausalLM и имеет контекстное окно 4096 токенов. Модель принимает изображения и текстовые инструкции, чтобы вести диалог об изображениях, описывать их и отвечать на вопросы по визуальному содержимому. Она предназначена прежде всего для исследований мультимодальных моделей и чат-ботов; обучение включало 1,2 млн пар изображение–текст, 100 тыс. пар, созданных GPT-4 Vision, и данные инструкционного дообучения LLaVA. Карточка не приводит сведения о лицензии, поэтому условия распространения и коммерческого использования следует проверять в репозитории модели.