I.4Обработка документов и форм
В разделе собраны самостоятельные задачи, где AI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
7 180 моделейМодель ersindemirel94/gemma_4_e2b-bnb-4bit — дообученная версия unsloth/gemma-4-E2B-it-unsloth-bnb-4bit, разработанная ersindemirel94. Это плотная модель семейства Gemma 4 для диалоговой работы с изображениями и текстом: она принимает текст и изображения и формирует текстовые ответы. В карточке указано, что при обучении использовались Unsloth и библиотека TRL; файлы модели представлены в формате safetensors. Модель подходит для вопросов по изображениям, визуальных диалогов и задач, где нужно связать изображение с текстовой инструкцией. Она распространяется по лицензии Apache-2.0. Карточка не приводит сведений о наборе дообучения или результатах оценки, поэтому качество для конкретных сценариев по ней определить нельзя.
Модель разработана Keisuke Kiryu и опубликована Recruit. Это дообученная японская RoBERTa с символьной токенизацией и классификационной головой для разметки токенов. Для каждого символа японского текста она оценивает вероятность того, что в нём есть опечатка или пропуск, и присваивает метку типа ошибки. Модель обучена на обучающей части набора японских ошибок ввода v2, созданного на основе истории правок Википедии. Её можно применять для поиска ошибок в японских текстах и анализа их типов; базовая модель содержит 127,4 млн параметров, а максимальный контекст составляет 514 токенов. Модель принимает текст и выдаёт метки и оценки для символов. Лицензия — CC-BY-SA 4.0. Карточка не приводит оценок точности; результаты могут зависеть от соответствия текста обучающим данным, поэтому обнаружения следует проверять.
kl3m-002-520m — небольшая языковая модель семейства kl3m, разработанная 273 Ventures и переданная институту ALEA. Это модель Mixtral с архитектурой Mixture of Experts: 4 локальных эксперта, из которых для каждого токена выбираются 2. В README указано 520 млн параметров, тогда как метаданные Hugging Face содержат значение 184,5 млн; контекст ограничен 1 024 токенами со скользящим окном 256 токенов. Модель обучена предсказывать следующий токен на очищенных юридически допустимых данных, преимущественно на английском языке. Модель предназначена для юридических, нормативных, финансовых и корпоративных сценариев: генерации черновиков положений договоров, базовых ответов на вопросы о регулировании и извлечения сведений в JSON. Её небольшой размер позволяет запускать генерацию на CPU и использовать модель как основу для дообучения или обучения более крупных моделей. README отмечает низкую токсичность, но также предупреждает об ограниченных общих знаниях и отсутствии полноценного instruction-tuning. Модель опубликована по лицензии CC-BY 4.0. Разработчик представил её как историческую исследовательскую модель, созданную в ходе работы над kl3m-003-3.7b, и рекомендует выбирать другие модели для производственного применения. Сгенерированные юридические и нормативные тексты могут быть ошибочными и требуют проверки специалистом; модель не заменяет профессиональную юридическую консультацию.
MLX-версия мультимодальной модели LFM2.5-VL-450M, разработанной Liquid AI и преобразованной сообществом mlx-community из оригинальной модели LiquidAI/LFM2.5-VL-450M с использованием mlx-vlm 0.4.4. Модель предназначена для задач image-text-to-text, включая анализ и описание изображений по текстовому запросу, и ориентирована на запуск в экосистеме MLX. Модель содержит около 450 млн параметров и представлена в 6-битном формате квантования, что снижает требования к памяти по сравнению с полноразмерным вариантом. Заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, арабского, китайского и португальского языков. README не содержит подробностей об архитектуре, размере контекстного окна, точных возможностях обработки изображений, производительности и ограничениях качества. Модель распространяется по лицензии lfm1.0; дополнительные условия следует уточнять в файле LICENSE оригинального проекта.
AtomicChat/Ling-3.0-flash-VL-GGUF — экспериментальная GGUF-сборка мультимодальной модели Ling 3.0 Flash VL, разработанной InclusionAI и подготовленной Atomic Chat на основе оригинальных весов и собственной importance matrix для Ling. Модель принимает текстовые и графические входные данные и предназначена для локального запуска через llama.cpp-совместимый, но специально изменённый runtime. Доступны варианты квантования AD-Q4_K_M, AD-Q5_K_M, AD-Q6_K и AD-Q8_0; для обработки изображений требуется общий F32 vision projector размером около 1,74 ГБ. Полные размер и архитектурные характеристики, поддерживаемые языки и максимальный контекст в README не указаны. Сборки прошли проверки целостности тензоров, текстовые и базовые визуальные smoke-тесты, а некоторые варианты также тесты OCR и подсчёта объектов. При этом полноценная проверка качества зрения, видео, максимального контекста и агентских сценариев не проводилась. Модель подходит для локальных мультимодальных экспериментов и задач анализа изображений и текста, однако README предупреждает, что это предварительная экспериментальная версия, а качество ещё полностью не подтверждено. Для запуска необходим сопутствующий приватный runtime-патч; стандартный llama.cpp и опубликованное приложение Atomic Chat не валидированы для этих артефактов. Репозиторий распространяется по лицензии MIT.
LLaVA-NeXT Llama 3 8B — мультимодальная чат-модель, разработанная командой LLaVA-NeXT и представленная в исследовательской работе о расширении возможностей мультимодальных моделей. Она объединяет языковую модель Meta-Llama-3-8B-Instruct с предварительно обученным визуальным энкодером и предназначена для диалога по изображениям. Модель подходит для описания изображений, ответов на вопросы о визуальном содержимом и других сценариев мультимодального чат-бота. По сравнению с LLaVA 1.6 в серии улучшены языковая основа и состав обучающих данных; обучение включало пары изображение—текст, инструкции для мультимодального диалога и данные визуальных вопросов и ответов. Репозиторий содержит веса в формате safetensors; модель поддерживает английский язык. Модель принимает изображения и текст, а генерирует текст. Карточка не приводит размер контекста. Указана лицензия Llama 3 (llama3); перед использованием следует учитывать её условия. Качество ответов зависит от изображения и формулировки вопроса, а доступные материалы не описывают подробно ограничения и результаты оценки модели.
Карточка модели jeiku/llavamistral1.6configedit на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.
MBZUAI/LLaVA-Phi-3-mini-4k-instruct — мультимодальная чат-модель MBZUAI для понимания изображений и диалога на их основе. Она объединяет архитектуру LLaVA v1.5 с языковой моделью Phi-3-mini-4k-instruct; в репозитории размещены объединённые веса. Обучение включало настройку визуально-языкового проектора и LoRA-дообучение языковой части при замороженном визуальном энкодере CLIP. Модель содержит 3,7 млрд параметров, принимает текст и изображения и генерирует текст. Контекст составляет 4096 токенов. В README указаны наборы данных LCS-558K для предварительного обучения и LLaVA-Instruct-665K для дообучения. Модель подходит для диалога о содержимом изображений и ответов на вопросы по ним. Лицензия — MIT.
LLaVA-v1.6-34B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA и дообученный на модели NousResearch/Nous-Hermes-2-Yi-34B. Это авторегрессионная плотная трансформерная модель семейства LLaVA с архитектурой LlavaLlamaForCausalLM и 33,9 млрд параметров. Она принимает изображения и текстовые инструкции и генерирует текстовые ответы; поддерживает диалоговый режим и контекст длиной до 4096 токенов. Модель предназначена для диалогов о содержимом изображений, визуальных вопросов и ответов, подписей к изображениям и академических задач компьютерного зрения. В обучении использовались пары изображение–текст, мультимодальные инструкции, наборы VQA и данные ShareGPT. Карточка ориентирует модель на исследования и эксперименты с мультимодальными языковыми моделями и чат-ботами. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Качество может различаться между задачами и изображениями; ответы модели могут содержать ошибки, поэтому их следует проверять. Языки и специальные предметные области в карточке не уточняются.
Карточка модели shabieh2/marketsector_fft_deviceauto_0827 на Hugging Face совпадает с карточкой shabieh2/marketsector_fft_deviceauto_0831, поэтому описание составлено по ней. Мультимодальная модель shabieh2, дообученная на unsloth/Muse-Glimmer-30B с использованием Unsloth. Она предназначена для диалоговых задач с изображениями: принимает текст и изображения и формирует текстовые ответы. Архитектура — плотная Muse Glimmer для условной генерации; репозиторий содержит веса в формате Safetensors. Модель подходит для вопросов по изображениям и визуального анализа в чате. Базовая Muse-Glimmer-30B описана как модель для локальных агентных задач, работы с инструментами, программирования и анализа изображений, однако карточка этого дообучения не уточняет, какие из этих возможностей улучшались или проверялись. Лицензия — Apache 2.0.
BalGu/mistral-7b-anonimiser — экспериментальная модель на базе Mistral, дообученная для анонимизации чувствительных данных в тексте. Для работы используется системный запрос «Anonymize :» и пользовательский текст; модель заменяет распознаваемые персональные данные символом «^». Заявленные категории включают имена, адреса, электронную почту, телефоны, религиозные события, гендер, IBAN и BBAN, SWIFT, номера социального страхования, кредитных карт и паспортов, а также сведения о небольших компаниях. Это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров, чатом и контекстом до 32 768 токенов. Карточка демонстрирует англоязычный пример; заявленная область применения — анонимизация текста. Модель описана как proof of concept, поэтому полноту и точность обнаружения разных типов данных следует оценивать на целевых текстах. Лицензия в предоставленных сведениях не указана.
Muse-Glimmer-30B-Heretic-Abliterated-BF16 — дообученная версия мультимодальной модели Muse-Glimmer-30B, опубликованная mlasli. Она принимает текст и изображения и предназначена для диалогов и анализа изображений. Веса представлены в формате safetensors с точностью BF16; по данным карточки, загрузка требует около 55 ГБ видеопамяти. Базовая модель содержит 29,6 млрд параметров. Модель обработана методом abliteration с помощью Heretic: направление отказа удалялось из представлений на 52 слоях трансформера, параметры подбирались в 500 испытаниях Optuna, затем адаптеры LoRA были объединены с весами. В карточке сообщается о снижении доли отказов до 6,5% и KL-дивергенции 0,076. Модель рассчитана на английский язык. Лицензия — Apache-2.0.
ManishThota/Ollama_Video_llama_7B — модель семейства Video-LLaVA для генерации текста по визуальному вводу. Карточка связывает её с Video-LLaVA, а архитектура указана как LlavaLlamaForCausalLM; размер модели — 6,6 млрд параметров, контекст — 4096 токенов. Модель предназначена для сценариев, где нужно задавать вопросы о визуальных данных и получать текстовые ответы. В репозитории представлены варианты GGUF в форматах F16 и F32, а также веса PyTorch и Safetensors. Лицензия — Apache-2.0.
Предварительно обученная мультимодальная модель OLA-VLM от SHI Labs, построенная на Phi-3-mini-4k-instruct и предназначенная для диалогов по изображениям. Метод обучения переносит визуальную информацию от целевых энкодеров в промежуточные представления языковой модели, оптимизируя визуальные эмбеддинги на выбранных слоях вместе с предсказанием следующего токена. Модель содержит 3,7 млрд параметров, принимает текст и изображения и генерирует текст; заявленный контекст — 4096 токенов. Доступна в формате Safetensors и использует лицензию Apache-2.0. README описывает подход к обучению, но не приводит подробных результатов оценки или перечня поддерживаемых языков помимо английского в метаданных.
Prisma-VL-8B — мультимодальная модель Eric Hartford для диалоговой работы с изображениями и текстом. Это плотная модель семейства Qwen3-VL с архитектурой PrismaVLForConditionalGeneration, доработанная механизмом обратной связи об уверенности: по описанию автора, модель оценивает энтропию предсказаний, кодирует её и использует при последующих генерациях. Заявленная цель — помогать модели осторожнее отвечать при неопределённости, исправлять ошибки и воздерживаться от слишком уверенных выводов. Модель предназначена для задач vision-language, включая ответы на вопросы об изображениях и описание их содержимого. README описывает применение механизма неопределённости, но не приводит независимых оценок качества или подтверждения заявленных эффектов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
DAC6.5 — компактная мультимодальная модель M.INC. для диалогового понимания изображений и текста. Она объединяет языковую основу LFM2.5-230M с визуальным энкодером SigLIP2 и обученным проекционным модулем; в метаданных указаны 221,2 млн параметров и контекст до 128 000 токенов. Модель предназначена для быстрого запуска на локальных и edge-устройствах и поддерживает чат с изображениями на нескольких языках. Репозиторий содержит веса Safetensors и конфигурации Transformers; лицензия — MIT. Заявления README о качестве zero-shot и низкой задержке не сопровождаются в карточке результатами сравнительных оценок.
Singh8898/DiegoCropper — дообученная Singh8898 мультимодальная модель на архитектуре Qwen2.5-VL. Она предназначена для диалоговой работы с изображениями и текстом; карточка не уточняет отдельные специализированные сценарии обучения. Модель содержит 7,1 млрд параметров, поддерживает контекст до 128 000 токенов и рассчитана на английский язык. Модель создана на основе unsloth/qwen2.5-vl-7b-instruct-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Она принимает изображения и текст и генерирует текстовые ответы. Репозиторий использует формат safetensors. Лицензия — Apache-2.0.
Это конвертированная в формат MLX модель diffusiongemma-26B-A4B-it-mlx-bf16 от ToPo-ToPo, основанная на мультимодальной модели Google DeepMind google/diffusiongemma-26B-A4B-it. Она предназначена для диалогового взаимодействия и анализа изображений с текстом. Модель использует архитектуру блочной диффузионной языковой модели Gemma 4 с MoE: 25,2 млрд параметров суммарно и 3,8 млрд активных, 128 экспертов и один общий эксперт; поддерживает зрительные входы. Репозиторий содержит конверсию bf16 для MLX, выполненную с помощью mlx-vlm; квантизация не применялась. Шаблон чата изменён относительно исходного и отключает канал размышлений по умолчанию. Лицензия — Apache-2.0.
usermma/fable-gpt-4b-mlx-bf16 — преобразованная для MLX версия модели aemmeath/fable-gpt-4b. Репозиторий указывает конвертацию с помощью mlx-lm версии 0.31.3; метаданные описывают архитектуру как плотную Qwen3.5 для условной генерации и связывают исходную модель с дообучением. Модель предназначена для диалоговых задач с изображениями и текстом: принимает текстовые запросы и изображения и формирует текстовые ответы. В карточке указаны возможности чата и vision, а языком карточки отмечен английский. Репозиторий распространяется по лицензии Apache-2.0.
Модель Ambamir/gemma_3_finetune_amb_v2 — дообученная Ambamir версия Gemma 3 4B Instruct с поддержкой изображений. Она предназначена для диалоговых сценариев, в которых нужно совместно анализировать текст и изображения и формировать текстовые ответы. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки TRL; модель распространяется в формате safetensors по лицензии Apache-2.0. Модель принимает текст и изображения и выдаёт текст. Метаданные указывают английский язык; сведений о длине контекста и конкретной специализации дообучения нет. Поскольку модель основана на Gemma 3 4B Instruct, её возможности и качество могут быть ограничены по сравнению с более крупными моделями; результаты на задачах, отличающихся от обучающих, требуют проверки.
inkling-UD-Q2_K_XL-layers — экспериментальный пакет слоёв GGUF для запуска модели inkling через Mesh LLM. Он создан на основе unsloth/inkling-GGUF и распределяет её веса по отдельным артефактам для вывода на локальном кластере Mesh LLM. Метаданные указывают на поддержку визуального ввода и диалогового режима; задача модели — преобразование изображений и текста в текст. Пакет предназначен для локального приватного запуска, распределения вычислений между несколькими машинами, когда полный GGUF не помещается на одном хосте, и обслуживания запросов через совместимый с OpenAI API. Используется формат GGUF, вариант квантования — UD-Q2_K_XL. Для работы нужна среда Mesh LLM. Подробности архитектуры, языков, контекста и лицензии следует сверять с карточкой исходной модели unsloth/inkling-GGUF, поскольку в README пакета они не приведены.
Это 4-битная конверсия модели Llama 3.2 11B Vision Instruct в формат MLX, подготовленная сообществом mlx-community из unsloth/Llama-3.2-11B-Vision-Instruct с помощью mlx-vlm 0.1.0. В метаданных базовой моделью указана meta-llama/Llama-3.2-11B-Vision-Instruct; архитектура — плотная MllamaForConditionalGeneration с 11 млрд параметров. Модель предназначена для диалога с изображениями: она принимает текстовые запросы и изображения, отвечает на вопросы о визуальном содержимом и ведёт беседу. В карточке заявлена поддержка английского языка, а среди возможностей указаны чат, зрение и интерфейс вызова инструментов. Для запуска в MLX README предлагает использовать mlx-vlm. Модель распространяется по лицензии Llama 3.2. Это конверсия в 4-битный формат MLX, однако метаданные также указывают файлы safetensors; точные ограничения лицензии и результаты оценки качества в предоставленной карточке не описаны.
yeopeter1031 разработал эту модель как полноразмерное SFT-дообучение Qwen3.5-0.8B-Base без LoRA и адаптеров. Это плотная языковая модель на 581,4 млн параметров; опубликованный чекпойнт соответствует шагу 3400 из 4656, примерно 73% обучения. Для неё указано контекстное окно до 262 144 токенов. Модель обучалась на данных AI Hub 88 для извлечения информации из корейских административных документов и создания вики-статей. В README сообщается, что на тестах вне домена, включая учебные материалы по структурам данных, сохранялась основная структура ответа. Это специализированный чекпойнт, не предназначенный для общего диалога; при вне-доменных запросах у небольшой модели иногда наблюдались галлюцинации с примесью китайских токенов. Для эксплуатации рекомендуется постобработка вывода. Лицензия — Apache 2.0, унаследованная от базовой модели. Метрики финального журнала обучения: eval loss 0,0698 и точность токенов 97,75%; они приведены для чекпойнта и сами по себе не гарантируют качество на других данных.
wangkanai/qwen3-vl-2b-thinking — модифицированная мультимодальная модель семейства Qwen3-VL с примерно 2 млрд параметров. Она принимает изображения и текст и генерирует текстовые ответы; в карточке заявлены визуальный анализ, ответы на вопросы по изображениям, их описание и рассуждения. Архитектура сочетает визуальный энкодер на основе ViT с текстовым декодером Qwen3. Заявленная длина контекста — 4096 токенов; изображения обрабатываются при стандартном разрешении 448×448, поддерживается увеличение до 1024×1024. Модель предназначена для мультимодального диалога и анализа изображений на потребительском оборудовании. В репозитории представлены веса SafeTensors и GGUF FP16. Разработчик README описывает версию как abliterated, с ослабленными или удалёнными защитными фильтрами и усиленным режимом рассуждений; поэтому модель может выдавать небезопасный контент. Указанная лицензия — Apache-2.0. Информация о поддерживаемых естественных языках в предоставленных материалах отсутствует.
ReaLiSe-for-csc — китайская модель исправления орфографических ошибок (Chinese Spell Checking, CSC), опубликованная пользователем iioSnail и основанная на реализации ReaLiSe. Модель построена на архитектуре BERT и содержит 129,5 млн параметров; она предназначена для обнаружения и исправления ошибок в китайских предложениях. В README приведены результаты на SIGHAN2015: sentence-level Correct-F1 составляет 77,8, Detect-F1 — 79,3. Модель принимает текст и выдаёт исправленный текст; карточка Hugging Face классифицирует её как feature-extraction. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch и Safetensors, для запуска в README описано использование Transformers и pypinyin. Указана лицензия AFL-3.0. Карточка не приводит сведений о поддержке других языков; README также отмечает возможные сетевые затруднения при загрузке и проблему совместимости Transformers при локальном использовании.
Tongda1-1.5B-BKI — дообученная с помощью LoRA модель Qwen2-1.5B-Instruct от разработчика Tongda для извлечения структурированных сведений из китайских объявлений о торгах и результатах закупок. Она выделяет, например, название проекта, тип объявления, бюджет, сроки подачи документов, заказчика, место вскрытия заявок и регион, чтобы передавать эти данные в системы закупок и последующей обработки документов. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и использует контекст до 32 768 токенов. Она принимает текст и генерирует текст с извлечёнными полями. Для обучения использовались китайские объявления о торгах; репозиторий указывает датасет Tongda/bid-announcement-zh-v1.0. Модель распространяется в формате Safetensors через Transformers и PEFT по лицензии Apache-2.0. Узкая специализация и небольшой размер отличают её для извлечения сведений из закупочных объявлений; README сообщает о сравнительных оценках выше базовой модели на приведённых метриках. Качество может снижаться на документах с необычной структурой, а для других языков и тематика вне торгов модель не предназначена.
Карточка модели TULLUS/Aquila-VL-2B-llava-qwen на Hugging Face совпадает с карточкой BAAI/Aquila-VL-2B-llava-qwen, поэтому описание составлено по ней. Aquila-VL-2B — мультимодальная модель BAAI для диалога и ответов на вопросы по изображениям. Она построена на основе фреймворка LLaVA-OneVision: языковая часть использует Qwen2.5-1.5B-Instruct, а визуальная — SigLIP SO400M Patch14-384. Модель объединяет эти компоненты и дообучена на наборах Infinity-MM, Infinity-Instruct и Infinity-Preference; в Infinity-MM около 40 миллионов пар изображение–текст. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Поддерживает английский и китайский языки, использует архитектуру Qwen2 и имеет контекстное окно 32 768 токенов. В опубликованных тестах она показала результаты, сопоставимые с моделями сходного размера на бенчмарках MMBench на английском и китайском языках. Карточка не описывает поддержку видео или нескольких изображений; авторы указывают их как направление будущего обучения. Модель доступна по лицензии Apache-2.0. Как и другие компактные мультимодальные модели, она может ошибаться при распознавании деталей изображения и формировании ответов; результаты бенчмарков не гарантируют точность в конкретных сценариях.
KK3133152/dama-aibrain — дообученная модель семейства Gemma 4, разработанная KK3133152 на базе unsloth/gemma-4-e2b-it-unsloth-bnb-4bit с использованием Unsloth и Hugging Face TRL. Она предназначена для диалоговых сценариев с изображениями: принимает текст и изображения и формирует текстовый ответ. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В метаданных заявлена задача image-text-to-text и возможность работы с изображениями в чате. Подробности о специализации дообучения, качестве, контексте и поддерживаемых языках README не приводит; метаданные указывают английский язык.
Ivy-VL — компактная мультимодальная модель примерно на 3,1 млрд параметров, разработанная AI Safeguard совместно с CMU и Stanford. Она принимает изображения и текст и генерирует текстовые ответы; модель основана на архитектуре LLaVA-OneVision, использует Qwen2.5-3B-Instruct как языковую часть и визуальный энкодер SigLIP SO400M. Репозиторий содержит веса в формате Safetensors, модель рассчитана на контекст до 32 768 токенов и работает через библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, диалога о содержимом изображений и мультимодальных сценариев на устройствах с ограниченными ресурсами, например смартфонах и умных очках. В README заявлены английский и китайский языки; метаданные также перечисляют русский и другие языки. Авторы сообщают о высоких результатах на ряде бенчмарков, однако README отмечает, что результаты могут различаться из-за условий оценки. Лицензия — Apache 2.0.
mlx-community/llava-1.5-7b-4bit — мультимодальная модель семейства LLaVA, преобразованная сообществом mlx-community в формат MLX из llava-hf/llava-1.5-7b-hf. Она принимает изображения и текстовые запросы и генерирует текстовые ответы в диалоговом режиме, поэтому подходит для вопросов об изображениях и визуального описания. Модель основана на архитектуре LlavaForConditionalGeneration; обозначение 7b-4bit указывает на вариант с 7 млрд параметров в 4-битном представлении. Репозиторий содержит веса safetensors. Модель предназначена для запуска с mlx-vlm на совместимых устройствах Apple и обучена с использованием набора LLaVA-Instruct-150K. Карточка направляет к описанию исходной модели за подробностями о её возможностях. Лицензия указана как llama2.