I.4Обработка документов и форм

Koyal Hindi ASR 120M — модель распознавания речи на хинди, разработанная Adalat AI для подготовки диктовок к использованию в документах. Она создаёт транскрипты в формате rich orthography: добавляет пунктуацию и записывает числа в принятом письменном виде. Модель принимает аудио и выдаёт текст; размер составляет около 120 млн параметров, архитектура — гибридный Conformer TDT-CTC в NeMo. Энкодер изначально обучен на базе MahaDhwani, затем модель дообучена на данных диктовки на хинди. Модель предназначена для автономной пакетной транскрибации, в том числе юридических и судебных диктовок, где важны оформление и запись чисел. Она поддерживает хинди; обучение и оценка проводились на аудио с частотой 16 кГц. README приводит результаты на наборах с разными правилами разметки и метриками, поэтому их нельзя напрямую сопоставлять между режимами. Модель работает только офлайн, её качество на других частотах дискретизации не охарактеризовано, а речь с переключением языков не входит в целевой сценарий. Лицензия — CC-BY-4.0.

LFM2.5-VL-1.6B-4bit — мультимодальная vision-language модель на 1,6 млрд параметров, разработанная Liquid AI. Она предназначена для задач image-text-to-text, в частности для анализа и описания изображений по текстовым запросам. Модель преобразована в формат MLX из LiquidAI/LFM2.5-VL-1.6B с использованием mlx-vlm 0.3.10 и оптимизирована в 4-битном представлении для запуска в экосистеме MLX, включая устройства Apple Silicon. В карточке указана поддержка английского, японского, корейского, французского, испанского, немецкого, арабского и китайского языков. К сильным сторонам относятся сочетание обработки изображений и текста, компактный размер и 4-битное представление, облегчающее локальный запуск. Сведения о точной архитектуре, размере контекстного окна, ограничениях качества и конкретных сценариях применения в README не приведены. Модель распространяется по лицензии lfm1.0; подробные условия находятся в файле LICENSE.

MLX-версия мультимодальной модели LFM2-VL-1.6B, разработанной Liquid AI и конвертированной сообществом mlx-community из исходной модели LiquidAI/LFM2-VL-1.6B с помощью mlx-vlm 0.3.2. Модель предназначена для задач image-text-to-text, включая анализ и описание изображений по текстовым запросам, и ориентирована на запуск в экосистеме MLX, в том числе на периферийных устройствах. Известно, что модель поддерживает работу с изображениями и текстом, имеет размер 1,6 млрд параметров и представлена в 4-битном квантованном формате. Заявленный язык — английский. Формат MLX и квантование уменьшают требования к памяти и делают модель более удобной для локального инференса, однако могут ограничивать точность по сравнению с полной версией; конкретные показатели качества, размер контекста и перечень поддерживаемых сценариев в карточке не указаны. Модель распространяется по лицензии lfm1.0; подробные условия следует уточнять в файле LICENSE и оригинальной карточке модели.

LLaDA-V — модель для диалога по изображениям, разработанная авторами проекта LLaDA и представленная в работе «LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning». Она сочетает визуальное понимание с диффузионной языковой моделью и предназначена для ответов на вопросы об изображениях и выполнения визуальных инструкций. Модель имеет плотную архитектуру LlavaLLaDAModelLM и содержит 7,5 млрд параметров. Она принимает изображения и текст, выдаёт текст, поддерживает контекст до 16 384 токенов и опубликована в формате safetensors для Transformers. В README авторы характеризуют её как конкурентоспособную модель, превосходящую другие диффузионные мультимодальные языковые модели; независимые сравнительные результаты в карточке не приведены. Карточка не содержит сведений о лицензии, поэтому условия использования по ней определить нельзя. Модель относится к семейству LLaDA; более поздняя LLaDA-o упомянута в README отдельно и не является этой моделью.

Карточка модели OrchardPair/Llama-3.2-11B-Vision-Instruct-4bit на Hugging Face совпадает с карточкой mlx-community/Llama-3.2-11B-Vision-Instruct-4bit, поэтому описание составлено по ней. Это 4-битная конверсия модели Llama 3.2 11B Vision Instruct в формат MLX, подготовленная сообществом mlx-community из unsloth/Llama-3.2-11B-Vision-Instruct с помощью mlx-vlm 0.1.0. В метаданных базовой моделью указана meta-llama/Llama-3.2-11B-Vision-Instruct; архитектура — плотная MllamaForConditionalGeneration с 11 млрд параметров. Модель предназначена для диалога с изображениями: она принимает текстовые запросы и изображения, отвечает на вопросы о визуальном содержимом и ведёт беседу. В карточке заявлена поддержка английского языка, а среди возможностей указаны чат, зрение и интерфейс вызова инструментов. Для запуска в MLX README предлагает использовать mlx-vlm. Модель распространяется по лицензии Llama 3.2. Это конверсия в 4-битный формат MLX, однако метаданные также указывают файлы safetensors; точные ограничения лицензии и результаты оценки качества в предоставленной карточке не описаны.

LLaVA 1.5 13B — мультимодальная чат-модель от команды LLaVA, представленная в формате Hugging Face Transformers. Это авторегрессионная модель на архитектуре Transformer, дообученная на базе LLaMA/Vicuna на мультимодальных инструкционных данных, сгенерированных GPT. Она принимает изображения и текстовые запросы и формирует текстовые ответы; поддерживает несколько изображений в одном запросе и диалоговый формат. Модель предназначена для вопросов об изображениях, описания визуальных сцен и диалогового взаимодействия с визуальным контекстом. Карточка показывает использование через Transformers и возможность ускорения генерации с FlashAttention 2 или работы в 4-битном режиме через bitsandbytes при наличии совместимого GPU. В метаданных указан английский язык. Репозиторий содержит веса Safetensors, а лицензия обозначена как Llama 2. Модель имеет 13B параметров согласно названию чекпойнта; отдельные значения длины контекста в предоставленных данных нет.

LLaVA-OneVision Qwen2 0.5B — мультимодальная модель семейства LLaVA-OneVision, разработанная LMMS-Lab. Она объединяет визуальный энкодер SO400M с языковой моделью Qwen2 и содержит около 494 млн параметров. Модель обучена на наборе LLaVA-OneVision-Data; её контекст составляет 32 768 токенов. Модель предназначена для диалога по изображениям, нескольким изображениям и видео, а также для генерации текста в ответ на запросы. Подходит для описания визуального содержимого и ответов на вопросы о нём. Указанные языки — английский и китайский. Модель распространяется под лицензией Apache-2.0.

MBZUAI/LLaVA-Phi-3-mini-4k-instruct-FT — мультимодальная модель для диалога по изображениям, объединяющая LLaVA v1.5 и языковую модель Phi-3-mini-4k-instruct. В README указано, что на этапе предварительного обучения обучался только проектор между зрительной и языковой частями, а при дообучении обновлялись параметры модели, кроме замороженной зрительной основы CLIP. Использованы наборы LCS-558K и LLaVA-Instruct-665K. Модель предназначена для генерации ответов на текстовые запросы с учётом изображений и для задач визуального понимания. Она содержит 3,7 млрд параметров, имеет контекст 4096 токенов и распространяется в формате safetensors. Лицензия — MIT. README описывает зрительно-языковые возможности, однако метаданные HF указывают text-generation; для применения с изображениями может потребоваться совместимый интерфейс LLaVA.

LLaVA-v1.5-13B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA. Это авторегрессионная модель на основе трансформера с плотной архитектурой LlavaLlamaForCausalLM и 12,9 млрд параметров; она объединяет обработку изображений с языковой моделью на базе LLaMA/Vicuna. Модель обучена в сентябре 2023 года на парах изображение–текст, синтетических инструкциях и данных для визуальных вопросов и ответов. Окно контекста — 4096 токенов. Модель предназначена для диалога по изображениям: она может описывать визуальное содержимое и отвечать на вопросы о нём, а также выполнять текстовые инструкции. Карточка позиционирует её для исследований мультимодальных моделей и чат-ботов, а также для работы исследователей и энтузиастов в области компьютерного зрения, NLP и машинного обучения. В README не указаны лицензия и языковой охват, поэтому эти характеристики здесь не уточняются.

Карточка модели TitanML/llava-v1.6-mistral-7b на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.

SurfaceData/llava-v1.6-mistral-7b-sglang — форк LLaVA-v1.6-Mistral-7B, адаптированный для инференса с SGLang; в README указано, что других изменений не вносили. Это плотная авторегрессионная мультимодальная модель на архитектуре Transformer с классом LlavaLlamaForCausalLM и 7,1 млрд параметров. Базовая языковая модель — mistralai/Mistral-7B-Instruct-v0.2; модель разработана на основе LLaVA, обученной в декабре 2023 года. Модель предназначена для диалогов по изображениям и выполнения мультимодальных инструкций: например, для ответов на визуальные вопросы, описания изображений и решения задач компьютерного зрения на естественном языке. Она принимает текст и изображения и формирует текстовые ответы. Максимальная длина контекста — 32 768 токенов. В README перечислены обучающие данные с подписями к изображениям, мультимодальными инструкциями, наборами VQA и диалогами ShareGPT. README позиционирует LLaVA прежде всего для исследований мультимодальных моделей и чат-ботов, а также для работы исследователей и энтузиастов в компьютерном зрении и машинном обучении. Репозиторий содержит веса safetensors и опубликован по лицензии Apache-2.0. Форк заявлен как совместимый с SGLang для инференса.

MAmmoTH-VL2 — мультимодальная модель TIGER-Lab для диалоговой работы с изображениями и текстом. Она дообучена на MAmmoTH-VL/MAmmoTH-VL-8B с использованием набора данных VisualWebInstruct и предназначена для ответов на вопросы по изображениям и выполнения визуальных инструкций. Архитектура — плотная Qwen2 с классом LlavaQwenForCausalLM; модель содержит 7,1 млрд параметров, принимает текст и изображения и генерирует текст. Длина контекста — 32 768 токенов. Модель подходит для анализа изображений в диалоге, визуального вопросно-ответного поиска и описания содержимого изображений. В метаданных указан английский язык. Для запуска README приводит требования llava==1.7.0.dev0 и torch==2.5.1. Модель распространяется по лицензии Apache-2.0.

OsaurusAI/Mistral-Medium-3.5-128B-JANGTQ — созданная Jinho Jang версия Mistral-Medium-3.5-128B для запуска на компьютерах Apple Silicon через MLX. Это плотная мультимодальная модель на 128 млрд параметров с декодером Ministral3 и визуальным энкодером Pixtral; она принимает текст и изображения, а контекст составляет 256 тысяч токенов. Основное назначение — диалог и ответы на вопросы об изображениях. Веса линейных слоёв текстового декодера сжаты методом TurboQuant до 2 бит с предварительным преобразованием Hadamard; токенные эмбеддинги хранятся в 8-битном формате, а нормализации, визуальная башня, мультимодальный проектор и выходной слой оставлены в FP16. Такое распределение позволяет запускать крупную модель на Apple Silicon, но 2-битное сжатие вносит погрешность в веса. README сообщает о проверке round-trip квантования, но не приводит независимых оценок качества ответов. Модель распространяется по лицензии Apache-2.0. Для запуска предназначен MLX-стек на Apple Silicon; README приводит пример обработки изображения с текстовым запросом.

MoAI-7B — модель для работы с изображениями и текстом из проекта MoAI: Mixture of All Intelligence for Large Language and Vision Models. Репозиторий содержит веса модели; в метаданных указана плотная архитектура семейства InternLM и размер 7,4 млрд параметров. Модель принимает изображение вместе с инструкцией и генерирует текстовый ответ. Её можно применять для диалога по изображению и ответов на вопросы о визуальном содержимом. Контекст составляет до 32 768 токенов. В README описан запуск через код проекта MoAI с этапами загрузки изображения, предобработки, генерации и декодирования. Репозиторий распространяется по лицензии MIT. README не уточняет поддерживаемые языки и ограничения качества; сведения о языковой поддержке поэтому не включены.

XueJie1/my-gemma-4-finetune — дообученная модель XueJie1 на базе unsloth/gemma-4-e4b-it-unsloth-bnb-4bit. Она построена на архитектуре Gemma 4 и предназначена для диалоговых сценариев, в которых нужно анализировать изображения и отвечать на текстовые запросы. Метаданные также отмечают интерфейс вызова инструментов. Модель опубликована в формате safetensors; README сообщает, что при обучении использовались Unsloth и библиотека TRL. Репозиторий распространяется по лицензии Apache-2.0. Метаданные указывают поддержку английского языка. Подробности о наборе данных, конкретной специализации дообучения и оценке качества не приведены.

thisisiron/Ovis2-2B-hf — мультимодальная модель семейства Ovis2, опубликованная пользователем thisisiron на Hugging Face; карточка репозитория автоматически создана и не называет разработчика, поэтому модель описана по принадлежности к семейству Ovis2 от AIDC-AI. Это компактная модель для диалога по изображениям и текстовым инструкциям: принимает изображение и текст, генерирует текстовые ответы, например описания изображения и ответы на вопросы о его содержимом. Архитектура — Ovis2ForConditionalGeneration с языковой частью на базе Qwen2; репозиторий содержит веса в safetensors и поддерживает Transformers. Для семейства Ovis2 разработчик указывает улучшения в визуально-текстовом выравнивании, обучающих данных и методах обучения, а также усиленное рассуждение. В карточке конкретного репозитория не подтверждены число параметров, длина контекста и языки; лицензия также не приведена. Официальный репозиторий Ovis2-2B указывает английский и китайский языки и лицензию Apache-2.0, но эти сведения нельзя уверенно переносить на перезалив thisisiron без отдельного подтверждения. Как и другие модели, отвечающие на вопросы по изображениям, модель может ошибаться в интерпретации визуального содержимого.

pretrain_dsg_OLA-VLM-CLIP-ViT-Llama3-8b — предварительно обученная мультимодальная модель семейства OLA-VLM, разработанная командой Shi Labs. Она переносит визуальную информацию от целевых энкодеров в промежуточные представления языковой модели и обучается одновременно на задаче предсказания следующего токена и минимизации потерь эмбеддингов на выбранных слоях. Модель предназначена для диалога по изображениям и генерации текстовых ответов с визуальным контекстом. Модель основана на дообученной Meta-Llama-3-8B-Instruct, использует плотную архитектуру OlaLlavaLlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает изображения и текст, выдаёт текст, поддерживает английский язык и контекст до 8192 токенов. Весы доступны в формате Safetensors. Модель подходит для визуально ориентированных мультимодальных сценариев, но карточка не приводит количественных оценок качества или подробных результатов тестирования. Лицензия — Apache-2.0.

Qwen2.5-VL-32B-CVRR — мультимодальная модель на основе Qwen/Qwen2.5-VL-32B-Instruct, разработанная авторами работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary». Она реализует метод Causal Visual Recurrent Reasoning (CVRR): рекуррентно уточняет представление вопроса с опорой на визуальные данные, а при генерации ответа использует полученное состояние рассуждения как интерфейс к визуальной информации. Модель предназначена для ответов на вопросы по изображениям и другим визуальным входам; архитектура плотная, размер базовой модели — 32 млрд параметров. Веса поставляются в формате Safetensors, а инференс выполняется специальным загрузчиком Transformers. Подходит для визуального анализа и задач, где важно, чтобы ответ опирался на состояние латентного визуального рассуждения. Модель принимает текст и изображения и генерирует текстовые ответы. README указывает параметры по умолчанию T=4 и beta=0.5, а также предупреждает, что результаты исторической оценки при beta=0.33 не подтверждены для этого объединённого пакета. Для запуска требуется отдельная копия модели на каждом GPU; автоматическое разбиение на GPU и прямая загрузка через vLLM или SGLang не поддерживаются. Лицензия — Apache-2.0.

Silkie — мультимодальная языковая модель, разработанная командой MMInstruction. Это дообученная версия Qwen/Qwen-VL-Chat с архитектурой Qwen и 11,4 млрд параметров. Модель обучали методом direct preference optimization на наборе MMInstruction/VLFeedback, используя предпочтения, размеченные GPT-4V. Модель предназначена для диалоговых задач с изображениями: она принимает текстовые запросы и изображения и генерирует текстовые ответы. По данным авторов, относительно исходной модели Silkie улучшила результаты на бенчмарке MME для восприятия и когнитивных задач и получила оценку 3,02 на MMHal-Bench в оценке галлюцинаций. Контекст составляет 8192 токена. Авторы позиционируют Silkie для исследований выравнивания мультимодальных моделей. Карточка не приводит сведений о лицензии, поэтому условия использования по имеющимся данным описать нельзя.

Это конвертированная в формат MLX версия мультимодальной модели SmolVLM2-2.2B-Instruct от Hugging Face, подготовленная сообществом mlx-community с помощью mlx-vlm. Модель принимает изображения и текстовые запросы и формирует текстовые ответы; она предназначена для диалога и анализа визуального содержимого. Архитектура — плотная SmolVLMForConditionalGeneration с 2,2 млрд параметров. Карточка указывает поддержку английского языка. Репозиторий распространяется по лицензии Apache-2.0. MLX-версия рассчитана на использование в экосистеме MLX; подробные сведения о возможностях и ограничениях следует сверять с карточкой базовой модели.

HuggingFaceTB/SmolVLM-500M-Base — мультимодальная базовая модель семейства SmolVLM, опубликованная командой HuggingFaceTB. Она предназначена для преобразования изображений и текстовых запросов в текстовые ответы и работает через библиотеку Transformers. В метаданных модель также связана с архитектурой Idefics3 и поддерживает conversational-сценарии. Модель подходит для анализа изображений по текстовой инструкции, визуального вопросно-ответного взаимодействия и встраивания в приложения, которым требуется совместная обработка изображений и текста. Это базовая модель, поэтому для специализированных задач может потребоваться дополнительная настройка или интеграция с прикладным контуром. README не содержит подробных сведений о результатах оценки, языках, размере контекста, лицензии и известных ограничениях. При практическом использовании следует проверять качество на целевых изображениях и учитывать возможность ошибок в распознавании визуального содержимого и формировании ответов.

TinyLLaVA-OpenELM-450M-SigLIP-0.89B — компактная мультимодальная модель семейства TinyLLaVA, созданная командой TinyLLaVA с помощью кодовой базы TinyLLaVA Factory. В её состав входят языковая модель OpenELM-450M-Instruct и визуальный энкодер siglip-so400m-patch14-384; для обучения использован набор данных LLaVA. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для вопросов по изображениям и визуального понимания, в том числе для сценариев, похожих на GQA, TextVQA, ScienceQA и VQAv2. В README приведены результаты оценки на этих и других бенчмарках; они показывают возможности модели, но не гарантируют точность в конкретном приложении. Как компактная модель, она может уступать более крупным мультимодальным системам; сведения о поддерживаемых языках и длине контекста в предоставленных источниках отсутствуют.

VAETKI-VL-7B-A1B — мультимодальная модель зрения и языка, разработанная консорциумом NC-AI при участии ETRI и Korea University. Она объединяет авторегрессионную языковую модель VAETKI, визуальный энкодер RICE-ViT и FFN и предназначена для эффективного инференса и диалоговых задач с изображениями. Модель построена на архитектуре MoE: при общем размере 7,58 млрд параметров активируется около 1,2 млрд параметров языковой части; используются 64 эксперта, из которых активны 5. Визуальный энкодер содержит 0,33 млрд параметров. Контекст — 16 тыс. токенов. Модель обучалась в три этапа: выравнивание проектора, базовое и расширенное дообучение с инструкциями на мультимодальных данных. Поддерживаемые языки — корейский и английский. Лицензия MIT. Модель подходит для диалогов по изображениям и ответов на визуальные вопросы. Она может выдавать неточные или неполные ответы и галлюцинировать, особенно при неоднозначных запросах; у неё есть ограничения в многошаговых рассуждениях, точных вычислениях и генерации корректного кода. В README модель не рекомендуется для критически важных и регулируемых решений.

VisionPsy-Nano-460M-Flash-GGUFs — набор GGUF-весов мультимодальной модели VisionPsy-Nano-460M-Flash, разработанной Tether AI Research (Tether Data, S.A. de C.V.). Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов, включая сценарии visual question answering. Основной фокус — быстрый полностью локальный запуск на смартфонах, ноутбуках и других устройствах с ограниченными ресурсами через модифицированную версию llama.cpp. Модель использует архитектуру nanoVLM: vision encoder SigLIP2, текстовый backbone SmolLM2-360M и агрессивное сжатие визуальных токенов — до 64 токенов для изображения 512×512. Размер модели составляет примерно 460 млн параметров. Поддерживается английский язык. Публикация включает варианты от FP32 и BF16 до 8-, 5-, 4- и 3-битных квантований; большинство вариантов ниже 8 бит используют калибровку importance matrix. Для обработки изображений дополнительно требуется мультимодальный проектор mmproj в формате GGUF. Сильные стороны модели — низкие требования к памяти, малое время до первого токена и высокая скорость на мобильных устройствах: заявлено ускорение в 10–25 раз по сравнению с рядом сопоставимых моделей при сохранении примерно 98% качества исходной модели. Компромиссом являются небольшая потеря точности из-за сокращения визуальных токенов и квантования, а также ограничение английским языком. Для запуска необходим именно пропатченный форк llama.cpp, поэтому стандартная upstream-версия может не подойти. Модель распространяется по лицензии Apache 2.0.

BUAADreamer/Yi-VL-34B-hf — версия в формате Hugging Face мультимодальной модели Yi-VL-34B, разработанной 01-AI. Это чат-модель с поддержкой зрения, предназначенная для ответов на вопросы по изображениям и диалога с визуальными данными. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Transformers. Модель подходит для визуальных вопросов и ответов, а также для дообучения под прикладные задачи с изображениями. В карточке указана поддержка китайского и английского языков. Лицензия — Yi Series Model License; перед использованием следует учитывать её условия.

Bunny-v1.1-Llama-3-8B-V — мультимодальная модель семейства Bunny, разработанная командой BAAI. Она объединяет визуальный энкодер SigLIP с языковой моделью Llama-3-8B-Instruct и S²-Wrapper; размер модели составляет 7,5 млрд параметров, а контекст — 8192 токена. Модель принимает изображения с разрешением до 1152 × 1152 пикселей и текстовые запросы, а отвечает текстом в диалоговом формате. Модель предназначена для диалога по изображениям: описания сцен, ответов на вопросы о содержимом изображения и визуального анализа. В карточке приведён пример использования через Transformers. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся контекст в 8192 токена и разрешение изображений до 1152 × 1152 пикселей. Данных для подтверждения поддержки конкретных языков в карточке нет.

iioSnail выпустил неофициальную реализацию модели ChineseBERT для исправления орфографических ошибок в китайском тексте, основанную на воспроизведении работы SCOPE. Это плотная модель семейства BERT с 131,1 млн параметров и контекстом до 512 токенов; репозиторий содержит веса PyTorch и safetensors. Для работы с моделью приведён пример использования Transformers, а метод predict включает предложенный авторами CIC для обработки последовательных ошибок. Модель предназначена для обнаружения и исправления ошибочных китайских иероглифов. В README приведены результаты на SIGHAN2015: F1 обнаружения на уровне символов — 87,16, F1 исправления — 91,39; результаты ниже примерно на один пункт по сравнению с исходной статьёй. Реализация удаляет вспомогательную задачу обучения на пиньине и связанные с ней вычисления функции потерь, поэтому не полностью воспроизводит оригинальный подход. Лицензия репозитория — AFL-3.0.

Ornith-1.0-397B-GGUF — квантизированная версия мультимодальной модели Ornith-1.0-397B, разработанной deepreinforce-ai. Пакет подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов, однако конкретные сценарии применения, поддерживаемые языки и максимальная длина контекста в карточке не указаны. Модель имеет заявленный размер 397B параметров и доступна в вариантах квантизации от Q8_0 до более компактных Q2 и IQ-классов. Старшие варианты обеспечивают более высокое качество, но требуют очень большого объёма памяти: например, Q8_0 занимает около 421,58 ГБ, а рекомендуемые Q6_K и Q5_K_M — около 342,39 и 283,26 ГБ соответственно. Более лёгкие варианты экономят память, но снижают качество. Для запуска предлагаются llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновление с поддержкой модели. К сильным сторонам относятся большой размер базовой модели, мультимодальность, широкий выбор квантизаций и совместимость с экосистемой GGUF. Ограничениями являются крайне высокие требования к ресурсам даже у компактных вариантов, возможное снижение качества при агрессивной квантизации и отсутствие в README сведений о точных архитектурных особенностях, языках, контекстном окне, результатах тестирования и рекомендуемых аппаратных конфигурациях. Указанная лицензия — MIT.

FastVLM-0.5B-bf16 — мультимодальная модель для преобразования изображений и текстовых запросов в текстовые ответы. Модель разработана Apple, а данная версия преобразована сообществом mlx-community из оригинальной Apple FastVLM-0.5B в формат MLX для использования на устройствах и системах, совместимых с MLX. Модель предназначена для задач понимания изображений, включая описание содержимого изображения по текстовой инструкции. В карточке указано, что она имеет размер 0,5 млрд параметров, поддерживает сценарий image-text-to-text и использует формат bf16. Конкретные сведения об архитектуре, поддерживаемых языках, размере контекстного окна, производительности и ограничениях в README не приведены. Для запуска рекомендуется пакет mlx-vlm и интерфейс генерации MLX. Модель распространяется по лицензии apple-amlr. Условия и ограничения этой лицензии, а также подробности о применении оригинальной модели следует уточнять в исходной карточке Apple FastVLM-0.5B.

FastVLM-GGUF — это GGUF-представление модели Apple FastVLM-0.5B, подготовленное для запуска через gguf-connector. Модель разработана Apple и предназначена для взаимодействия с визуально-языковыми данными: она может использоваться для описания изображений, ответов на запросы по изображениям, а также для анализа содержимого экрана и создания субтитров в реальном времени в соответствующем режиме connector f7. Режим f9 поддерживает передачу текстового запроса вместе с изображением. В репозитории доступны варианты fastvlm-0.5b-iq4_nl.gguf, fastvlm-0.5b-q4_0.gguf и fastvlm-0.5b-q8_0.gguf, различающиеся способом квантования. Базовый размер модели — 0,5 млрд параметров. Точные архитектура, поддерживаемые языки и размер контекста в README не указаны. Для запуска требуется gguf-connector; конкретные команды и режимы работы зависят от выбранного connector и файла GGUF. К сильным сторонам относятся компактный размер, наличие нескольких уровней квантования и сценарии работы с изображениями и экраном. Ограничениями являются необходимость специализированного connector, зависимость возможностей от выбранного режима и отсутствие в README подробных данных о производительности, языках и контекстном окне. Модель распространяется по лицензии Apple AMLR.