II.6Документация и сопровождение разработки

ktcapraz/embeddinggemma-german_qna-checkpoint-500 — модель Sentence Transformers, дообученная на наборе german-qna-full на основе google/embeddinggemma-300m. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения немецких вопросов и ответов. Модель имеет архитектуру Gemma3TextModel, содержит 302,8 млн параметров и принимает последовательности длиной до 2048 токенов; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, оценки текстового сходства, поиска перефразировок, классификации и кластеризации. В README приведены результаты оценки поиска на germanqna-eval, включая cosine_accuracy@1 0,7827 и @5 0,9312. Обучающая выборка состоит из немецких пар «вопрос—ответ», поэтому наиболее обоснованное применение — поиск по немецким вопросам и ответам; общие возможности базовой многоязычной модели не гарантируют такую же эффективность на других языках. Лицензия в предоставленных данных не указана.

GuardrailsAI/finetuned_nli_provenance — модель классификации текста, разработанная Guardrails AI. Она предназначена для проверки связи между утверждением и исходным контекстом в сценариях контроля происхождения и фактической обоснованности ответов языковых моделей, включая оценку того, следует ли гипотеза из предоставленного текста. Модель основана на архитектуре RoBERTa и содержит около 454,1 млн параметров; поддерживает текстовый ввод и контекст до 514 токенов. В Hugging Face она опубликована для задачи text-classification и распространяется по лицензии Apache-2.0. Доступная карточка модели содержит ограниченное описание, поэтому сведения о точных данных обучения, метриках, поддерживаемых естественных языках и деталях меток классификации не установлены.

Gemma4-12B-Coder (GGUF) — локальная специализированная версия Gemma 4 12B, основанная на google/gemma-4-12B-it и опубликованная в репозитории developerjeremylive. Модель дообучена для генерации кода, прежде всего на проверяемых задачах Python. В обучающих примерах рассуждения и решения проходили детерминированные тесты; использовались реальные трассы рассуждений Composer 2.5 и синтетические повторные решения Fable 5 для задач, где исходный учитель ошибался. Модель предназначена для локального и офлайн-применения в качестве помощника программиста: анализа алгоритмических задач, объяснения подхода, учёта граничных случаев и генерации исполняемого Python-кода. Это текстовая модель генерации с архитектурой Gemma 4 Unified, размером 12B параметров, распространяемая в формате GGUF для llama.cpp. Заявлена поддержка контекстного окна до 256K токенов. Доступны квантизации от Q2_K размером около 4,5 ГБ до Q8_0 размером около 11,8 ГБ; рекомендуемым компромиссом названа Q4_K_M размером около 6,87 ГБ. Сильные стороны модели — ориентация на код, обучение на решениях, прошедших тесты, локальная работа без облачного API и широкий выбор квантизаций для устройств с разным объёмом памяти. Ограничения включают специализацию преимущественно на Python и алгоритмических задачах, зависимость качества и доступного контекста от выбранной квантизации и объёма памяти, а также необходимость свежей версии llama.cpp с поддержкой архитектуры gemma4_unified. Модель распространяется по лицензии Apache-2.0.

Это дообученная на QLoRA модель Google Gemma 4 E2B Instruct, подготовленная автором rohitsoni1010 для агентного программирования. В основе — плотная мультимодальная архитектура Gemma4ForConditionalGeneration; модель поддерживает диалог и интерфейс вызова инструментов. В README указан набор настройки sft_balanced, а в метаданных — обучение на датасете r0b0tlab/qwen3.8-max-glm5.2-kimi-k3-distillation и формат safetensors. Модель предназначена для задач программирования с агентным поведением, где полезны диалог и вызов инструментов. Описание карточки не уточняет конкретные языки программирования, контекстное окно, поддерживаемые модальности на входе этой версии или результаты оценки качества. Лицензия — Gemma; применяются условия лицензии Google Gemma.

brandonmusic/GLM-5.3-Flash-tr3-4bpw — это квантованная версия GLM-5.3-Flash, разработанная brandonmusic на основе zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; в карточке указана интеграция с Transformers и pipeline image-text-to-text. Это EXL3/TR3-чекпойнт с равномерным K4-квантованием маршрутизируемых экспертов и точностью 4 бит на вес, ориентированный на высокопроизводительный запуск на двух GPU с архитектурой SM120. Модель поддерживает профили мультимодального и текстового запуска с DFlash2, а также текстовый профиль с встроенной головой MTP3. Для опубликованного мультимодального профиля заявлен предел запроса 98 304 токена и 129 473 токена KV-кэша; текстовый профиль с MTP3 рассчитан на существенно больший объём кэша — до 1 376 256 измеренных KV-токенов. Реализация использует NVFP4-кэш MLA KV, CUDA graphs и специализированную сборку vLLM/B12X, поэтому несовместима со стандартным upstream vLLM. Для мультимодального запуска требуется отдельный чекпойнт GLM-5.3-Flash-DFlash2. К сильным сторонам относятся низкая разрядность, поддержка изображений, режимы ускоренного декодирования и заявленная близость распределения токенов к BF16-версии: средняя токеновая KL-дивергенция указана на уровне 0,02455 ната на закрытом тестовом наборе. Ограничения включают зависимость от специализированного ПО и оборудования SM120, необходимость отдельного DFlash2-чекпойнта для некоторых профилей, ограниченную ёмкость резидентного контекста в мультимодальном режиме и постановку дополнительных запросов в очередь. Модель распространяется по лицензии shapleymcg-license-1.0; отдельный DFlash2-чекпойнт имеет лицензию CC-BY-NC-ND-4.0.

Huihui-Qwen3.5-397B-A17B-abliterated-GGUF — это GGUF-версия модели Qwen3.5-397B-A17B, созданная разработчиком huihui.ai с применением abliteration — экспериментальной процедуры удаления отказов модели. Модель относится к мультимодальному классу image-text-to-text и предназначена для обработки текста и изображений, включая диалоговые сценарии, рассуждения и задачи с использованием инструментов через llama.cpp. Модель имеет размер 397B параметров и архитектуру на базе Qwen3.5-397B-A17B; в идентификаторе базовой модели также указано обозначение A17B. README упоминает поддержку режима рассуждений, tool calling и контекста до 262144 токенов при запуске с llama-server. Данные о поддерживаемых языках и точном наборе модальностей не приведены. Распространение выполнено в формате GGUF, включая варианты квантования Q3_K, состоящие из нескольких частей, которые требуется объединить перед использованием. Главная особенность модели — значительно сниженная фильтрация безопасности и уменьшенное количество отказов, что может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неприемлемых ответов. Модель не рекомендуется для публичных и высокорисковых производственных сценариев без постоянного мониторинга и ручной проверки результатов. Указана лицензия Apache-2.0; при использовании необходимо также учитывать юридические и этические требования.

Huihui-Qwen3-VL-4B-Instruct-abliterated-GGUF — набор квантованных версий мультимодальной модели Huihui-Qwen3-VL-4B-Instruct-abliterated, разработанной huihui-ai. Модель относится к классу image-text-to-text и предназначена для задач, где требуется обрабатывать изображения вместе с текстовыми запросами и генерировать текстовые ответы. В карточке указано, что доступны форматы GGUF, обновлённые с использованием imatrix от unsloth. Базовая модель имеет размер 4B параметров и ориентирована на запуск через llama.cpp; для работы рекомендуется использовать последнюю версию этого инструмента. Для визуального модуля mmproj предпочтителен вариант F32, поскольку он должен обеспечивать лучшее качество по сравнению с BF16 и F16, хотя требует больше ресурсов. Конкретные поддерживаемые языки, размер контекстного окна, архитектурные детали, лицензия, результаты оценки и ограничения в README не указаны.

InternVL3.5-14B-MPO — мультимодальная модель OpenGVLab на архитектуре InternVLChatModel с плотной 14B языковой частью. Это вариант семейства InternVL3.5, дообученный на данных MMPR-v1.2 и MMPR-Tiny для улучшения мультимодальных ответов и рассуждений. Модель принимает изображения и текстовые запросы и генерирует текст; подходит для диалога по изображениям, визуального анализа, распознавания текста на изображениях и решения задач на рассуждение. Семейство InternVL3.5 использует каскадное обучение с подкреплением для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов. Модель распространяется в формате safetensors и использует библиотеку Transformers. README описывает мультимодальное понимание, включая задачи по изображениям; конкретные языки и размер контекстного окна для этой версии в предоставленных данных не установлены. Лицензия — Apache-2.0.

InternVL3.5-241B-A28B-Flash — мультимодальная чат-модель OpenGVLab из семейства InternVL3.5, основанная на InternVL3.5-241B-A28B и дообученная на данных MMPR-v1.2 и MMPR-Tiny. Модель принимает изображения и текст и формирует текстовые ответы; она предназначена для диалога по изображениям, визуальных рассуждений, решения задач и агентных сценариев, включая взаимодействие с графическим интерфейсом и задачи с видео. В README описаны Cascade Reinforcement Learning для улучшения рассуждений и Visual Resolution Router, динамически настраивающий разрешение визуальных токенов. Версия Flash поддерживает раздельное размещение зрительной и языковой частей модели для эффективного инференса. Репозиторий использует формат Safetensors и библиотеку Transformers; лицензия — Apache-2.0. Для эксплуатации крупной модели нужны значительные вычислительные ресурсы; точные параметры этой версии и размер её контекста в предоставленных данных не приведены.

jndpo3 — дообученная модель для генерации текста, созданная на базе deepseek-ai/deepseek-coder-1.3b-base и обученная на датасете generator. Это плотная авторегрессионная модель семейства Llama с 1,3 млрд параметров, предназначенная для продолжения текста и генерации кода. Максимальная длина контекста составляет 16 384 токена. Модель подходит для автодополнения кода и генерации текста по заданному контексту. Карточка не описывает конкретные настройки обучения, результаты оценки или дополнительные возможности. Указана лицензия other; её условия следует проверить перед использованием.

Это объединённый чекпойнт jakeroxs на основе KAT-Coder V2.5 Dev 35B-A3B: к варианту Philadelphia Class с изменённым поведением отказов добавлены совместимые веса слоя Multi-Token Prediction (MTP). Базовая модель разработана KwaiPilot; вариант Philadelphia Class подготовил KridgeDookie, а MTP-голову — Myric. Модель предназначена для генерации кода и локальных сценариев программирования и работы coding-агентов. Архитектура — Qwen3.5 MoE, около 35,51 млрд параметров при примерно 3 млрд активных; репозиторий содержит веса safetensors. Добавленный MTP-слой предназначен для экспериментов со спекулятивным декодированием. Карточка также указывает разговорное применение и английский и китайский языки. Abliteration направлена на снижение склонности к отказам, но не гарантирует определённого поведения. Чекпойнт предлагается для дальнейшей конвертации или квантизации, а для прямого использования с llama.cpp автор рекомендует связанный GGUF-репозиторий. Лицензия — Apache-2.0.

lift-GGUF — это 9-миллиардная multimodal-модель для структурированного извлечения данных из PDF-документов и изображений, разработанная Datalab на базе Qwen3.5-9B и представленная в формате GGUF пользователем prithivMLmods. Модель принимает произвольную JSON Schema и возвращает соответствующий JSON-объект с использованием декодирования, ограниченного схемой, что обеспечивает валидный и типизированный результат. Она поддерживает обработку многостраничных документов за один проход, включая значения, распределённые по нескольким страницам, а также локальный inference через Hugging Face и удалённый inference через vLLM. Указан английский язык; поддержка других языков не заявлена. Модель предназначена для автоматизированного извлечения полей, списков и других структурированных сведений из документов и изображений, включая сценарии с отвлекающими похожими данными и межстраничными значениями. На тесте из 225 документов объёмом от 6 до 64 страниц она показала точность на уровне полей 90,2% и точность целого документа 20,9% при медианной задержке 9,5 секунды, превзойдя Qwen3.5-9B и NuExtract3 сопоставимого размера, но уступив более крупным размещённым в облаке системам. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов варьируются примерно от 3,91 до 18,4 ГБ, для multimodal-обработки требуются отдельные mmproj-файлы. Код распространяется по Apache 2.0, а веса — по модифицированной лицензии OpenRAIL-M. Согласно описанию, веса бесплатны для исследований, личного использования и стартапов с финансированием или выручкой менее 5 миллионов долларов. Ограничениями являются зависимость качества от выбранной JSON Schema и конфигурации квантования, высокая требовательность к ресурсам для полноразмерных вариантов, а также сравнительно низкая точность полного документа по приведённому benchmark.

reranker_0.5_bin_filt — это текстовая reranker-модель для ранжирования и переранжирования найденных документов или других текстовых кандидатов по их релевантности запросу. Исходная модель разработана пользователем lightblue и дообучена на базе Qwen/Qwen2.5-0.5B-Instruct; GGUF-квантизацию выполнил Richard Erkhov. Модель предназначена для сценариев поиска, retrieval-augmented generation и фильтрации результатов, где требуется выбрать или упорядочить наиболее подходящие тексты. Она доступна в формате GGUF с вариантами квантизации Q2_K, IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8; размер файлов составляет примерно 0,39–0,63 ГБ. Указано, что базовая модель имеет размер 0,5B параметров, однако сведения о точной архитектуре reranker, поддерживаемых языках, модальностях и длине контекста отсутствуют. К сильным сторонам относятся небольшой размер и возможность локального запуска благодаря GGUF-квантизации, а также специализация на задачах бинарного ранжирования. Ограничения связаны с отсутствием подробного описания датасета, сценариев применения, языковой поддержки и полноценных оценок качества: в карточке приведены только значения loss, включая 0,0526 на evaluation set. Лицензия указана как «other», без уточнения условий использования, поэтому перед применением необходимо проверить лицензионные ограничения исходной модели и производного артефакта.

Это готовая к инференсу модель для генерации кода, дообученная методом supervised fine-tuning на базе meta-llama/Llama-3.2-3B-Instruct. В карточке указаны обучение на наборе llama3b_code_sft_data, упорядоченная подача данных и стратегия replay hard с коэффициентом 1,0; представлена контрольная точка на шаге оптимизатора 65. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и рассчитана на контекст до 131 072 токенов. Она принимает текстовые запросы и генерирует текст, в том числе код; библиотека запуска — Transformers, веса опубликованы в формате safetensors. Языковая специализация в карточке не уточнена. Карточка называет модель готовой к инференсу, но не приводит оценок качества или подробностей о поддерживаемых языках программирования. Лицензия в предоставленных данных не указана.

Llama-3-Groq-8B-Tool-Use-4bit — англоязычная текстовая генеративная модель семейства Llama 3, разработанная Groq и преобразованная сообществом mlx-community в формат MLX. Модель содержит около 7,5 млрд параметров, использует 4-битное представление и предназначена для запуска через mlx-lm на совместимом оборудовании Apple.

Meltemi 7B Instruct v1.5 — языковая модель ILSP для диалогов и выполнения инструкций, дообученная на основе Meltemi 7B v1.5. Она использует плотную архитектуру MistralForCausalLM с 7,2 млрд параметров и предназначена прежде всего для работы с греческим языком, а также поддерживает английский. Модель использует расширенный греческими токенами токенизатор Mistral, что снижает число токенов на греческое слово и ускоряет обработку этого языка. По README, контекст составляет 8192 токена; метаданные каталога указывают нативный контекст до 32768 токенов. Для настройки применён алгоритм ORPO на 97 тысячах предпочтений: преимущественно на греческих данных, а также на английских. Модель подходит для диалогов, ответов на вопросы и задач языкового понимания и рассуждения; в тестах авторов она улучшила средний результат на греческих бенчмарках по сравнению с предыдущей версией. Модель принимает текстовые запросы и генерирует текст. Она не гарантирует точность ответов и может выдавать вводящую в заблуждение, вредоносную или токсичную информацию; медицинские тесты в README не подтверждают пригодность для клинических решений. Лицензия — Apache-2.0.

MiniMax-M2.7-UD-Q4_K_XL-layers — пакет GGUF с весами модели MiniMax-M2.7, подготовленный Mesh LLM для распределённого инференса. Пакет получен из unsloth/MiniMax-M2.7-GGUF и разбит на артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного чат-инференса, распределённой работы на нескольких машинах, если полный GGUF не помещается на одном узле, и обслуживания запросов через совместимый с OpenAI API. В метаданных указаны задача генерации текста, библиотека mesh-llm и возможность чата; формат весов — GGUF, вариант квантования — UD-Q4_K_XL. README отсылает к исходной карточке за подробностями архитектуры, контекстного окна, языков, рекомендаций по генерации и лицензии, поэтому эти характеристики здесь не уточняются. Условия использования определяются лицензией исходной модели.

Motif-3-Mixed-Quant-GGUF — независимая конверсия модели Motif-3 от Motif Technologies, разработанная Baekpica. Это GGUF-артефакт для генерации текста на английском и корейском языках, предназначенный для локального запуска полноразмерной модели на оборудовании с примерно 128 ГБ унифицированной памяти, включая NVIDIA DGX Spark. Релиз не является официальным продуктом Motif Technologies. Модель построена на архитектуре Mixture-of-Experts с 314,8 млрд параметров: 53 слоя, из которых 14 используют полный и 39 — SWA-вариант внимания GDLA. В каждой разреженной слоистой части сохранены все 384 маршрутизируемых эксперта с маршрутизацией top-8, а также общий эксперт; параметры не удалялись, эксперты и слои не отбрасывались. Применена смешанная квантизация, итоговый размер составляет 94,16 ГБ, или 87,70 GiB, в 11 файлах. Заявленный исходный предел контекста — 262 144 токена. Сильной стороной модели является сохранение полной топологии и возможность запуска на ограниченном по памяти оборудовании. Для ds4-dfm заявлена проверка работы с контекстом до 262 080 токенов на одном DGX Spark, включая многооконный режим, а также поддержка OpenAI- и Anthropic-совместимых серверных интерфейсов, инструментов, непрерывной пакетной обработки и retrieval-сценариев. При этом приведённые тесты подтверждают главным образом загрузку и серверное выполнение; качество ответов в README не оценивалось, а результаты зависят от конкретного оборудования, runtime и режима контекста. Лицензия модели — MIT.

cross-encoder/ms-marco-MiniLM-L2-v2 — англоязычная модель ранжирования от команды Sentence Transformers, обученная на задаче MS MARCO Passage Ranking. Она оценивает релевантность пары «поисковый запрос — пассаж» и подходит для повторной сортировки результатов, предварительно найденных поисковой системой. Модель построена на архитектуре BERT и имеет 16,4 млн параметров; принимает текстовые пары и выдаёт оценку релевантности. Длина контекста — до 512 токенов. В README приведены результаты на TREC Deep Learning 2019 и наборе MS MARCO Passage Reranking; скорость измерялась на V100. Доступны форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Модель предназначена прежде всего для англоязычного поиска. Для каждого кандидата запрос и пассаж оцениваются совместно, поэтому её обычно применяют после первичного поиска, а не для сравнения с большим корпусом напрямую. Распространяется по лицензии Apache-2.0.

unicamp-dl/mt5-base-mmarco-v2 — модель на архитектуре mT5, дообученная на многоязычной версии набора MS MARCO для ранжирования пассажей. Версия Multi MS MARCO включает коллекции пассажей MS MARCO на девяти языках; для версии v2 данные переведены с помощью Google Translate. Модель содержит 291,2 млн параметров и распространяется в формате PyTorch. Модель предназначена для оценки релевантности пассажей поисковому запросу в многоязычных задачах поиска информации. Её можно использовать для ранжирования найденных фрагментов текста, например, при поиске ответов в корпусе документов. В карточке указана лицензия MIT. Перевод обучающих данных машинный, поэтому качество может зависеть от языка и особенностей перевода.

nomic-xlm-2048 — мультиязычный энкодер текста от Nomic AI, дообученный на основе FacebookAI/xlm-roberta-base. В модели заменены обучаемые позиционные эмбеддинги на RoPE; она обучалась 10 тысяч шагов на CC100 и поддерживает контекст до 2048 токенов. Размер — около 278 млн параметров. Модель предназначена для восстановления замаскированных слов и как основа для последующего дообучения под классификацию последовательностей и другие задачи понимания текста. В README приведены результаты на GLUE и XTREME-R, где модель показывает конкурентоспособное качество среди мультиязычных энкодеров. Метаданные также указывают поддержку классификации текста, выбора ответа, ответов на вопросы и разметки токенов. Модель принимает и выдаёт текст; она не является генеративным чат-ассистентом. README и метаданные не содержат сведений о лицензии, поэтому условия использования здесь определить нельзя.

Ola-7B — мультимодальная модель, разработанная исследователями Tencent, Университета Цинхуа и Наньянского технологического университета. Она дообучена на базе Qwen2.5-7B и сочетает визуальный энкодер Oryx-ViT с языковой моделью Qwen2.5 на 7,1 млрд параметров. Модель принимает текст, изображения, видео и аудио, а выдаёт текст; контекстное окно составляет 32 тыс. токенов. Модель предназначена для диалогов и генерации текстовых ответов по визуальным и аудиовизуальным данным, включая изображения и видео произвольного пространственного размера и временной длины. Обучение проводилось в три этапа на смеси более чем из 5 млн примеров с изображениями, видео и аудио. Для запуска требуется отдельно скачать speech encoder и указать его путь в config.json. Модель распространяется в формате safetensors по лицензии Apache-2.0.

OpenCodeInterpreter-CL-7B — языковая модель для генерации кода из семейства OpenCodeInterpreter. Она разработана как система, объединяющая генерацию кода с выполнением и итеративным уточнением по обратной связи; в карточке указано, что модель основана на CodeLlama-7b-Python-hf. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она предназначена для написания и улучшения программного кода; для семейства OpenCodeInterpreter описано применение обратной связи от выполнения кода, но карточка не подтверждает, что этот репозиторий сам содержит среду выполнения. Контекст составляет 16 384 токена. В метаданных указан английский язык. В README приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, однако таблица относится к разным вариантам семейства и не содержит отдельного результата именно для CL-7B. Лицензия в предоставленных данных не указана.

OpenCodeInterpreter-SC2-3B — модель генерации кода из семейства OpenCodeInterpreter, разработанная как система для создания, выполнения и итеративного уточнения кода. Она основана на StarCoder2-3B и использует плотную авторегрессионную архитектуру Starcoder2ForCausalLM; в метаданных указано 4,2 млрд параметров и контекст до 16 384 токенов. Модель предназначена для генерации кода и помощи в программировании. Семейство OpenCodeInterpreter исследует использование обратной связи от выполнения кода для его уточнения; README приводит результаты серии моделей на HumanEval и MBPP, но не указывает отдельные результаты именно этой версии. Карточка описывает англоязычную модель. Веса доступны в формате safetensors, лицензия — Apache-2.0.

OxCoder-9B-MERNIK-GGUF — это набор GGUF-квантизированных сборок модели OxCoder-9B, разработанной OrionLLM и дообученной для агентного программирования. Модель предназначена для генерации кода и решения задач программирования; в README приведены результаты на HumanEval, где лучшая сборка показывает pass@1 90,24% (148 из 164 заданий). Модель рассчитана на использование с llama.cpp и поддерживает формат GGUF. Базовая модель имеет около 9 млрд параметров, языком заявлен английский, а заявленный контекст составляет 262K токенов. Квантизация MERNIK использует распределение битности на основе imatrix с учётом perplexity, KLD относительно эталона и результатов на оцениваемых задачах. Доступны сборки размером 5,36 ГБ (Q4) и 6,83 ГБ (Q8); для сравнения приведена стандартная Q6_K размером 7,36 ГБ. Сильной стороной является высокая эффективность на HumanEval, однако показатели зависят от конкретной сборки, а результаты на нестандартном тесте GPQA-recognition ниже, чем у некоторых альтернатив, поэтому они не характеризуют полноценные рассуждения. Модель распространяется по лицензии Apache-2.0.

PE-Lang-L14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный на контрастном выравнивании изображений и текста и дополнительно настроенный для задач мультимодального языкового моделирования. Он извлекает языково-информативные признаки из изображений и рассчитан на использование вместе с языковым декодером, например Llama или Qwen; особенно хорошо подходит для OCR и работы с документами. В приведённых авторами оценках использовался замороженный энкодер с декодером Llama 3.1 8B и изображениями размером 448 пикселей без тайлинга. Модель также относится к семейству энкодеров для понимания видео, однако карточка этого чекпойнта не описывает отдельную конфигурацию или загрузочный код для видео. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Это компонент энкодера, а не самостоятельный чат-ассистент: для генерации ответов требуется языковой декодер и соответствующая мультимодальная обвязка. В карточке приведены результаты бенчмарков, но нет загрузочного кода и сведений о размере модели или длине контекста.

Mungert/Qwen2.5-VL-7B-Instruct-GGUF — набор GGUF-файлов модели Qwen2.5-VL-7B-Instruct, подготовленный автором репозитория Mungert с использованием imatrix-файла и актуальной сборки llama.cpp. README не указывает разработчика исходной модели. Модель предназначена для мультимодальных сценариев image-text-to-text, в частности для анализа изображений и генерации текстовых ответов по ним. Для работы требуются основной GGUF-файл модели и отдельный файл mmproj, содержащий мультимодальный проектор. Использование vision поддерживается через fork llama.cpp и CLI-инструмент llama-mtmd-cli. Доступны варианты с разными форматами и уровнями квантования, включая F16, BF16, Q4, Q6, Q8 и ультранизкобитные варианты IQ1/IQ2. Это позволяет выбирать между качеством, скоростью и требованиями к памяти; низкобитные варианты ориентированы на устройства с ограниченными ресурсами, но могут снижать точность. В метаданных указано, что модель работает с английским языком. Размер исходной модели — 7B параметров; поддерживаемые модальности — текст и изображения. Ограничения включают необходимость специальной версии llama.cpp, отдельного mmproj-файла и потенциальную потерю качества при сильном квантовании. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Huihui-Abliterated-NInfer-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated и упакованная в формат NInfer. Артефакт предназначен для локального инференса, исследований поведения моделей и сценариев, требующих рассуждений и анализа визуального содержимого. Заявлены английский и китайский языки. Модель имеет размер 27 млрд параметров; точная базовая архитектура в README не описана. Используется смешанное представление весов: FP8 E4M3 с построчным масштабированием BF16 для attention и Gated DeltaNet-проекций, NVFP4 с размером группы 16 для MLP-слоёв 0–55, а также FP8 для lm_head и MLP-слоёв 56–63. Нормализации, эмбеддинги, vision tower и MTP-тензоры сохранены в исходном формате Huihui. Поддерживается обработка изображений, а серверный профиль предусматривает контекст до 204 800 токенов, однако качество на длинном контексте зависит от рабочей нагрузки. Сильные стороны модели — мультимодальность, высокая компактность смешанного квантования и оптимизация под видеокарты NVIDIA Blackwell, включая RTX 5090; README сообщает о проверенной работе на одной RTX 5090 и скорости декодирования около 74,8 токена в секунду. Ограничения включают зависимость от совместимого оборудования и NInfer, отсутствие комплексных бенчмарков, а также то, что abliterated-производная может иметь изменённые характеристики отказов и поведения. Модель распространяется по лицензии Apache-2.0; предназначена для исследований и локального использования, ответственность за дальнейшее применение лежит на пользователе.

OpenVINO/Qwen3.8-27B-int4-ov — экспериментальная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Для квантования использованы режим INT4_ASYM, размер группы 128 и коэффициент ratio 1.0. Это мультимодальная vision-language модель для понимания изображений и видео, управления глубиной рассуждений и решения сложных многошаговых задач. Она может применяться для анализа визуального содержимого, ответов на вопросы по изображениям и построения мультимодальных чат-приложений. В README не указаны поддерживаемые языки и размер контекстного окна. Ключевые преимущества модели — мультимодальность и уменьшенный объём весов благодаря INT4-квантованию, что может упростить развёртывание с OpenVINO. При этом модель ещё не полностью проверена и требует экспериментальных или nightly-версий OpenVINO, OpenVINO GenAI и Optimum Intel; совместимость также заявлена с Transformers 5.2. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-abliterated-v1-GGUF — мультимодальная vision-language модель, разработанная prithivMLmods на основе Qwen3-VL-2B-Instruct от Alibaba. Это GGUF-версия модели с примерно 2 млрд параметров, предназначенная для локального запуска через совместимые инструменты, включая llama.cpp. Модель принимает изображения и текст и генерирует текстовые ответы; в карточке указана поддержка преимущественно английского языка, а также возможность мультиязычного использования через настройку промптов. Модель ориентирована на описание изображений, визуальный анализ, мультимодальное рассуждение, работу с различными соотношениями сторон, разрешениями и сложными макетами. Она может формировать как краткие сводки, так и подробные пошаговые описания, а также применяться в исследовательских, творческих, технических и red-teaming-сценариях. Доступно множество вариантов квантования GGUF размером примерно от 516 МБ до 3,45 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Ключевая особенность — abliteration, модификация, направленная на удаление отказов в ответах и контентных фильтров базовой модели. Это расширяет возможности анализа чувствительного или сложного визуального контента, но одновременно снижает встроенные механизмы безопасности и требует самостоятельного контроля за результатами. В README не указаны размер контекстного окна, результаты бенчмарков, аппаратные требования и подробные ограничения качества. Модель распространяется по лицензии Apache-2.0.