I.4Обработка документов и форм

unsloth/gemma-4-31B-it-qat-GGUF — инструкцияно дообученная мультимодальная модель из семейства Gemma 4, разработанного Google DeepMind и подготовленная в GGUF-формате компанией Unsloth. Модель принимает текст и изображения и генерирует текст; её назначение включает генерацию текста, программирование, рассуждения и работу с мультимодальными запросами. Модель основана на Gemma 4 31B и использует Quantization-Aware Training (QAT) с квантизацией Q4_0, что снижает требования к памяти при сохранении качества, близкого к bfloat16. Доступна в формате GGUF для совместимого локального и серверного развёртывания, включая llama.cpp. Для ускорения генерации в поставку входит Multi-Token Prediction drafter, поддерживающий speculative decoding без изменения итогового результата. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; конкретная языковая специализация этой версии отдельно не указана. Сильные стороны модели — сочетание инструкционного режима, мультимодальности, расширенного контекста и сниженных требований к памяти благодаря QAT. Ограничения связаны с тем, что квантизированная версия может требовать совместимого программного обеспечения и аппаратных ресурсов для эффективной работы, а точные характеристики архитектуры 31B и перечень поддерживаемых языков для этого репозитория не раскрыты. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4.

coder3101/gemma-4-E2B-it-heretic — производная модель на базе Google Gemma 4 E2B IT, представленная в формате safetensors и доступная через Transformers. Это плотная мультимодальная модель семейства Gemma 4 для диалогов, рассуждений, генерации и редактирования кода, анализа изображений и аудио, а также сценариев с вызовом инструментов. README описывает для семейства Gemma 4 гибридное внимание, смешивающее локальные окна и глобальные слои, поддержку изображений, видео и аудио для вариантов E2B/E4B, а также контекст до 128 тысяч токенов для E2B/E4B; эти характеристики приведены для семейства и не подтверждены отдельно для этой производной версии. Метка heretic и теги uncensored/decensored/abliterated указывают на модификацию базовой модели, но карточка не поясняет способ и последствия этой модификации. README заявляет поддержку более 35 языков на уровне семейства. Модель распространяется по лицензии Apache-2.0. Возможны фактические ошибки, смещения, трудности с тонкими языковыми нюансами и сложными открытыми задачами; мультимодальные способности и характеристики контекста конкретной версии следует проверять отдельно.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

OsaurusAI/Qwen3.8-27B-MXFP8 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная Jinho Jang из Osaurus AI для Apple Silicon и MLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой из 64 слоёв: 48 слоёв GatedDeltaNet и 16 слоёв gated full-attention. Она поддерживает работу с текстом, изображениями и видео, а также сохраняет нативную multi-token-prediction head. Модель предназначена для визуально-языковых задач, рассуждений, программирования, агентских сценариев и использования инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн. По умолчанию включён режим рассуждений с настраиваемым уровнем reasoning_effort от low до xhigh; предусмотрены отдельные параметры для обычного режима инструкций. Для запуска рекомендуется mlx-vlm, а для работы требуется Apple Silicon с не менее чем 32 ГБ объединённой памяти. Ключевое свойство этой версии — равномерное 8-битное квантование MXFP8 с размером группы 32 для 580 модулей без калибровки Hessian, AWQ и imatrix refit; 27 проекций vision-блоков оставлены в fp16. Размер на диске составляет около 26,4 ГиБ. На отложенных тестах относительно исходной bf16-модели зафиксированы медианный KL 0,0189, совпадение top-1 95,83% и скорость декодирования до 29,3 токена/с на M5 Max при оптимальной глубине спекуляции 2. При этом автор прямо указывает, что версия уступает калиброванным вариантам по качеству и служит структурным fallback-решением, а показатели ускорения зависят от типа запроса. Модель распространяется по лицензии Apache-2.0.

ThinkingCap Qwen3.8 27B — дообученная Bottlecap AI мультимодальная модель на базе Qwen/Qwen3.8-27B, предназначенная для диалогов, сложных задач с рассуждениями и агентных сценариев. Она принимает текст и изображения и выдаёт текст; карточка относит её к задаче image-text-to-text и отмечает поддержку vision и chat. В тестах авторов модель сохраняла среднюю точность, близкую к базовой, при сокращении числа токенов рассуждения в среднем на 37%; на задачах длинного контекстного поиска точность сохранилась и число токенов рассуждения снизилось на 39%. Авторы рекомендуют режим reasoning_effort=xhigh. Модель распространяется в формате safetensors через Transformers; лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели перед внедрением.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

Это модель realoperator42, представляющая собой «разцензурированную» версию IBM Granite-4.1-3B, созданную с помощью Heretic v1.4.0. Это плотный декодерный трансформер с 3,4 млрд параметров, ориентированный на диалог и генерацию текста; максимальная длина контекста — 131 072 токена. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Модель подходит для генерации ответов на инструкции и диалоговых сценариев, включая суммаризацию, извлечение и классификацию текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Исходная Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; данные карточки не подтверждают отдельную языковую оценку именно этой модификации. В README приведено сравнение отказов: 3 из 100 для этой версии против 88 из 100 у исходной модели, поэтому её поведение в отношении отказов заметно изменено. Модификация создана методом abliteration, меняющим поведение модели без обычного дообучения на целевом наборе данных. README сообщает о воспроизводимости процесса и приводит KL-дивергенцию 0,2603 относительно исходной модели. Она может выдавать неточные, предвзятые или небезопасные ответы; перед применением требуется оценить её поведение и настроить подходящие меры безопасности.

apolo13x/Qwen3.5-27B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen и опубликованной пользователем apolo13x. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального и текстового контента, а также общих задач рассуждения и следования инструкциям. Веса сжаты до формата INT4 W4A16 с использованием GPTQ и инструмента llm-compressor. Для калибровки использовано 512 образцов из датасета HuggingFaceH4/ultrachat_200k. Размер модели уменьшен с 51,8 до 17,3 ГБ, примерно в 3 раза, при заявленном среднем восстановлении точности 100,3% относительно исходной модели. В README не указаны точное количество контекстных токенов и поддерживаемые языки. Модель демонстрирует высокие результаты в GPQA Diamond, IFEval и MMLU-Redux: средняя оценка составила 90,05% против 89,76% у исходной Qwen3.5-27B. Ключевые ограничения связаны с 4-битным квантованием и зависимостью от совместимой инфраструктуры; на 27 февраля 2026 года заявлена поддержка в nightly-версии vLLM. Модель распространяется по лицензии Apache-2.0.

surogate/Qwen3.5-2B-FP8 — вариант модели Qwen3.5-2B, опубликованный Surogate и основанный на Qwen/Qwen3.5-2B-Base. Это каузальная языковая модель с vision encoder для текстово-визуальных задач, включая рассуждения, программирование, агентские сценарии и анализ изображений. В README вариант рекомендован для движка обучения агентов Surogate и совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативное контекстное окно до 262 144 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Представленные веса подвергнуты мелкозернистому FP8-квантованию с размером блока 128. По данным README, такая оптимизация сохраняет показатели, близкие к исходной модели, одновременно снижая требования к памяти и повышая эффективность инференса. Сильными сторонами являются мультимодальность, большое контекстное окно, компактный размер и пригодность для высокопроизводительного развертывания и агентских систем. Ограничения включают возможную потерю точности, характерную для квантования, а также то, что README не содержит подробных сведений о качестве на всех языках, ограничениях безопасности и результатах визуальных тестов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Gemma-SEA-LION-v4.5-E2B-IT — мультимодальная языковая модель AI Singapore, адаптированная для английского языка и языков Юго-Восточной Азии. Она основана на Google Gemma 4 E2B IT и прошла постобучение с дистилляцией знаний от Gemma 4 31B IT на наборе SEA-Instruct-2602. Архитектура — декодер Transformer с энкодерами зрения и аудио; размер составляет 2,3 млрд эффективных параметров (5,1 млрд с эмбеддингами), контекст — 128 тыс. токенов. Модель предназначена для диалогов и выполнения инструкций, ответов на вопросы, суммаризации, анализа тональности, перевода между английским и региональными языками, а также мультимодального анализа изображений, видео и аудио. Карточка указывает поддержку мультимодальных возможностей Gemma 4, включая вызов функций и режимы рассуждения. Модель оптимизирована для локального запуска на ноутбуках и мобильных устройствах. Постобучение охватывает бирманский, индонезийский, филиппинский (тагальский), малайский, тамильский, тайский и вьетнамский; метаданные также отмечают английский и китайский. Лицензия — MIT. Авторы предупреждают, что модель не прошла настройку безопасности и проверку устойчивости к состязательным запросам; возможны галлюцинации, нерелевантные и непоследовательные ответы.

DAXZEIT/GRM-2.6-Plus-0628-MTP-reasoning-i1-GGUF — это набор квантованных GGUF-сборок модели OrionLLM/GRM-2.6-Plus-0628, предназначенной для агентных сценариев, рассуждений, работы с инструментами и задач «изображение—текст». Базовая модель имеет около 27 млрд параметров, архитектуру на основе Qwen3.5/3.6 с MTP-слоем и гибридными gated DeltaNet-рекуррентными слоями. Для работы с изображениями требуется мультимодальный проектор mmproj. В README продемонстрирована конфигурация с контекстом до 262 144 токенов. Сборки используют reasoning-domain importance matrix, оптимизированную для задач рассуждения, а также повышенную точность для ключевого тензора ssm_out во всех DeltaNet-слоях. Доступны варианты квантования от IQ2_M до Q6_K размером примерно от 10,1 до 21,3 ГиБ; более высокая разрядность обычно обеспечивает меньшие отклонения от исходных bf16-весов и лучшее совпадение предсказаний, но требует больше памяти. Встроенный шаблон чата исправляет обработку вызовов инструментов внутри рассуждений и поддерживает агентные циклы. Модель подходит для локального запуска через llama.cpp, включая speculative decoding с MTP, обработки текста и изображений, а также приложений с большим контекстом. Ограничения связаны с потерями точности из-за квантования, требованиями к видеопамяти и необходимостью корректно настроить llama.cpp, мультимодальный проектор и параметры контекста. Поддерживаемые языки в README не указаны. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-1M — разговорная модель генерации текста из семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалога, ответов на вопросы, работы с длинными документами и другими задачами, где нужно учитывать большой объём контекста. Модель построена на архитектуре Qwen2 с причинно-следственной языковой моделью и 7,1 млрд параметров по метаданным. Карточка семейства указывает на RoPE, SwiGLU, RMSNorm и контекст до 1 010 000 токенов; генерация ограничена 8192 токенами. Модель дообучена на базе Qwen/Qwen2.5-7B, поддерживает чат и интерфейс вызова инструментов. Указанные языковые сведения подтверждают английский, но сами по себе не доказывают поддержку только одного языка. Для работы с контекстом около миллиона токенов README рекомендует специальную сборку vLLM и указывает потребность как минимум в 120 ГБ видеопамяти суммарно для версии 7B. В прежних средах выполнения качество может снижаться на последовательностях длиннее 262 144 токенов. Лицензия — Apache-2.0.

unsloth/Qwen3.5-4B — постобученная мультимодальная модель семейства Qwen3.5 от Unsloth, основанная на Qwen/Qwen3.5-4B. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, рассуждений, понимания изображений и работы с инструментами. Репозиторий содержит веса в формате Hugging Face Transformers и safetensors; модель совместима с Transformers и рядом серверов инференса. Модель имеет 4 млрд параметров и гибридную архитектуру с Gated Delta Networks и механизмом внимания. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000. В карточке заявлена поддержка 201 языка и диалекта. По умолчанию включён режим рассуждений, который можно отключить. Модель подходит для визуальных вопросов и ответов, мультиязычного диалога, задач с длинным контекстом и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Производительность и пропускная способность зависят от используемого фреймворка и оборудования; для длинного контекста возможны высокие требования к памяти.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

Granite-4.0-H-Tiny-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный гибридный MoE-трансформер примерно на 500,2 млн параметров с компонентами GQA и Mamba2; модель обучена с нуля на смеси открытых и проприетарных данных. Контекст — до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода, включая Fill-in-the-Middle. В первую очередь поддерживает английский, а также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Весы доступны в формате safetensors; лицензия Apache 2.0. Модель не прошла safety alignment, поэтому может генерировать проблемные ответы. Возможны предвзятость, дезинформация, галлюцинации и дословное воспроизведение фрагментов обучающих данных.

MrFuzzihead/Nex-N2.5-mini-APEX-GGUF — набор GGUF-квантизированных вариантов мультимодальной агентной модели Nex-N2.5-mini, разработанной Nex-AGI. Квантизация выполнена MrFuzzihead методом APEX, созданным командой LocalAI для llama.cpp и учитывающим структуру Mixture-of-Experts. Модель предназначена для долгих агентных сценариев в реальном мире: управления компьютером, веб-сёрфинга, визуально обоснованных рабочих процессов, проверки результатов и самокоррекции. Она также поддерживает генерацию текста, рассуждения и вызов инструментов. Базовая модель содержит около 35 млрд параметров, использует 256 маршрутизируемых экспертов, из которых 8 активируются на каждом токене, а также общего эксперта. Архитектура включает 40 слоёв с гибридом полного внимания и линейного внимания/SSM; полное внимание используется только в 10 слоях, что снижает нагрузку на KV-кэш. Поддерживаются текст, изображения и видео с временными патчами, контекст до 262 144 токенов, адаптивное рассуждение с уровнями none, medium и high, а также вызов функций в формате Qwen3-Coder. Основной язык и полный перечень языков README не уточняет. Репозиторий предлагает варианты размером примерно от 10,15 до 23,60 ГБ и отдельные vision-проекторы BF16 или Q8_0. Это позволяет выбирать между качеством и требованиями к памяти: старшие варианты рассчитаны примерно на видеокарты с 24 ГБ памяти, компактные — на 12–24 ГБ. APEX применяет разную точность к экспертам, слоям, вниманию и SSM, сохраняя более высокую точность в важных компонентах; варианты с importance matrix ориентированы на лучшее качество и меньшую потерю информации. Ограничения включают неизбежные потери качества квантизации, дополнительные требования к памяти для vision-проектора, KV-кэша и служебных накладных расходов, а также зависимость совместимости от llama.cpp и поддержки мультимодального запуска. Лицензия — Apache-2.0.

Карточка модели LinkRur/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

Abiray/Qwen3.8-27B-Q4_K_M-GGUF — это квантизированная версия мультимодальной vision-language модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp и совместимых инструментов, включая LM Studio, Ollama и GPT4All. Модель поддерживает текстовые и мультимодальные сценарии: работу с изображениями и видео, программирование, профессиональные задачи, исследования и длительные агентские процессы. Основной файл имеет размер 16,8 ГБ и использует квантизацию Q4_K_M, выполненную с помощью llama.cpp b10430. Для обработки изображений и других мультимодальных входов требуется дополнительный vision adapter mmproj-F16.gguf; без него доступен текстовый режим. Сведения о точной архитектуре, размере контекста и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание возможностей языковой модели и анализа визуального контента, а также возможность локального запуска в широко поддерживаемых форматах. К ограничениям относятся необходимость отдельного vision adapter для мультимодальных задач и потенциальные компромиссы точности, обусловленные квантизацией Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-MXFP4 — производственная MXFP4-версия экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek-AI и подготовленной, проверенной и упакованной Solstice-AI. Модель предназначена для обработки текста и изображений, мультимодального рассуждения, анализа визуального содержания, генерации кода и задач, требующих работы с длинным контекстом. README также указывает совместимость с Transformers, vLLM, SGLang и TensorRT-LLM, а также готовность к speculative decoding через DSpark. Архитектура включает 305 млрд параметров в конфигурации Mixture-of-Experts, из которых 13 млрд активируются для каждого токена. Указаны 43 скрытых слоя, 256 маршрутизируемых экспертов с шестью активными на токен, Multi-Head Latent Attention и отдельный 32-слойный vision encoder. Заявлена поддержка контекста до 1 048 576 токенов. Основная часть экспертных весов предварительно обучена в формате OCP MXFP4, а исполнение использует схему W4A16: веса представлены в 4-битном формате, активации сохраняются в 16-битном BF16; ряд компонентов, включая vision encoder, маршрутизаторы и нормализации, сохраняется в более высокой точности. К сильным сторонам относятся высокая вычислительная и memory-bandwidth эффективность по сравнению с полноразмерным представлением, мультимодальность и очень длинное контекстное окно. Ограничения — значительный общий размер модели и требовательность к GPU-инфраструктуре: для практического развёртывания README рекомендует конфигурации от нескольких GPU, а полный контекст в 1 млн токенов рассчитан на крупные кластеры. Модель обозначена как экспериментальная, а приведённые в README результаты тестирования представлены неполностью. Лицензия — MIT.

EuroBERT-610m — многоязычная плотная encoder-модель семейства EuroBERT от разработчиков, представивших это семейство. Веса содержат около 607,8 млн параметров; модель предназначена для языковых задач, включая поиск и ранжирование текстов, классификацию и регрессию. В Hugging Face она опубликована как masked language model для заполнения пропусков в тексте. Модель поддерживает 15 языков, а также математические задачи и код. Контекст — до 8 192 токенов. По данным карточки, EuroBERT-610m сопоставима с XLM-RoBERTa-XL на большинстве оценённых многоязычных задач и превосходит её в задачах с кодом и математикой; качество зависит от задачи и прикладной настройки. Доступна для Transformers в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

unsloth/gemma-3-4b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 4B IT, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для диалогов, генерации и понимания текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Она подходит для локального запуска на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре, включая сценарии с ограниченными ресурсами. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для изображений используется нормализация до 896×896 пикселей и кодирование каждого изображения в 256 токенов. Для варианта 4B заявлено контекстное окно до 128 000 токенов и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, хотя в метаданных карточки явно указан английский. Относительно небольшой размер облегчает развёртывание, а формат GGUF ориентирован на эффективный локальный запуск. Ограничения включают зависимость качества от языка, задачи и доступных вычислительных ресурсов, а также возможные ошибки в ответах и интерпретации изображений. В README не приведены точные требования к оборудованию и параметры квантования конкретного файла. Модель распространяется по лицензии Gemma; условия использования представлены в отдельных Terms of Use Google.

gemma-4-12B-it-QUASAR-Q4_0-GGUF — мультимодальная квантованная версия модели Gemma 4 12B Instruct, разработанная QUASAR-QAT на базе google/gemma-4-12B-it. Модель предназначена для диалогов, генерации и понимания текста, работы с изображениями, рассуждений, вызова функций и инструментов, а также агентских сценариев. Заявлена поддержка английского и других языков, однако полный перечень языков и размер контекстного окна в README не указаны. Модель поставляется в формате GGUF с нативной 4-битной INT4-квантизацией Q4_0, выполненной методом quantization-aware training. Указан размер базовой модели 12B параметров; мультимодальная поддержка обеспечивается vision projector из исходной BF16-модели. Формат совместим со стандартными средствами llama.cpp, Ollama и LM Studio. По измерениям авторов, на отложенных чат-запросах модель показала KL-дивергенцию 0,048 и совпадение top-1 с BF16-версией на уровне 94,3%; эти результаты помечены как непроверенные. К сильным сторонам относятся сохранение близкого к BF16 поведения при меньшем размере и требованиях к ресурсам, а также поддержка текста и изображений. Ограничения включают возможные потери качества из-за 4-битной квантизации, зависимость мультимодальных возможностей от совместимого рантайма и отсутствие в README точных требований к памяти, производительности и максимальному контексту. Модель распространяется по лицензии Apache-2.0.