I.4Обработка документов и форм

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

Apriel-1.6-15B-Thinker — мультимодальная модель рассуждений из серии Apriel, разработанная ServiceNow. Это плотная модель семейства LLaVA с 15 млрд параметров, предназначенная для диалоговых инструкций, работы с текстом и изображениями, логических рассуждений и многошаговых задач. Карточка указывает на дообучение предыдущей версии Apriel-1.5-15B-Thinker с помощью SFT и обучения с подкреплением; модель также прошла продолжительное предобучение на текстовых и визуальных данных. Модель подходит для генерации и анализа кода, ответов на вопросы, извлечения информации, следования сложным инструкциям, вызова функций и сценариев с агентами. Она формирует ход рассуждений и затем итоговый ответ; разработчик сообщает о снижении числа токенов рассуждения более чем на 30% по сравнению с Apriel-1.5-15B-Thinker. Наиболее сильные результаты заявлены для английского языка. Модель распространяется в формате Safetensors и доступна по лицензии MIT. Модель может выдавать неверную, вводящую в заблуждение или устаревшую информацию и отражать предвзятость обучающих данных. Она не предназначена для критически важных применений без человеческого контроля; качество на языках, представленных в обучении слабее, может снижаться.

Blossom-V7.1-27B-GGUF — открытая мультимодальная модель общего назначения, разработанная Azure99 для локального развертывания. Это GGUF-вариант модели Blossom-V7.1-27B, построенной на базе Qwen3.8-27B. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных, понимания изображений и агентских сценариев с использованием инструментов. Заявлены английский и китайский языки. Модель имеет плотную архитектуру размером 27B параметров, поддерживает текстовые и графические входы и контекст до 262 144 токенов, при этом для наилучших результатов рекомендуется контекст до 131 072 токенов. Доступны два режима рассуждения — medium и max; по умолчанию используется max. Модель поддерживает чередование рассуждений и вызовов инструментов, а также ускорение инференса посредством Multi-Token Prediction в vLLM и llama.cpp. Сильными сторонами модели являются сочетание рассуждений, мультимодального понимания, программирования и инструментального использования, а также поддержка локального запуска и длинного контекста. Для работы требуется учитывать специальный chat template Blossom, который нельзя заменять шаблоном Qwen. В многоходовых диалогах рекомендуется сохранять полное сообщение ассистента вместе с данными рассуждений и вызовами инструментов; 27B-вариант ориентирован на GPU, где веса модели помещаются в видеопамять. Модель распространяется по лицензии Apache-2.0.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

cyankiwi/granite-4.1-3b-AWQ-INT4 — квантизированная версия Granite-4.1-3B, разработанная сообществом cyankiwi на основе базовой модели IBM Granite Team. Это инструкционная языковая модель примерно на 3 млрд параметров, дообученная IBM с применением supervised fine-tuning и reinforcement learning alignment для улучшения следования инструкциям, диалогов и вызова инструментов. Представленная сборка использует AWQ INT4-квантизацию и занимает около 2,33 ГБ. Модель предназначена для бизнес-приложений и AI-ассистентов, включая агентские сценарии с вызовом внешних функций и API. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, программирование, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков; исходная Granite-4.1-3B также заявлена как поддерживающая немецкий, португальский, чешский и итальянский. Сильные стороны модели — небольшой размер, сниженные требования к памяти благодаря INT4-квантизации, поддержка длинного контекста, многоязычность и ориентация на инструкции и использование инструментов. README не содержит точного размера контекстного окна, сведений о мультимодальности, подробных результатов тестирования или ограничений качества этой квантизированной сборки, поэтому её возможности следует оценивать на целевых задачах. Лицензия исходной модели и данной сборки указана как Apache 2.0.

Карточка модели bernquant/Inkling на Hugging Face совпадает с карточкой thinkingmachines/Inkling, поэтому описание составлено по ней. Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

brayniac/Qwen3.5-35B-A3B-heretic — вариант модели Qwen3.5-35B-A3B, подготовленный методом abliteration для снижения частоты отказов. В приведённом сравнении частота отказов составляет 5 из 100 против 92 из 100 у исходной модели; KL-дивергенция относительно исходной модели — 0,0825. Это не гарантирует ответа на любой запрос и не означает отсутствия ограничений безопасности. Модель предназначена для диалогов, рассуждений, программирования, работы с изображениями и сценариев с вызовом инструментов. Это мультимодальная причинная языковая модель с визуальным энкодером и гибридной архитектурой: Gated Delta Networks сочетаются с разреженной смесью экспертов (MoE). Всего в ней 35 млрд параметров, из которых активируются около 3 млрд; нативный контекст — 262 144 токена, с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. Веса опубликованы в формате safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0. Результат abliteration получен с изменением поведения исходной модели, поэтому качество и надёжность ответов следует оценивать для конкретного применения; приведённая таблица отказов не заменяет широкую проверку.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 — мультимодальная NVFP4-квантизированная версия модели tvall43/Qwen3.6-35B-A3B-heretic, подготовленная AEON-7. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев, function calling и обработки изображений с текстовыми запросами. Заявлена поддержка английского языка, vision-language задач и контекста до 1 млн токенов. Модель использует гибридную архитектуру Qwen3_5MoeForConditionalGeneration с Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных параметров. В составе присутствуют разреженные MoE-слои, линейное внимание Mamba/GDN, 27-блочный ViT-энкодер, сохранённый в BF16, и экспертные веса в формате NVFP4. Поддерживаются multimodal image-text-to-text, tool calling, speculative decoding, prefix caching и FP8 KV-cache при использовании совместимой конфигурации vLLM. К сильным сторонам относятся высокая плотность модели при небольшом числе активных параметров, длинный контекст, мультимодальность и стабильная работа текста в заявленном стеке vLLM. В README указана проверка обработки изображений после исправления размещения тензоров vision tower, а также масштабирование до 64 одновременных запросов и примерно 740 токенов в секунду суммарно при использовании DFlash, однако эти характеристики зависят от оборудования и конфигурации. Модель ориентирована прежде всего на DGX Spark и совместимые GPU Blackwell/GB10 с образом AEON vLLM; для других сред совместимость не гарантируется. Это abliterated/decensored-вариант с существенно сниженным уровнем отказов, поэтому стандартные ограничения безопасности могут быть ослаблены. Лицензия — Apache-2.0.

ddalcu/Qwen3.8-27B-MLX-Serve-4bit — 4-битная MLX-квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная ddalcu на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через mlx-serve на компьютерах Mac с Apple Silicon и поддерживает работу с текстом, изображениями, инструментами и режимом рассуждений. Она может использоваться для диалога, генерации и анализа текста и кода, обработки изображений, вызова инструментов и интеграции с клиентами через OpenAI- и Anthropic-совместимые API. Модель имеет 27 млрд параметров, занимает около 18,2 ГБ на диске и рассчитана на размещение в памяти Mac с 32 ГБ. Нативное контекстное окно составляет 262 144 токена, однако фактический размер зависит от доступной памяти устройства. В сборку включена нативная MTP-голова для multi-token prediction, ускоряющая декодирование, особенно при генерации кода. Также поддерживаются vision-language сценарии, XML-формат вызова инструментов Qwen3.8 и управление глубиной рассуждений. Главное преимущество сборки — возможность запустить крупную мультимодальную модель локально на 32-гигабайтном Mac без облака и Python-окружения. Компромисс — повышенный шум 4-битной квантизации: заявленная оценка составляет 9,25% против 0,71% у 8-битной версии, поэтому 8-битная сборка предпочтительнее при наличии достаточного объёма памяти. Указанные скорости зависят от оборудования и режима: на M4 Max с 128 ГБ заявлены до 75,3 токена в секунду для кода и 39,7 токена в секунду для пояснительного текста при включённом MTP. Модель распространяется по лицензии Apache-2.0.

Agnes-3.0-Flash Preview — открытая мультимодальная модель с весами от Agnes AI, предназначенная для рассуждений, программирования и выполнения инструкций. Это отдельный предварительный чекпойнт: заявленные характеристики относятся к нему, а не к более новой производственной версии через API. Модель использует гибридный декодер из 72 слоёв: 54 слоя с рекуррентным gated delta rule чередуются с 18 слоями глобального внимания. Контекстное окно составляет 262 144 токена. Модель обрабатывает текст, изображения и видео, поддерживает управляемый уровень рассуждений и интерфейс вызова инструментов. Карточка указывает поддержку английского и китайского языков. Модель подходит для анализа длинных материалов, диалога, задач по коду и мультимодального понимания. Для запуска требуются Transformers с удалённым кодом модели; README рекомендует GPU уровня H100 80 ГБ или H200 141 ГБ для bf16. Лицензия — Apache-2.0.

davidsyoung/GLM-5.3-EXL3-TR3-3.42bpw — это квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной схемы trellis-квантизации. Базовая модель представляет собой MoE-архитектуру glm_moe_dsa размером 755B параметров: 78 слоёв, 256 маршрутизируемых экспертов на слой и дополнительный MTP-компонент. Заявлены английский и китайский языки, а назначение модели — генерация текста, сложное программирование, рассуждения и задачи с длинным контекстом. Средний размер квантизации весов составляет 3,42 bpw: маршрутизируемые эксперты используют комбинацию K3 и K4, а внимание, эмбеддинги, нормализации, lm_head и ряд других компонентов сохранены в BF16. Квантизация выполнена без калибровочных данных; заявлено небольшое отклонение от BF16-учителя по измеренному KLD. Модель рассчитана на запуск через совместимый стек exllamav3-b12x или sparkinfer с четырьмя GPU, TP4 и FP8 KV-кэшем. Указан проверенный профиль с envelope до 393 216 токенов, но это измеренный безопасный режим, а не гарантированный архитектурный максимум. Сильными сторонами являются высокая степень сжатия, сохранение значительной части компонентов в BF16, поддержка очень длинного контекста и подтверждённая работоспособность в сценариях кодирования, структурированного вывода, tool use и извлечения данных из длинных документов. Ограничение — специальный смешанный K3/K4 runtime: модель несовместима с обычной загрузкой vanilla exllamav3, а использование стандартного загрузчика может приводить к некорректной генерации. Лицензия указана как glm-5.3; подробные условия следует уточнять в лицензии базовой модели.

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-GGUF — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; данный вариант опубликован в формате GGUF организацией zurichquants. Модель предназначена для генерации текста, программирования, решения сложных задач, работы с инструментами и агентских сценариев. Она поддерживает английский и китайский языки, а также текстовые и визуальные входные данные. Базовая модель содержит 320 млрд параметров, из которых при обработке активируется около 18 млрд. В архитектуре используются гибридное сочетание разреженного и линейного внимания, а также Manifold-Constrained Hyper-Connections, что направлено на снижение стоимости работы с длинным контекстом при сохранении точности. Модель обучалась на мультимодальном корпусе объёмом около 30 трлн токенов. В README не указаны точный размер контекста для этого GGUF-варианта и конкретный уровень квантизации, поэтому требования к памяти и производительность зависят от файла сборки. К сильным сторонам относятся высокая эффективность благодаря разреженной активации параметров, поддержка длинного контекста, мультимодальность и заявленная конкурентоспособность в задачах программирования и автономных агентов. Для локального запуска рекомендуется использовать совместимые версии llama.cpp или Unsloth Desktop; поддержка может зависеть от реализации. Модель и её базовая версия распространяются по лицензии MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

nvidia/Kimi-K2.5-NVFP4 — квантизированная версия мультимодальной авторегрессионной языковой модели Kimi-K2.5, разработанной Moonshot AI. Квантизация выполнена NVIDIA с использованием Model Optimizer; NVIDIA подчёркивает, что не является владельцем или разработчиком базовой модели. Модель предназначена для разработчиков и исследователей, создающих приложения и системы на базе LLM. Модель построена на архитектуре Transformers с сетевой архитектурой DeepSeek V3 и заявленным числом параметров около 1 трлн. Она принимает текст, изображения и видео, генерируя текст, поддерживает контекст длиной до 256 тыс. токенов. Версия NVFP4 получена преобразованием и квантизацией весов и активаций из INT4 через BF16 в формат NVFP4; квантизации подвергнуты линейные операторы внутри MoE-блоков трансформера. Для запуска заявлена интеграция с vLLM на Linux и GPU NVIDIA Blackwell. К сильным сторонам относятся мультимодальность, очень длинный контекст, совместимость с аппаратным ускорением NVIDIA и сохранение близких к базовой модели результатов на указанных тестах: MMLU Pro, LiveCodeBench V6, SciCode и AIME 2025. Точные языки, размер обучающего набора и подробные характеристики тестовых данных в README не раскрыты. Для безопасного внедрения требуется дополнительное тестирование на данных конкретного сценария. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License базовой модели; модель заявлена для коммерческого и некоммерческого применения.

Sci-fi-vy/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506. Базовую модель разработала Mistral AI, а данный репозиторий предоставляет её представление GGUF с исправленным chat template. Модель предназначена для диалогов, следования инструкциям, генерации текста и кода, обработки изображений, а также вызова функций и инструментов. Модель содержит около 24 млрд параметров и поддерживает контекст до 128K токенов. Она рассчитана на работу с текстом и изображениями и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к бесконечным и повторяющимся генерациям и вызов функций. В README также приведены результаты тестов по диалоговым задачам, STEM, программированию и анализу изображений; однако показатели немного различаются в зависимости от бенчмарка. Формат GGUF удобен для локального запуска через llama.cpp и Ollama; также исходная модель поддерживает vLLM и Transformers. Для работы рекомендуется низкая температура около 0,15, а для llama.cpp требуется включить Jinja-шаблоны. Ограничениями являются значительные требования к ресурсам для полной версии и возможные потери качества, зависящие от выбранной квантизации; README не указывает точные параметры всех доступных вариантов GGUF. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-GGUF — это квантизированная в формате GGUF версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp, релиз b3772. Модель предназначена для диалоговых приложений, генерации текста и выполнения инструкций, включая работу со структурированными данными. Модель поддерживает контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. Для обучения использован набор данных объёмом 18 триллионов токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся длинный контекст, многоязычность и улучшенное понимание и формирование структурированных данных; конкретные ограничения производительности и требования к ресурсам в README не указаны. Модель распространяется по лицензии Apache 2.0. Использование Community Model предоставляется сторонним сообществом; LM Studio не является разработчиком и не гарантирует точность, безопасность или пригодность результатов. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

darkc0de/gemma-4-31B-it-Claude-Opus-Distill-v2-heretic — производная модель на основе unsloth/gemma-4-31B-it, дообученная с помощью Unsloth на наборах рассуждений, дистиллированных из взаимодействий Claude Opus 4.5 и 4.6 с высоким уровнем рассуждений. Затем модель была декензурирована методом abliteration с помощью Heretic v1.3.0; в описанных измерениях частота отказов снизилась с 89 до 28 из 100, а KL-дивергенция относительно исходной версии составила 0,0063. Модель предназначена для диалогов и решения многошаговых задач: генерации и отладки кода, научного анализа, исследовательских запросов и повседневных инструкций. Архитектура Gemma 4 — плотная мультимодальная модель на 31 млрд параметров с поддержкой изображений; заявлены режим рассуждений и обработка изображений с настраиваемым бюджетом визуальных токенов. В метаданных указан pipeline image-text-to-text и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. В README отмечены сниженная склонность к отказам и способность к сложным рассуждениям, однако бенчмарки ещё не опубликованы; измерение отказов приведено только для конкретной внутренней проверки и не гарантирует поведения во всех сценариях.

Kimi K3 — открытая мультимодальная модель AMAImedia, выпущенная в составе платформы автоматизации профессионального дубляжа NOESIS. В карточке заявлены архитектура Kimi Delta Attention с Attention Residuals, размер 2,8 трлн параметров и контекст до 1 млн токенов; метаданные указывают класс KimiK3ForConditionalGeneration и формат safetensors. Модель принимает текст и изображения, а README также заявляет поддержку видео; её назначение включает диалог, рассуждения, длительные задачи программирования и агентную работу с инструментами. Модель рассчитана на анализ больших репозиториев и документов, помощь в разработке, исследовательские задачи и мультимодальную работу с изображениями и видео. README сообщает, что режим размышления включён постоянно и ответ может содержать reasoning_content; усилие рассуждения настраивается параметром reasoning_effort. Указанная в карточке лицензия — other, а README называет её Kimi K3 License, поэтому конкретные условия следует проверять в тексте лицензии репозитория. Метаданные классифицируют модель как image-text-to-text, при этом каталог дополнительно относит её к text-generation.

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.