II.4Отладка, тестирование и качество ПО

Qwen3-VL-32B-Thinking — мультимодальная модель для понимания и генерации текста на основе изображений, видео и текстовых запросов. Базовую модель разработала команда Qwen, а данный репозиторий предоставляет её веса в формате GGUF и включает исправления шаблона чата от Unsloth. Модель предназначена для визуального анализа, OCR, STEM- и математического рассуждения, понимания пространственных отношений и видео, генерации кода и взаимодействия с графическими интерфейсами компьютеров и мобильных устройств. Модель относится к плотной архитектуре и содержит 32 млрд параметров. Она поддерживает нативный контекст 256 тысяч токенов с возможностью расширения до 1 млн, а также обработку длительных документов и многочасового видео. Заявлены улучшения визуального и пространственного восприятия, временной привязки событий в видео, распознавания текста на 32 языках и работы с изображениями в сложных условиях, включая низкую освещённость, размытие и наклон. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание развитого текстового и визуального рассуждения, длинного контекста, анализа пространственных и временных связей, а также сценариев визуального агента и визуального программирования. Ограничения README не описывает; формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp, для которого рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Ziya-LLaMA-13B-v1 — китайско-английская языковая модель семейства LLaMA, разработанная командой Fengshenbang. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом 2048 токенов; для повышения эффективности работы с китайским текстом словарь LLaMA расширен китайскими символами. Модель обучалась в три этапа: продолженное предобучение, многозадачная настройка по инструкциям и обучение с обратной связью от людей. Модель предназначена для генерации текста и диалогов, перевода между китайским и английским, написания и анализа кода, классификации и извлечения информации, суммаризации, подготовки текстов, ответов на вопросы и математических задач. В README описаны многоходовый диалог и ролевые сценарии; репозиторий содержит веса PyTorch. Указанная лицензия — GPL-3.0, однако README отдельно предупреждает, что из-за лицензионных ограничений исходных весов LLaMA модель нельзя использовать коммерчески и требует соблюдать политику использования LLaMA.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31B-it-qat-GGUF — инструкцияно дообученная мультимодальная модель из семейства Gemma 4, разработанного Google DeepMind и подготовленная в GGUF-формате компанией Unsloth. Модель принимает текст и изображения и генерирует текст; её назначение включает генерацию текста, программирование, рассуждения и работу с мультимодальными запросами. Модель основана на Gemma 4 31B и использует Quantization-Aware Training (QAT) с квантизацией Q4_0, что снижает требования к памяти при сохранении качества, близкого к bfloat16. Доступна в формате GGUF для совместимого локального и серверного развёртывания, включая llama.cpp. Для ускорения генерации в поставку входит Multi-Token Prediction drafter, поддерживающий speculative decoding без изменения итогового результата. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; конкретная языковая специализация этой версии отдельно не указана. Сильные стороны модели — сочетание инструкционного режима, мультимодальности, расширенного контекста и сниженных требований к памяти благодаря QAT. Ограничения связаны с тем, что квантизированная версия может требовать совместимого программного обеспечения и аппаратных ресурсов для эффективной работы, а точные характеристики архитектуры 31B и перечень поддерживаемых языков для этого репозитория не раскрыты. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4.

Это конвертированная версия открытой весовой модели gpt-oss-20b, разработанной OpenAI и опубликованной axolotl-ai-co. Модель предназначена для генерации текста, диалога, рассуждений и агентных сценариев, включая вызов функций и работу с инструментами. Архитектура — разреженная смесь экспертов (MoE); карточка модели указывает 21 млрд параметров, из которых активно 3,6 млрд, тогда как метаданные репозитория содержат значение 1,6 млрд. Контекст составляет 131 072 токена. Модель обучена работать в формате Harmony и может запускаться через Transformers и vLLM. Среди возможностей — настройка уровня рассуждений, дообучение под специализированные задачи и использование для локальных сценариев с меньшей задержкой. В README заявлена нативная точность MXFP4 для слоёв MoE и возможность работы в пределах 16 ГБ памяти. Модель принимает текст и выдаёт текст. Лицензия Apache-2.0 допускает коммерческое использование. Следует применять формат Harmony: вне него модель может работать некорректно; цепочку рассуждений не следует показывать конечным пользователям.

Granite-4.0-1B — компактная инструктивная языковая модель IBM Granite Team, дообученная на базе Granite-4.0-1B-Base. Это модель класса causal language model с архитектурой GraniteMoeHybrid; в карточке указано 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Компактный размер подходит для локального запуска на устройствах и дообучения под специализированные задачи. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; обучающие данные преимущественно англоязычные. По README, модель разработана с использованием контролируемого дообучения, обучения с подкреплением и слияния моделей. Доступна по лицензии Apache 2.0. Возможности вызова инструментов описаны в карточке, но качество многоязычных ответов может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы.

cyankiwi/granite-4.0-h-micro-AWQ-4bit — 4-битная AWQ-квантизованная версия Granite-4.0-H-Micro, разработанной командой Granite и IBM. Базовая модель содержит около 3 млрд параметров, относится к длинноконтекстным инструкционным языковым моделям и дообучена на открытых инструкционных и синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для выполнения общих инструкций и создания AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. Заявлены улучшенные следование инструкциям и вызов инструментов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое ограничение — README не указывает точный размер контекстного окна, архитектурные детали и результаты бенчмарков. Квантизация AWQ-4bit рассчитана на более экономичное развертывание, однако конкретные требования к оборудованию и потери качества для этой версии не приведены. Модель распространяется по лицензии Apache 2.0.

K-EXAONE-2.0-750B-A37B-DSpark — мультиязычная языковая модель общего назначения от LG AI Research. Это модель с архитектурой Mixture of Experts семейства EXAONE, предназначенная для генерации текста и диалогового взаимодействия. По метаданным, модель содержит 34,1 млрд параметров и поддерживает контекст до 262 144 токенов. Модель рассчитана на рассуждения, агентные сценарии, работу с кодом и поиск информации в длинном контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. Для ускорения генерации README описывает speculative decoding методами MTP и DSpark; заявлено ускорение примерно в 3–5 раз. Для запуска приведены конфигурации SGLang и vLLM на двух узлах с 16 GPU NVIDIA H200, поэтому использование требует значительных вычислительных ресурсов. Модель выпущена под лицензией Apache 2.0. Она может выдавать ошибочные, устаревшие, предвзятые или неподходящие ответы; актуальность сведений не гарантируется. README также отмечает проблему генерации на NVIDIA B200 с рекомендацией отключить prefill CUDA graph до исправления.

Qwen1.5-72B-Chat-GGUF — квантованный вариант чат-модели Qwen1.5, разработанной командой Qwen. Это авторегрессионная языковая модель на основе архитектуры Transformer decoder-only, предназначенная для ведения диалогов и генерации текста. Модель подходит для чат-ботов, ответов на вопросы, обработки инструкций и других сценариев текстовой генерации. Модель содержит 72 миллиарда параметров и поддерживает контекст длиной до 32K токенов. Она работает с текстом и обучена для многоязычных сценариев, включая естественные языки и программный код; в метаданных README явно указан английский язык. После предварительного обучения модель прошла supervised fine-tuning и direct preference optimization, что направлено на улучшение качества диалогов и соответствия человеческим предпочтениям. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии заявлено отсутствие GQA и сочетания sliding window attention с full attention, кроме отдельных вариантов. Репозиторий предоставляет GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, позволяющие выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Сильными сторонами являются большой размер, контекст 32K и поддержка локального запуска через llama.cpp. Ограничения включают высокие требования к памяти и вычислительным ресурсам для 72B-модели, а также возможные потери качества при более агрессивной квантизации. Лицензия указана как other, с названием tongyi-qianwen; подробные условия доступны по ссылке на LICENSE.

Qwen2.5-32B-Instruct-GGUF — квантованная в формате GGUF версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование подготовлено bartowski на основе llama.cpp, а распространение модели осуществляется в рамках Community Model Program LM Studio. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, работу со структурированными данными и создание структурированного контента. Она поддерживает более 29 языков, среди которых английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявлена поддержка контекста до 128 000 токенов с использованием настроек YaRN RoPE и генерацией до 8 000 токенов. Ключевые характеристики включают размер 32B параметров, текстовую модальность и обучение на наборе данных объёмом 18 триллионов токенов. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в поддерживаемых приложениях, однако требования к вычислительным ресурсам зависят от конкретного уровня квантования. Модель может генерировать неточные, вредные или непреднамеренные ответы. Лицензия — Apache 2.0.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

nvidia/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-122B-A10B, разработанной Alibaba. Квантизация выполнена NVIDIA с использованием Model Optimizer версии 0.44.0; сама модель не принадлежит и не разработана NVIDIA, а подготовлена по требованиям к данному сценарию применения. Модель предназначена для генерации текста, чат-ботов, AI Agent-систем, RAG и других приложений на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст. Поддерживается контекст до 262K токенов, однако сведения о языках модели в карточке не указаны. Архитектура основана на оптимизированном Transformer и Mixture of Experts: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Веса и активации линейных операторов в Transformer-блоках MoE переведены в формат NVFP4, что примерно в четыре раза уменьшает требования к дисковому пространству и GPU-памяти по сравнению с исходным представлением. Модель рассчитана на инференс через vLLM на NVIDIA GPU архитектуры Blackwell под Linux. К преимуществам относятся большой контекст, мультимодальный ввод, MoE-архитектура и сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого NVIDIA-оборудования и vLLM, возможные особенности качества и точности, связанные с 4-битной квантизацией, а также отсутствие раскрытых сведений о полном обучающем наборе данных. Перед промышленным использованием необходимы тестирование на данных конкретного сценария и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

Interlinkarts/Qwen3.5-9B-GGUF — версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий предназначен для локального запуска модели в формате GGUF; при этом README также указывает совместимость исходных артефактов с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Это мультимодальная causal language model с vision encoder, предназначенная для генерации и понимания текста, анализа изображений, рассуждений, программирования, агентских сценариев и других задач vision-language. Заявлена поддержка 201 языка и диалекта. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель содержит 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; также применяются Gated Attention, 32 слоя, скрытая размерность 4096 и multi-step training. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, высокая заявленная эффективность инференса и поддержка длинного контекста. README не содержит точных сведений о варианте GGUF-квантизации, требованиях к аппаратному обеспечению и ограничениях качества, поэтому эти характеристики требуют отдельной проверки.

vrfai/Qwen3.6-27B-FP8 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-27B. Исходную модель разработала команда Qwen (Alibaba Group), а FP8-квантизацию выполнил vrfai с использованием llm-compressor от vLLM Project. Модель предназначена для диалогов, генерации и анализа текста, программирования, а также задач, требующих обработки визуальной информации. Поддерживаются режимы с рассуждением и без него; README не содержит полного перечня языков и точных характеристик исходной модели, включая размер контекста. Используется статическая квантизация W8A8 FP8: веса и активации основных компонентов представлены в FP8 с симметричной по-тензорной схемой, при этом чувствительные компоненты, включая vision encoder, DeltaNet/linear-attention, merger и lm_head, сохранены в BF16. Формат compressed-tensors обеспечивает поддержку в vLLM. Такой подход снижает требования к памяти при сохранении качества лучше, чем более агрессивная NVFP4-квантизация; заявленный размер модели составляет около 34 ГБ. Для работы требуется GPU NVIDIA Ampere, Hopper или Blackwell с поддержкой SM 89+, рекомендовано использование vLLM или Transformers. Модель распространяется по лицензии Apache-2.0. Ограничениями являются необходимость совместимого современного NVIDIA GPU, использование trust_remote_code в приведённых примерах и отсутствие в предоставленном README подробных результатов бенчмарков, точного контекстного окна и полного описания языковой поддержки.

Qwen3.6-35B-A3B-QD-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, подготовленная Quadux IT с использованием собственной методики Quadux Dynamic Quantization. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, и рассчитана на запуск через llama.cpp в формате GGUF. В основе лежит MoE-архитектура: 35,5 млрд параметров всего и около 3 млрд активных параметров на токен. Используется гибридная схема attention с контекстом до 256 тысяч токенов и низкими затратами на KV-кэш. Поддерживаются английский, немецкий и, согласно карточке, другие языки. В комплект включены MTP head и совместимый vision projector, что обеспечивает поддержку изображений при использовании соответствующей конфигурации. Доступно несколько вариантов квантизации размером примерно от 10,6 до 26,42 ГБ, рассчитанных на видеокарты с 12–32 ГБ памяти. Распределение точности выполнено по результатам измерения чувствительности отдельных тензоров, поэтому варианты ориентированы на хорошее качество при ограниченном размере. Ограничения связаны с неизбежными потерями качества квантизации, зависимостью результата от выбранного варианта и необходимостью отдельного vision projector для мультимодальной работы. Лицензия — Apache 2.0.

dranger003/c4ai-command-r-v01-iMat.GGUF — это GGUF-квантизированная версия C4AI Command-R, исследовательской генеративной языковой модели с открытыми весами, разработанной CohereForAI. Версия содержит importance matrix-квантизации, подготовленные для запуска в совместимом программном обеспечении, включая llama.cpp. Модель предназначена для генерации текста, рассуждений, суммаризации, ответов на вопросы, многоязычного общения и сценариев retrieval-augmented generation (RAG). Она также поддерживает использование инструментов: на основе диалога и списка доступных инструментов модель может формировать JSON-список действий. Для grounded generation она принимает фрагменты извлечённых документов и использует их при подготовке ответа. Command-R имеет около 35 миллиардов параметров, 40 слоёв и контекстное окно до 131072 токенов. Это текстовая модель без заявленной поддержки изображений или других мультимодальных входов. Многоязычная генерация оценивалась для 10 языков, однако их конкретный перечень в предоставленных данных не указан. Importance matrix обучалась примерно на 100 тысячах токенов из корпуса WikiText; квантизация может уменьшать требования к ресурсам по сравнению с полноразмерной моделью, но потенциально сопровождается потерей точности, зависящей от выбранного варианта квантования. Модель распространяется по лицензии CC-BY-NC-4.0, которая допускает использование с соблюдением условий лицензии, но ограничивает коммерческое применение. Для корректной работы требуется поддержка архитектуры Command-R, GGUF и соответствующего шаблона чата.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

gnani-evon-v3.3 — языковая модель Gnani.ai для диалога, следования инструкциям и рассуждений на английском и индийских языках. Это гибридная архитектура Mamba2-Transformer Nemotron Hybrid Mixture of Experts: 30 млрд параметров всего и около 3,5 млрд активных на токен. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на работу через Transformers, vLLM и SGLang. Модель предназначена для чатов и ассистентов, многоязычных RAG-систем с длинным контекстом, извлечения ответов из текста, агентных сценариев с вызовом инструментов, а также задач по коду и математике. Разработчик сообщает о дообучении на инструкциях и применении обучения с подкреплением; заявленный акцент — понимание и генерация на языках Индии. README предупреждает, что использование инструментов и многошаговые агентные возможности продолжают развиваться, а модель не рекомендуется для высокозначимых решений или юридических, медицинских и финансовых консультаций без оценки безопасности в целевой области. Лицензия — Apache-2.0.

GPT-3.5 Turbo — языковая модель OpenAI для генерации и понимания естественного языка и кода. Версия v0613 предназначена для диалогов и обычного текстового дополнения. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста, а также помощи с кодом. Данные обучения охватывают период до сентября 2021 года. В предоставленных сведениях не указаны размер модели, длина контекста или лицензия.

InternLM2.5-20B-Chat — диалоговая языковая модель, разработанная командой InternLM и распространяемая в формате GGUF сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, ведения диалогов, следования инструкциям, решения математических задач и задач, требующих рассуждений. Она также поддерживает использование инструментов и может применяться совместно с инструментом MindSearch. Модель содержит около 20 миллиардов параметров и рассчитана на контекст длиной до 32 000 токенов. В README не указаны поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Для работы в LM Studio рекомендуется шаблон ChatML. По заявлению авторов, модель обеспечивает высокие результаты в задачах рассуждений и сопоставима с Gemma 2 27B при меньшем размере. Ограничения включают возможность генерации неточного, вредного или неподходящего содержимого, а также зависимость характеристик от выбранной GGUF-квантизации и аппаратного обеспечения. Модель помечена лицензией other; конкретные условия лицензии в README не раскрыты, поэтому перед использованием необходимо ознакомиться с условиями исходной модели InternLM2.5-20B-Chat и данной сборки.

NVIDIA Qwen3-235B-A22B-Instruct-2507-NVFP4 — квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507 от Alibaba, подготовленная с помощью TensorRT Model Optimizer. NVIDIA указывает, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели для соответствующих сценариев применения. Модель предназначена для генерации текста и может использоваться в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Это авторегрессионная текстовая модель с архитектурой Transformers и сетевой архитектурой Qwen3MoeForCausalLM. Она принимает текстовые строки и генерирует текст; число параметров не раскрыто. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Ключевое преимущество версии NVFP4 — квантизация весов и активаций линейных операторов внутри transformer-блоков с 16 до 4 бит, что примерно в 3,4 раза снижает требования к дисковому пространству и памяти GPU. Модель оптимизирована для инференса через TensorRT-LLM и систем на базе NVIDIA Blackwell, предпочтительно под Linux. Ограничения включают неизвестное количество параметров, отсутствие раскрытых сведений о тренировочных и тестовых данных, а также необходимость дополнительного тестирования на данных конкретного сценария. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

Qwen3.5-4B — мультимодальная причинная языковая модель с энкодером изображений из семейства Qwen, разработанного командой Qwen. Репозиторий Yuqi123/Qwen3.5-4B-blockwise-fp8 содержит веса и конфигурацию в формате Hugging Face Transformers; базовая модель указана как Qwen/Qwen3.5-4B-Base. Модель предназначена для понимания текста и изображений, рассуждений, программирования, агентских сценариев и задач визуального анализа. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. Она использует гибридную архитектуру с Gated DeltaNet, Gated Attention и разреженным Mixture-of-Experts, а также поддерживает мультимодальное обучение с ранним объединением токенов. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. README также указывает совместимость с Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения включают меньший размер по сравнению с крупными моделями семейства, а также отсутствие в предоставленном README подробных сведений о качестве на всех задачах, требованиях к оборудованию и особенностях варианта blockwise-fp8. Модель распространяется по лицензии Apache-2.0.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это набор GGUF-квантизаций модели Qwythos-9B, разработанной Empero. Модель создана на базе Qwen3.5-9B и дообучена на более чем 500 млн токенов высококачественных трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Доступны варианты от Q4_K_M до BF16, включая версии с MTP для ускорения генерации в совместимых сборках llama.cpp. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других GGUF-совместимых средах. Она ориентирована на рассуждения, генерацию текста, решение математических задач, function calling и агентские сценарии, а также на задачи в области кибербезопасности и биомедицины. Заявлена поддержка английского языка, нативного function calling по спецификации Qwen3.5 и контекстного окна до 1 048 576 токенов с масштабированием RoPE YaRN. Модель мультимодальна и поддерживает изображения при подключении отдельного vision projector в формате GGUF. Визуальная часть унаследована от Qwen3.5-9B и во время дообучения не изменялась, поэтому заявлены описание изображений, OCR печатного и рукописного текста, анализ графиков и таблиц, понимание интерфейсов и документов и базовое пространственное рассуждение. Сильными сторонами являются большой контекст, reasoning-возможности, function calling и широкий выбор уровней квантизации; при этом качество, скорость и требования к памяти зависят от выбранного варианта, а для изображений требуется дополнительный файл mmproj. Модель распространяется по лицензии Apache-2.0.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16 — это производная модель на архитектуре DeepSeek-V4, созданная автором Baekpica на основе deepseek-ai/DeepSeek-V4-Flash-0731. Это MoE-чекпойнт с 119,8 млрд основных параметров и примерно 13,8 млрд активных параметров на токен; эксперты были объединены методом REAM с последующим дообучением для восстановления поведения. Веса BF16 сохранены в формате safetensors, обновления SFT и маршрутизатора объединены с весами, поэтому отдельный адаптер не требуется. Метаданные указывают контекст до 1 048 576 токенов. Модель предназначена для генерации текста, диалогов, написания кода, многоязычных инструкций и работы с длинным контекстом, включая извлечение сведений из объёмного текста. Карточка описывает отдельные успешные проверки JSON, кода и длинного извлечения, но также фиксирует ошибки в арифметике, повторяющийся цикл самокоррекции и изменение поведения после слияния экспертов. Эти проверки не подтверждают общее качество длинноконтекстной работы или сохранение исходных бенчмарков. Лицензия — MIT; применяются условия и ограничения исходной модели.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

Granite-4.1-3B-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это плотный decoder-only трансформер с 3,4 млрд параметров; в архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель обучена с нуля и рассчитана на широкий круг задач преобразования текста, а также на дополнение кода в середине фрагмента (Fill-in-the-Middle, FIM). Контекстное окно в метаданных указано как 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода; её также можно использовать как основу для специализированных дообучений. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание безопасности, поэтому может выдавать проблемный или недостоверный контент; для меньших моделей также отмечен риск галлюцинаций и дословного воспроизведения фрагментов обучающих данных. Для применения в организациях IBM рекомендует проверять входы и выходы средствами Granite Guardian.