II.2Создание и понимание программного кода

Keural-Cortex-8B-SFT-step903 — исследовательский контрольный чекпойнт модели Keural, разработанной MKD Co., Ltd. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, дообученная методом supervised fine-tuning на базе Qwen/Qwen3-8B. Модель рассчитана на диалоги на корейском и английском языках, ответы на вопросы, суммаризацию, перевод, генерацию кода, математические рассуждения, вызов инструментов и работу с длинными документами. Контекстное окно составляет до 65 536 токенов; доступны режимы с рассуждениями и без них, а веса опубликованы в формате safetensors для Transformers. Корейский язык — основной акцент обучения; также предусмотрены англоязычные задачи. Вызов функций поддерживается через совместимую с OpenAI схему, однако выбор инструментов ненадёжен. В README описаны воспроизводимые дефекты: модель может неверно представляться, отвечать пустым сообщением на короткий запрос без системной инструкции, ошибочно вызывать инструмент и иногда выдавать незакрытый маркер рассуждений. Для этого чекпойнта рекомендуется задавать системную инструкцию и передавать только уместные для запроса инструменты. Лицензия — Apache-2.0.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers. Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

ThomasBaruzier/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия инструкционной языковой модели Meta Llama 3 с размером 70 млрд параметров. Модель разработана Meta и предназначена для генерации текста, диалогов и выполнения инструкций; в карточке также указана задача text-generation. Заявленный язык — английский. Модель относится к текстовым, без указаний на поддержку изображений, аудио или других модальностей. Формат GGUF ориентирован на локальный запуск средствами совместимой инфраструктуры, однако конкретная версия квантования, требования к памяти, максимальный контекст и показатели качества в README не указаны. Сильными сторонами являются инструкционный режим и масштаб 70 млрд параметров, но практические характеристики зависят от используемого варианта GGUF и аппаратного обеспечения. Модель распространяется по Meta Llama 3 Community License. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая сохранение уведомления об атрибуции и указание «Built with Meta Llama 3» при распространении материалов или продуктов. Также требуется соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

Open-Instruct Flan V2 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями Allen Institute for AI на наборе инструкций Flan V2. Она предназначена для генерации ответов на инструкции и общих текстовых запросов. Модель принимает текст и выдаёт текст; для работы ожидается форматирование входа по шаблону из карточки, а максимальная длина контекста составляет 2048 токенов. В карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель опубликована как diff: для восстановления весов требуется исходная модель LLaMA в формате Hugging Face. Лицензия определяется лицензией AI model, приложенной к репозиторию, и исходной лицензией LLaMA.

LIF1014/ptdbench-Llama-3.2-1B-Instruct — текстовая инструктивная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель предназначена для диалогов с ассистентом, генерации текста и сценариев с агентным поиском и суммаризацией. Поддерживает текст на входе и выдаёт текст, включая код. Контекстное окно — 131 072 токена. Модель работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским языками. Небольшой размер подходит для развёртывания в средах с ограниченными ресурсами, в том числе на мобильных устройствах. Знания модели ограничены данными обучения со срезом до декабря 2023 года; качество и безопасность могут уступать более крупным моделям, поэтому ответы следует проверять в критичных сценариях. Использование регулируется пользовательской лицензией Llama 3.2 Community License и связанными условиями Meta.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Карточка модели adrianxu9778/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели SpectreFestival/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели Yahel666/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zomasec/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

DeepSeek-R1-Distill-Llama-70B-GGUF — это квантизированная версия языковой модели DeepSeek-R1-Distill-Llama-70B, разработанной командой deepseek-ai и подготовленной в формате GGUF участником bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на задачи рассуждения и генерации цепочек рассуждений. Заявлена поддержка контекста до 128 000 токенов. В README не указаны точный вариант квантования, перечень поддерживаемых языков и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. К сильным сторонам относятся большой размер 70B параметров, ориентация на сложное рассуждение и возможность использования квантизированной сборки в локальной инфраструктуре. Ограничения включают потенциально высокие требования к ресурсам, зависимость характеристик от выбранного уровня квантования и типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Лицензия в предоставленных данных не указана; условия использования следует уточнять в исходном репозитории модели.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная версия языковой модели Hermes 2 Pro, созданной на базе Meta-Llama-3-8B командой NousResearch. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых систем и задач ассистирования, включая function calling и формирование структурированных ответов в JSON. Модель имеет около 8 млрд параметров, работает с текстом и ориентирована на английский язык. Она обучена с применением дообучения, DPO, RLHF, синтетических данных и дистилляции; в качестве набора данных указан OpenHermes-2.5. Для взаимодействия используется шаблон ChatML. Доступны варианты квантизации от Q8_0 до Q2 и IQ-квантов размером примерно от 2,75 до 8,54 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются поддержка диалогового режима, function calling, JSON-ответов и возможность локального запуска через совместимые инструменты, включая llama.cpp. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; точные ограничения контекстного окна и результаты бенчмарков в представленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B, подготовленная пользователем YuYu1015. Модель предназначена для генерации текста, диалоговых и рассуждающих сценариев, а также использования с вызовом инструментов. Она поддерживает режим рассуждений, tool calling через парсер qwen3_xml и спекулятивное декодирование MTP; совместимость с DFlash также заявлена. В основе лежит MoE-архитектура с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров: 256 экспертов, 8 маршрутизируемых и 1 общий эксперт, в сочетании с GDN/Mamba и механизмом внимания. Поддерживается контекст до 262 144 токенов, языки — английский и китайский. Модель использует NVFP4-квантизацию W4A4, занимает около 25,1 ГБ вместо примерно 71,9 ГБ в исходном формате BF16 и оптимизирована для NVIDIA DGX Spark с GPU GB10 SM121. Основные преимущества — существенно сниженные требования к памяти, сохранённые MTP-веса в BF16 и специальная смешанная калибровка на диалоговых и рассуждающих данных для восстановления точности. Ограничения включают зависимость от совместимых версий vLLM, FlashInfer и CUDA, а также необходимость подходящего оборудования и программного стека для заявленного режима W4A4. После abliteration распределение активаций отличается от исходного, поэтому эффективность DFlash снижается; для этой версии рекомендуется MTP с одним спекулятивным токеном. Модель распространяется по лицензии Apache-2.0.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

jina-embeddings-v2-base-code-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-code, разработанной jinaai и преобразованной в GGUF компанией Second State Inc. Это модель для получения векторных представлений текста и исходного кода, предназначенная для семантического поиска, сравнения схожести, классификации и других задач feature extraction, включая работу с кодовыми фрагментами. Указан английский язык. Модель поддерживает контекст до 8192 токенов и формирует embedding размерностью 768. Доступны варианты квантования от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 82,7 до 323 МБ. В README вариант Q4_K_M отмечен как сбалансированный и рекомендуемый, тогда как низкобитные варианты обеспечивают меньший размер ценой заметной потери качества. Модель может запускаться через LlamaEdge с prompt type embedding. Распространяется по лицензии Apache-2.0. Ограничения зависят от выбранного варианта квантования: чем сильнее сжатие, тем выше потенциальная потеря качества embeddings. Архитектура исходной модели, точное число параметров и перечень поддерживаемых языков, кроме указанного английского, в предоставленных данных не описаны.

NousResearch/Llama-3.2-1B — текстовая языковая модель семейства Llama 3.2, разработанная Meta и опубликованная NousResearch. Это авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для генерации текста и может служить основой для диалоговых помощников, поиска знаний и суммаризации, а также для мобильных приложений и систем с ограниченными ресурсами. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README также указывает на поддержку генерации кода. Компактный размер и длинный контекст позволяют использовать модель в ресурсоограниченных средах. Как небольшая модель, она может уступать более крупным моделям в качестве ответов и безопасности; для конкретного применения рекомендуется оценивать результаты и предусматривать защитные меры. Использование регулируется лицензией Llama 3.2 Community License — специальным соглашением, допускающим коммерческое и исследовательское применение при соблюдении условий лицензии и Acceptable Use Policy.

cyankiwi/MiniCPM-SALA-AWQ-8bit — 8-битная AWQ-квантизованная версия модели MiniCPM-SALA, разработанной OpenBMB. Модель предназначена для генерации текста, включая работу с длинными документами, анализом контекста, математическими и программными задачами. Заявлена поддержка китайского и английского языков и совместимость с Transformers. Архитектура MiniCPM-SALA сочетает 25% слоёв со sparse attention InfLLM-v2 и 75% слоёв с linear attention Lightning Attention. Гибридный подход рассчитан на эффективную работу с последовательностями длиной до 1 млн токенов и снижает требования к вычислениям и KV-кэшу; разработчики заявляют ускорение до 3,5 раза по сравнению с плотной моделью Qwen3-8B на последовательностях длиной 256 тысяч токенов. Для сохранения качества на коротком и длинном контексте используются HyPE и метод адаптации HALO. Точный размер модели в README не указан, однако упоминается класс моделей масштаба около 9B. К сильным сторонам относятся большой контекст, высокая эффективность инференса и возможность запуска на потребительских GPU, включая NVIDIA RTX 5090. Ограничения включают зависимость от специализированного программного окружения для оптимального инференса, включая CUDA 12.x или новее и компоненты SGLang; характеристики и качество именно данной AWQ-версии отдельно не приведены. Лицензия — Apache 2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

Ornstein3.6-35B-A3B-GGUF — набор GGUF-квантизаций модели DJLougen/Ornstein3.6-35B-A3B, опубликованный для локального запуска. Это дообученная модель семейства Qwen 3.6 с архитектурой Qwen3_5MoeForCausalLM и поддержкой сценариев генерации текста; репозиторий также содержит мультимодальные конфигурации и файлы визуальной башни для обработки изображений и видео, однако существующие GGUF-бинарники при обновлении метаданных не переписывались. Модель использует архитектуру mixture-of-experts с 34,66 млрд параметров, из которых около 3 млрд активны для каждого токена. В ней 256 экспертов, выбираются 8 экспертов на токен, предусмотрены чередующиеся линейное и полноразмерное внимание, а также Gated Delta Net. Контекст составляет до 262 144 токенов, скрытый размер — 2048, число слоёв — 40, словарь — 248 320 токенов. Доступны варианты квантизации от 8 до примерно 2,6 бит; версии ниже 8 бит частично созданы с importance matrix на смешанном многоязычном корпусе. Сильная сторона модели — сочетание большого общего числа параметров с относительно небольшим числом активных параметров, что делает локальный инференс более доступным по памяти. Для лучшего качества рекомендуется Q4_K_M или выше; Q5_K_M описывается как удачный баланс качества и размера, а Q8_0 — как почти без потерь. Низкобитные варианты требуют компромисса по качеству, причём у MoE-моделей деградация при сильной квантизации может быть заметнее. Для запуска подходят llama.cpp, LM Studio, Ollama, koboldcpp и text-generation-webui при наличии поддержки Qwen3_5MoeForCausalLM и Gated Delta Net. Модель распространяется по лицензии Apache 2.0, унаследованной от базового релиза Qwen 3.6.

bartowski/Qwen2-72B-Instruct-GGUF — набор квантизированных вариантов языковой модели Qwen2-72B-Instruct, разработанной командой Qwen (Tongyi Qianwen) и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в чат-интерфейсах и локальный запуск через llama.cpp. Поддерживается специальный шаблон промпта с ролями system, user и assistant. Модель имеет 72 миллиарда параметров, работает с текстом и ориентирована как минимум на английский язык. Доступны варианты GGUF с разными уровнями квантизации: от Q8_0 размером около 77,26 ГБ до IQ1_M размером около 23,74 ГБ. Наиболее рекомендуются Q5_K_M, Q4_K_M и IQ4_XS как компромисс между качеством и требованиями к памяти; варианты с более низкой точностью занимают меньше места, но заметно теряют в качестве. Квантизация выполнена с использованием imatrix и llama.cpp. Сильная сторона набора — возможность выбрать подходящий баланс качества, скорости и потребления RAM или VRAM для локального запуска. Для работы на GPU рекомендуется, чтобы файл помещался в доступную видеопамять; также возможно комбинировать системную RAM и VRAM. Для CUDA указано ограничение: offloading может работать некорректно без включения flash attention. I-quant варианты не совместимы с Vulkan, а на CPU и Apple Metal могут работать медленнее K-quant вариантов. Модель распространяется по лицензии tongyi-qianwen; README также содержит ссылку на лицензию исходной модели Qwen2-72B-Instruct.

RedHatAI/Qwen3.5-4B-FP8-dynamic — мультимодальная модель RedHatAI, созданная на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для диалогов, анализа изображений, ответов на вопросы, следования инструкциям и решения задач рассуждения. Указанная конфигурация рассчитана на инференс через vLLM и поддерживает текстовый режим с пониженным потреблением памяти. Модель использует архитектуру Qwen/Qwen3.5-4B и контекст до 262 144 токенов при развертывании с рекомендованными параметрами. Веса и активации линейных операторов внутри трансформерных блоков динамически квантизированы в FP8; для активаций применяется масштабирование на уровне тензора без калибровочных данных. Размер на диске составляет около 8,0 ГБ вместо 9,3 ГБ у версии BF16, что уменьшает требования к памяти примерно на 14%. Языки в README не указаны. По опубликованным оценкам, квантизация в целом сохраняет качество базовой модели: результаты на GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond близки к показателям исходной Qwen/Qwen3.5-4B. Ограничения включают отсутствие подробных сведений о языковой поддержке и аппаратных требованиях; качество также может зависеть от поддержки FP8 и используемого рантайма. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

techwithsergiu/Qwen3.5-text-9B-bnb-4bit — текстовая производная модели Qwen3.5-9B, подготовленная разработчиком techwithsergiu на основе text-only версии techwithsergiu/Qwen3.5-text-9B. Модель предназначена для генерации текста и диалоговых сценариев, а также для адаптации под специализированные задачи с помощью LoRA и QLoRA. Поддерживает режимы прямого ответа и пошагового рассуждения, указанные в README. Модель имеет размер 9B параметров и использует текстовый backbone, без visual tower, поэтому принимает только текстовые входные данные и не предназначена для обработки изображений. Backbone подвергнут 4-битному квантованию BNB NF4 с double quantization и вычислениями в bfloat16; веса lm_head сохранены в bf16 для повышения качества и стабильности вывода. Такое представление уменьшает требования к видеопамяти по сравнению с полноразмерной версией и упрощает использование в text-only LoRA fine-tuning. К ограничениям относятся отсутствие мультимодальных возможностей и отсутствие в README точных сведений о поддерживаемых языках и размере контекстного окна. Документация по тонкой настройке отмечена как находящаяся в разработке, хотя inference проверен, а применение с Unsloth и QLoRA заявлено как основной сценарий обучения. Модель распространяется по лицензии Apache-2.0.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-2B-Instruct, опубликованная Unsloth и основанная на модели Qwen. Это мультимодальная instruct-модель для понимания и генерации текста по изображениям, а также для работы с визуальными и текстовыми данными. Она предназначена для описания изображений, визуального рассуждения, анализа документов и видео, OCR, решения STEM- и математических задач, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру и размер 2B параметров; поддерживает текст и изображения, а заявленные возможности включают обработку видео и пространственное рассуждение. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиционных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, работа с длинным контекстом, видео, пространственными отношениями и документами, а также сниженные требования к памяти благодаря 4-битному квантованию. Ограничения, результаты тестов и точные требования к оборудованию в README не описаны; квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.