II.11Кибербезопасность и приватность

Coder40-95/GLM-5.3-GGUF — это квантованная версия языковой модели GLM-5.3, разработанной Z.ai и распространяемой в формате GGUF. В карточке указано, что модель основана на zai-org/GLM-5.3, а квантование связано с экосистемой Unsloth. Модель предназначена для генерации текста, сложного программирования, длительных многоэтапных задач, работы с инструментами и агентских сценариев. Заявлена поддержка английского и китайского языков. Ключевое преимущество GLM-5.3 — улучшенная по сравнению с GLM-5.2 способность к программированию и задачам, требующим продолжительного планирования. В README также заявлены высокие результаты в тестах поиска уязвимостей и эксплуатации, поэтому модель может быть полезна для исследовательских и защитных задач кибербезопасности при соблюдении соответствующих ограничений. Доступно управление интенсивностью рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. Размер модели, точная архитектура, параметры квантования и стандартная длина контекста в карточке не указаны. Модель ориентирована на локальный запуск совместимых GGUF-инструментов, однако конкретные требования к памяти и производительности зависят от варианта квантования и оборудования. Ограничения включают возможные ошибки генерации, а также необходимость осторожного применения заявленных кибербезопасностных возможностей. Лицензия обозначена как glm-5.3; подробные условия её использования в README не приведены.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, разработанная Jackrong на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из источников, связанных с Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель предназначена для задач, требующих структурированного анализа, декомпозиции, планирования, многошагового вывода и отслеживания ограничений. Модель относится к семейству Dense и содержит около 9 млрд параметров. Она работает в режиме text-generation и ориентирована на текстовые запросы и ответы. В README заявлена поддержка английского, китайского и корейского языков. Обучающие данные охватывают математику, логику, программирование, системный анализ, безопасность, физику, инженерию, право, медицину, финансы, химию и прикладные социальные задачи. Размер контекстного окна и другие параметры инференса не указаны. Сильными сторонами модели считаются более организованный стиль рассуждений, улучшенное решение сложных многошаговых задач, междисциплинарное покрытие и ориентация на анализ атак, отказов и ограничений. При этом дистилляция и специализированное дообучение могут ухудшать обобщение на отдельных сценариях или приводить к частичному забыванию знаний базовой модели, поэтому модель следует оценивать на собственных данных перед применением. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MLX-SSD-Stream — подготовленная для mlx-serve версия модели Qwen3.8-Flash-Next, разработанная garnermccloud на базе весов Qwen, с таблицей FP8 от RadixArk и поддержкой Apple MLX. Модель предназначена для локального высокоскоростного инференса на Mac с unified memory, особенно для генерации кода, технических текстов, задач рассуждения, структурированных вызовов инструментов и работы с длинным контекстом. Она поддерживает текстовые, графические и видео-входы, а также OpenAI Chat Completions, Responses, Anthropic Messages и Ollama API. Архитектура включает Transformer и vision-компоненты примерно на 125 млрд параметров, из которых около 6 млрд активны на токен, а с учётом PLE-таблицы и MTP-весов логический общий объём составляет около 180 млрд параметров. Реализованы Mixture-of-Experts, sparse attention, n-gram embedding, native MTP и контекст до 262 144 токенов. Основные компоненты используют BF16, маршрутизируемые эксперты и MTP — Q4 affine, vocabulary head — Q6 affine, а 51,2-гигабайтная n-gram-таблица хранится в FP8 и потоково читается с SSD, снижая требования к unified memory. На Apple M4 Max с 128 ГБ заявлена скорость декодирования около 71–74 токенов в секунду в отдельных сценариях и prefill до 280,7 токена в секунду на длинном контексте. Сильные стороны модели — сочетание качества BF16-ядра, ускорения MTP, мультимодальности, большого контекста и возможности запускать конфигурацию с крупной таблицей без полного размещения в памяти. Ограничения — значительный размер подготовленного репозитория около 127 ГБ, зависимость от SSD и специализированного движка mlx-serve, а также оптимизация прежде всего под Apple Silicon; приведённые показатели относятся к M4 Max с 128 ГБ памяти. Модель распространяется по Qwen Community License; веса Transformer и vision предоставлены Qwen, таблица — из checkpoint RadixArk, а подготовленная конфигурация и поддержка SSD Stream — проектом garnermccloud/mlx-serve.

DeepSeek-V3.1-Terminus — языковая модель, разработанная командой DeepSeek-AI. Это обновлённая версия DeepSeek-V3.1, построенная на той же архитектуре, что и DeepSeek-V3, и основанная на DeepSeek-V3.1-Base. Обновление сохраняет исходные возможности модели, улучшает согласованность языка, снижая смешение китайского и английского текста и появление аномальных символов, а также повышает эффективность Code Agent и Search Agent. Модель предназначена для рассуждений без инструментов, генерации и анализа кода, работы поисковых агентов и агентских сценариев с использованием инструментов. По данным сравнительных тестов, улучшения особенно заметны в BrowseComp, SimpleQA, SWE Verified, SWE-bench Multilingual и Terminal-bench, хотя на отдельных задачах результаты немного ниже, чем у DeepSeek-V3.1. В README не указаны точный размер модели, число параметров, поддерживаемые языки, модальности и размер контекста. Для локального запуска предусмотрены материалы на базе репозитория DeepSeek-V3 и обновлённый пример инференса; отмечена известная проблема с форматом данных FP8 для параметров self_attn.o_proj, которую планируют исправить в будущих релизах. Модель и веса распространяются по лицензии MIT.

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8 — инструкционная GPTQ-квантизованная версия 8-битной модели Qwen2.5-Coder-32B из семейства специализированных языковых моделей Qwen для программирования, разработанного командой Qwen. Модель предназначена для генерации, анализа и исправления программного кода, создания code agents, а также решения математических и общих текстовых задач. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит около 32,5 млрд параметров, 64 слоя и использует GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется дополнительная настройка YaRN. Основная заявленная языковая поддержка — английский язык. Модель работает в режиме текст-в-текст и не предназначена для обработки изображений или других мультимодальных данных. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, сохранение математических и общих способностей, а также уменьшенное потребление памяти благодаря 8-битной квантизации. Ограничениями являются высокие требования к вычислительным ресурсам, возможное снижение качества или производительности на длинных контекстах при использовании статического YaRN и необходимость совместимой версии Transformers и корректной конфигурации развёртывания. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-Coder-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной модели Qwen2.5-Coder-7B-Instruct, созданная QuantFactory на основе обновлённых весов от 6 ноября 2024 года с использованием llama.cpp. Исходная модель относится к семейству специализированных языковых моделей Qwen для работы с кодом, разработанному командой Qwen; базовая модель указана как Qwen/Qwen2.5-Coder-7B. Модель предназначена для генерации, анализа, исправления и рассуждений по программному коду, а также для диалоговых сценариев и создания кодовых агентов. Она сохраняет возможности в математике и общих задачах. Модель поддерживает текстовый ввод и вывод, относится к causal language models и рассчитана на английский язык согласно метаданным карточки. Архитектура включает RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; используется Grouped Query Attention с 28 головами для Q и 4 для KV. Размер модели — 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, число слоёв — 28. Заявленная максимальная длина контекста составляет 131 072 токена, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация и формат GGUF ориентированы на запуск через llama.cpp и могут уменьшать требования к памяти по сравнению с полной версией, но конкретные характеристики зависят от варианта квантизации, который в карточке не указан. Модель распространяется по лицензии Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — исследовательский производный чекпойнт, разработанный Blackfrost на базе официальной Qwen/Qwen3.8-27B. Это не дообученная модель, а модифицированная на уровне весов версия с уменьшенной поверхностью отказов, предназначенная для исследований, red teaming, анализа безопасности, программирования, рассуждений, работы с инструментами и мультимодальными сценариями. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с Gated DeltaNet и полным attention, содержит 27 млрд параметров и использует квантование NVIDIA ModelOpt W4A4 NVFP4, ориентированное на GPU NVIDIA Blackwell. Она принимает текст, изображения и видео, генерирует текст и поддерживает контекст до 262 144 токенов; практический размер контекста зависит от доступной памяти и уровня параллелизма. Для запуска рекомендуется SGLang или другой совместимый движок, а валидированным оборудованием указан NVIDIA B200. К сильным сторонам относятся сохранение возможностей зрения, рассуждений, инструментального использования и длинного контекста при компактном квантованном формате, а также deployment-ориентированная конструкция. Ограничения включают исследовательский статус, отсутствие гарантий сохранения всех характеристик исходной модели после модификации и квантования, а также намеренно сниженную склонность к отказам: результаты безопасности, программирования, мультимодальности и работы с инструментами требуют осторожной интерпретации. В репозитории указана лицензия Apache-2.0; модель опубликована как общедоступный, не требующий допуска research preview и не предназначена для продажи.

Карточка модели luxuansang/Qwythos-9B-v2 на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-v2, поэтому описание составлено по ней. Qwythos-9B-v2 — модель генерации текста и рассуждений от Empero AI, дообученная на базе empero-ai/Qwythos-9B-Claude-Mythos-5-1M методом FTPO. Она предназначена для диалогов, многошаговых рассуждений, решения задач и генерации кода; разработчик сообщает, что в этой версии устранено зацикливание при генерации, восстановлена голова MTP и сохранены возможности предыдущей версии. Модель построена на гибридной архитектуре Qwen3.5-9B с чередованием линейного внимания Gated-DeltaNet и полного внимания. Контекст заявлен до 1 млн токенов с YaRN. Хотя базовый стек поддерживает мультимодальность, README описывает практическое использование как текстовое. Основной язык карточки — английский. Модель подходит для исследовательских и технических сценариев, включая программирование, кибербезопасность и анализ научных вопросов. По внутренним оценкам разработчика, знания и рассуждения в целом сохранены относительно предыдущей версии; это обновление направлено прежде всего на устойчивость генерации, а не на рост возможностей. Известное ограничение — результат HumanEval ниже, чем у исходной Qwen3.5-9B; показатели бенчмарков получены на внутреннем тестовом наборе. Модель намеренно не ограничивает ответы на чувствительные темы. Лицензия — Apache-2.0.

Qwen2.5-Coder-14B-Instruct-GGUF — это инструкционно дообученная языковая модель для работы с кодом из серии Qwen2.5-Coder, разработанная командой Qwen при Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания кодовых агентов и решения задач, связанных с математикой и общими текстовыми запросами. Модель является каузальной языковой моделью в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Она содержит 14,7 млрд параметров, 48 слоёв и использует Grouped Query Attention с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов. Заявлена поддержка английского языка; модальность — текстовая. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также возможность локального запуска через совместимые инструменты, включая llama.cpp. Ограничения включают контекст до 32 768 токенов в GGUF-версии; для последовательностей до 131 072 токенов README рекомендует использовать не-GGUF-версии, поскольку расширение контекста через YARN в указанном сценарии поддерживается только vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-GGUF — инструкционная версия специализированной серии больших языковых моделей для работы с кодом, разработанная командой Qwen. Модель предназначена для генерации, анализа, исправления и рассуждений по программному коду, а также для создания code agents и решения математических и общеязыковых задач. Доступна в формате GGUF для локального запуска, в частности с llama.cpp. Это авторегрессионная causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV и группированным запросным вниманием: 32,5 млрд параметров, 64 слоя, 40 голов Q и 8 голов KV. Базовая длина контекста GGUF-версии составляет 32 768 токенов. Указана поддержка квантований q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В README заявлены улучшенные возможности генерации, рассуждений и исправления кода; модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Язык в метаданных указан как английский. Сильными сторонами являются специализация на программировании, поддержка длинного контекста и доступность нескольких уровней квантования для разных требований к памяти. Ограничения связаны с размером модели и вычислительными ресурсами, необходимыми для локального запуска; для GGUF-версии полноразмерный контекст ограничен 32 768 токенами, а расширение до 131 072 токенов в README указано для неграфовых GGUF-вариантов через YARN и vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B Abliterated — мультимодальная плотная модель на 27 млрд параметров, созданная mlasli на основе Qwen/Qwen3.6-27B. Вариант подготовлен с помощью Heretic v1.4.0: из модели удалено направление отказов, чтобы уменьшить отказы при запросах для исследований безопасности и других сценариев. Модель предназначена для диалогов, работы с изображениями, программирования и агентных задач; карточка также указывает поддержку нескольких языков. Контекст составляет 262 тыс. токенов с возможностью расширения до 1 млн. README заявляет, что абляция сохраняет общие возможности базовой модели, но не добавляет новых знаний или навыков. Для запуска требуется около 55 ГБ VRAM в BF16, 28 ГБ в 8-битном или 17 ГБ в 4-битном режиме. Лицензия — Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

Qwen2.5-Coder-7B-Instruct-GPTQ-Int8 — инструкционная causal language model из серии специализированных моделей для программирования Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена для генерации, анализа, рассуждений и исправления кода, создания code agents, а также общих текстовых и математических задач. Указанный репозиторий содержит GPTQ-квантизированную 8-битную версию базовой модели Qwen/Qwen2.5-Coder-7B-Instruct. Модель построена на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и bias в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует Grouped-Query Attention: 28 голов для Q и 4 для KV. Заявленная максимальная длина контекста — до 131 072 токенов, однако текущая конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Поддерживается текстовый ввод и вывод, основным языком в метаданных указан английский. Сильные стороны модели — специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также сниженные требования к памяти благодаря 8-битной GPTQ-квантизации. При использовании YaRN на коротких текстах возможно снижение производительности из-за статического коэффициента масштабирования. Для работы рекомендуется актуальная версия transformers; также поддерживается развёртывание через vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Imatrix-Mtp-1m — это сборка модели Qwen3.8-27B в формате GGUF, подготовленная Brian6145 на основе официальных весов Qwen Team. Модель ориентирована на следование инструкциям, программирование, отладку и устранение неисправностей, а также на агентские сценарии и задачи с длинными последовательностями. В карточке указаны английский и китайский языки и модальность image-text-to-text. Модель имеет размер 27B параметров и поддерживает контекст до 1 000 000 токенов благодаря расширению RoPE по официальной схеме YaRN; исходный предел составлял 262 144 токена. В каждый файл встроена рабочая Multi-Token Prediction head, совместимая со speculative decoding в llama.cpp и LM Studio. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M с imatrix и Q3_K_M. MTP может заметно ускорять генерацию, особенно при длинном контексте. Для запуска требуется сборка llama.cpp с поддержкой draft-mtp либо LM Studio 2.28.2 или совместимая версия. Контекст в 1M токенов требует значительного объёма VRAM; рекомендуется использовать квантованный KV-кэш. Статическое масштабирование YaRN может немного ухудшать качество на коротких текстах, поэтому для таких задач предпочтительна официальная версия модели. Распространение разрешено по лицензии Apache-2.0.

DeepSeek-Coder-V2-Instruct — открытая языковая модель для работы с кодом, разработанная DeepSeek AI. Представленная версия является AWQ-квантизированным вариантом instruct-модели DeepSeek-Coder-V2, предназначенной для диалогового взаимодействия и выполнения инструкций в задачах программирования, математического рассуждения и обработки текста. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и имеет 236 млрд общих параметров, из которых при обработке активируется около 21 млрд. Контекст поддерживает до 128 тысяч токенов. DeepSeek-Coder-V2 расширяет поддержку языков программирования с 86 до 338 и сохраняет возможности для общих языковых задач. Данная версия квантизирована в формате int4/AWQ; для неё указано значение perplexity 5,325 на квантизированной оценке. Сильные стороны модели — специализация на генерации, анализе и сопровождении кода, математическом рассуждении, большой контекст и сниженные требования к памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за квантизации, высокие вычислительные требования крупной MoE-модели и отсутствие в представленном README подробных сведений о языках естественного общения, точном формате запуска и системных требованиях. Модель распространяется по лицензии DeepSeek License; в метаданных указано имя лицензии deepseek-license.

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 — инструкционная, GPTQ-квантизированная 4-битная версия каузальной языковой модели Qwen2.5-Coder, разработанная командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, задач code reasoning и создания кодовых агентов, сохраняя способности к математике и общим текстовым задачам. В карточке явно указан английский язык. Модель содержит около 32,5 млрд параметров, из них 31 млрд без учёта embedding, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов. Для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах при статическом масштабировании. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю качества из-за квантизации и необходимость корректной настройки длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-3B-Instruct-GGUF — инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанная командой Qwen. Она предназначена для генерации, анализа, рассуждений и исправления кода, а также для создания диалоговых приложений и code agents. Модель сохраняет общие способности в математике и других текстовых задачах. Модель использует авторегрессионную архитектуру causal language model с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 3,09 млрд параметров, 36 слоёв и GQA с 16 головами для Q и 2 для KV. Полный контекст составляет 32 768 токенов. Репозиторий предоставляет GGUF-квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0, подходящие для локального запуска, в частности через llama.cpp. В метаданных указан английский язык; модальность — текстовая. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждения и исправление кода, а также широкий выбор квантизаций для локального использования. Ограничения включают размер контекста 32 768 токенов для GGUF-версии и отсутствие заявленной поддержки последовательностей до 131 072 токенов в этом формате; для такой длины рекомендуется использовать не-GGUF-модели. Указана лицензия qwen-research; точные условия следует уточнять в файле лицензии.

Replete-Coder-Qwen2-1.5b — дообученная Rombodawg модель семейства Qwen2 с 1,5 млрд параметров для генерации кода и ответов общего назначения. Она предназначена для написания и преобразования кода более чем на 100 языках программирования, помощи в вопросах безопасности кода и уязвимостей, математических задач и диалогового использования. Обучение проводилось на инструкционных данных: около 75% посвящено коду и 25% — задачам общего назначения; README описывает набор примерно из 3,9 млн строк и около 1 млрд токенов. Модель поддерживает диалоговый шаблон ChatML и вызов функций. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, однако README сообщает, что дообучение проводилось с окном 8 192 токена и качество при более длинном контексте не гарантируется. Указаны веса в формате safetensors и лицензия Apache-2.0. Заявление об отсутствии ограничений в обучающих данных отражает описание автора, но не гарантирует точность ответов или безопасное поведение модели.

QuantFactory/DeepSeek-Coder-V2-Lite-Instruct-GGUF — это квантизированная GGUF-версия инструкционной модели DeepSeek-Coder-V2-Lite-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе разработки DeepSeek. Модель относится к классу генеративных языковых моделей для работы с текстом и кодом и предназначена для локального запуска и инференса в формате GGUF. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Максимальная длина контекста составляет 128K токенов. DeepSeek-Coder-V2 поддерживает 338 языков программирования и ориентирована на генерацию, дополнение и вставку кода, решение задач программирования и математическое рассуждение, а также на диалоговое использование в формате instruct. README не содержит точного перечня естественных языков. К сильным сторонам относятся специализация на программировании, расширенная поддержка языков программирования, длинный контекст и сниженные вычислительные требования благодаря MoE и квантизации. Ограничения конкретного варианта, включая точный тип и уровень квантизации, размер файла и требования к памяти, в README не указаны; качество также может зависеть от используемого рантайма и аппаратной конфигурации. Модель распространяется по лицензии DeepSeek License; указан тип лицензии other и ссылка на файл LICENSE.

Dolphin 2.9.2 Qwen2 72B — диалоговая языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-72B. Модель с плотной архитектурой Qwen2 содержит 71,5 млрд параметров и предназначена для генерации текста в формате ChatML; базовая модель поддерживает контекст до 131 072 токенов, а дообучение проводилось на последовательностях длиной 8 000 токенов. Модель подходит для инструктивного диалога, написания и анализа кода, решения задач и работы с вызовами функций. В карточке также отмечены начальные агентные возможности. Модель описана разработчиками как uncensored и может с высокой готовностью выполнять запросы, в том числе небезопасные; перед использованием в сервисе рекомендуется добавить собственный слой выравнивания. Лицензия — Tongyi Qianwen; README разрешает коммерческое использование в соответствии с её условиями.

Qwen2.5-Coder-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-Coder, разработанной командой Qwen и опубликованной в репозитории Unsloth. Модель предназначена прежде всего для работы с исходным кодом: генерации, рассуждений по коду, исправления ошибок, задач code completion и создания основы для code agents. Она также сохраняет способности к математике и общим текстовым задачам. Модель является авторегрессионной causal language model на 7,61 млрд параметров, из которых 6,53 млрд не относятся к эмбеддингам. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях; предусмотрены 28 слоёв и Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется настройка YaRN. Указанный язык — английский. Сильными сторонами модели являются специализация на программировании, улучшенные возможности генерации, анализа и исправления кода, большой контекст и сниженные требования к памяти благодаря 4-битному представлению. Это базовая, а не instruction-tuned модель, поэтому её не рекомендуют использовать непосредственно для диалогов без дополнительного обучения или постобработки. Для запуска рекомендуется актуальная версия transformers и, при необходимости, vLLM; статическое масштабирование YaRN может снижать качество или производительность на коротких текстах. Лицензия — Apache 2.0.

Qwen2.5-Coder-7B-Instruct-GGUF — инструкционно дообученная языковая модель для генерации текста и программного кода из семейства Qwen2.5-Coder, разработанного командой Qwen компании Alibaba Cloud. Она предназначена для генерации, анализа и исправления кода, рассуждений о программировании, создания code agents, а также для задач, где требуется сочетание навыков работы с кодом, математикой и общими текстовыми запросами. Модель поддерживает английский язык; README не подтверждает поддержку других языков. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, 28 слоёв и механизм GQA с 28 головами для Q и 4 для KV. Полная длина контекста этой GGUF-версии — 32 768 токенов. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, поддержка локального запуска через llama.cpp и несколько вариантов квантования. Ограничение GGUF-версии — контекст 32 768 токенов; заявленное расширение до 131 072 токенов с YARN относится к другим условиям и, согласно README, требует vLLM и не-GGUF моделей. Лицензия — Apache 2.0.

Qwen2.5-Coder-7B-Instruct-GPTQ-Int4 — инструкционная языковая модель для работы с программным кодом из семейства Qwen2.5-Coder, разработанного командой Qwen при Alibaba Cloud. Модель предназначена для генерации, анализа, исправления и объяснения кода, а также для использования в чат-ассистентах и кодовых агентах. Она сохраняет возможности базовой модели в математике и общих задачах. В карточке указано, что модель ориентирована на английский язык. Это causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV и GQA: 28 голов для Q и 4 для KV. Модель содержит 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, и 28 слоёв. Доступна GPTQ-квантизация до 4 бит, уменьшающая требования к памяти по сравнению с полноразмерной версией. Максимальная длина контекста заявлена до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких запросах. Сильными сторонами модели являются специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также компактный размер и 4-битная квантизация, удобные для локального или ограниченного по ресурсам развёртывания. Ограничения включают зависимость качества и скорости от оборудования и настроек инференса, а также возможное ухудшение производительности при использовании статического YaRN. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF — квантизированная мультимодальная версия модели Qwen3.8-27B, разработанная автором cdiamond на основе Qwen/Qwen3.8-27B. Модель предназначена для работы в llama.cpp и сценариев, связанных с программированием, инфраструктурными задачами, вызовами инструментов, агентскими системами и обработкой изображений. Указан контекст до 256 тысяч токенов; поддержка зрения реализуется через отдельный проектор mmproj-Qwen3.8-27B-F16.gguf. Модель поставляется в формате GGUF и имеет размер 17,1 ГБ. Это смешанная квантизация примерно 5,01 BPW: основная часть весов использует NVFP4, а чувствительные матрицы внимания, Gated DeltaNet, поздние FFN-слои, эмбеддинги и выходная голова хранятся с более высокой точностью Q5_K, Q6_K или Q8_0. В GGUF встроен обученный MTP-слой для ускорения генерации. Калибровка проводилась на данных агентских сессий, включавших код, инфраструктуру, вызовы инструментов и польско-английские диалоги, однако эти данные не распространяются. Сильные стороны модели — сочетание компактного размера, поддержки длинного контекста, мультимодальности и высокой скорости на совместимом оборудовании. В описанных тестах она достигала 50,441 токена в секунду в производственной серии и обрабатывала заполненный контекст объёмом 261 500 входных токенов без усечения и нехватки памяти. Результаты зависят от GPU, версии llama.cpp и используемых патчей; часть измерений получена на локальной ветке runtime, не вошедшей на момент публикации в upstream. Модель не является дообученной версией, а представляет собой квантизацию базовой модели. Лицензия — Apache-2.0.

Dagger-Qwen3.6-27B-GGUF-MTP — модель от peculiar-ragdoll, основанная на ThinkingCap-Qwen3.6-27B от bottlecapai, который, в свою очередь, является вариантом Qwen3.6-27B. Это GGUF-сборка для запуска через llama.cpp и совместимые среды, ориентированная на рассуждения, агентное программирование, генерацию кода и длительные многошаговые диалоги. В карточке также заявлена поддержка сценариев image-text-to-text и тег vision, однако подробности мультимодальной реализации не указаны. Модель имеет плотную архитектуру размером 27B параметров, заявленный нативный контекст — 262 144 токена, поддерживаемые языки — английский и китайский. Отличительная особенность этой версии — сохранённая MTP-голова nextn для speculative decoding: при поддержке со стороны runtime она может ускорять генерацию без изменения точности. Для vLLM и SGLang заявлено ускорение примерно в 1,5–2 раза, тогда как в llama.cpp требуются свежая сборка и специальный режим; актуальные релизные версии могут не поддерживать MTP. Сильные стороны модели — компактные ответы без лишнего текста, высокая эффективность рассуждений, способность сохранять связность в длинных агентных сессиях и эффективное использование контекстного окна. Главные ограничения — высокие требования к оперативной памяти из-за плотной архитектуры и дорогого KV-кэша; полный контекст 262 144 токена требует около 31,1 ГБ при 8-битном KV-кэше или 38,6 ГБ при 16-битном. Реальное ускорение MTP зависит от среды запуска. Лицензия — Apache-2.0.

Granite-20B-Code-Base-r1.1 — базовая авторегрессионная модель для генерации кода, разработанная IBM Research. Это плотная decoder-only архитектура GPTBigCode с 20 млрд параметров и контекстом 8192 токена. Модель обучена с нуля в два этапа: на 3 трлн токенов кода из 116 языков программирования, затем на 1 трлн токенов из смеси кода и естественного языка. Версия r1.1 расширяет второй этап обучения по сравнению с Granite-20B-Code-Base. Модель предназначена для генерации, объяснения и исправления кода, а также для написания модульных тестов и документации, анализа уязвимостей, устранения технического долга и перевода кода. Она принимает текстовые запросы и генерирует текст с кодом; карточка указывает обучение на данных из 116 языков программирования, но конкретные языки естественного языка не перечисляет. Модель распространяется по лицензии Apache 2.0. Модель не проходила выравнивание безопасности. Сгенерированный код может быть ошибочным или небезопасным; также сохраняется риск воспроизведения фрагментов обучающих данных. Результаты следует проверять перед применением, особенно в критически важных сценариях.

NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 — опубликованная NVIDIA полноточная версия разговорной языковой модели, представленная на Hugging Face в виде GGUF BF16. Она предназначена прежде всего для разработчиков, которым нужны исходные веса для дообучения, адаптации к предметной области, исследований и подготовки собственных квантованных вариантов. Модель использует гибридную архитектуру Mixture-of-Experts с чередующимися слоями Mamba-2 и MoE, отдельными слоями Attention и механизмом Multi-Token Prediction; всего в ней 30 млрд параметров, из которых активно используются 3 млрд. Модель подходит для диалога, рассуждений, следования инструкциям, задач с кодом и работы в агентных системах. Контекст достигает 1 млн токенов на подходящем оборудовании; на одной H100 в README приведена проверка до 256 тыс. токенов из-за ограничений памяти. Основные языки — английский и языки программирования; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. README указывает, что модель готова к коммерческому применению, однако метаданные Hugging Face обозначают лицензию как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

BCCard/Qwen2.5-Coder-32B-Instruct-FP8-Dynamic — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная BC Card. Это текстовая causal language model для генерации, анализа и исправления программного кода, решения задач по программированию, code reasoning и создания code agents. Модель также сохраняет способности к математике и общим текстовым задачам. Входом и выходом служит текст; заявленный язык — английский. Модель использует FP8-квантизацию весов и активаций и предназначена для эффективного инференса, в частности с vLLM версии 0.5.2 и новее. Для исходной серии Qwen2.5-Coder заявлена архитектура на базе transformers с RoPE, SwiGLU, RMSNorm и GQA; для версии 32B README указывает до 128K токенов контекста, однако конфигурация этого репозитория описана как рассчитанная на 32 768 токенов, а расширение до больших контекстов требует YaRN и может снижать производительность на коротких запросах. В документации README также встречаются противоречивые сведения о размере и архитектуре, поэтому точные параметры данной сборки следует проверять по её конфигурации. Сильными сторонами модели являются специализация на коде, поддержка генерации, рассуждений и исправления программ, а также снижение требований к памяти благодаря FP8. Ограничениями выступают зависимость производительности от совместимого оборудования и конфигурации инференса, возможное ухудшение эффективности при статическом масштабировании длинного контекста и неполная согласованность описания параметров в README. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-Coder-7B-GGUF — квантизированная версия языковой модели Qwen2.5-Coder-7B, созданная QuantFactory с использованием llama.cpp на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации, анализа и исправления программного кода, задач code reasoning, заполнения кода и построения приложений, включая code agents. Она также сохраняет возможности для математики и общих текстовых задач, однако базовая, не дообученная версия не рекомендуется для диалогового использования. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding-слоя, имеет 28 слоёв и групповое разделение запросов и ключей/значений: 28 голов Q и 4 головы KV. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется настройка YaRN, при этом статическое масштабирование может снижать качество на коротких текстах. В README указан английский язык и текстовая модальность. К сильным сторонам относятся специализация на программировании, улучшения генерации, рассуждения и исправления кода, а также возможность работы с длинным контекстом. Ограничения включают необходимость корректной настройки YaRN для очень длинных входов, потенциальное влияние этой настройки на короткие тексты и отсутствие рекомендаций использовать базовую модель для обычных разговоров. Модель распространяется по лицензии Apache-2.0.