II.11Кибербезопасность и приватность

unsloth/gpt-oss-20b-unsloth-bnb-4bit — 4-битная квантованная версия open-weight языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной Unsloth. Модель предназначена для генерации текста, задач рассуждения, локального и специализированного использования, а также агентских сценариев разработчиков, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 21 млрд параметров, из которых активно используется 3,6 млрд. Вариант распространяется в формате 4-bit BnB; исходная модель использует нативную MXFP4-квантизацию для MoE-слоёв и рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемая интенсивность рассуждений — низкая, средняя и высокая. Модель обучена для работы с форматом ответов harmony, который необходимо применять корректно. Данные о языках и размере контекста в карточке не указаны. К сильным сторонам относятся сниженные требования к памяти, меньшая задержка по сравнению с gpt-oss-120b, возможность тонкой настройки и широкий набор агентских возможностей. Ограничения включают необходимость использования harmony-формата и то, что цепочка рассуждений, доступная модели, не предназначена для показа конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и модификацию.

batiai/Qwen3.6-27B-GGUF — это квантизированная GGUF-версия плотной мультимодальной модели Qwen3.6-27B, разработанной Alibaba и подготовленной BatiAI для локального запуска, прежде всего на компьютерах Mac с Apple Silicon. Модель распространяется через llama.cpp и Ollama и ориентирована на автономные сценарии, не требующие отправки данных во внешние облачные сервисы. Модель предназначена для генерации текста, программирования, репозиторного и агентного кодинга, многошагового рассуждения и работы с инструментами. Заявлены поддержка tool calling, thinking mode, нативного контекста до 262 000 токенов и расширения до 1 010 000 токенов с помощью YaRN. Доступны языки английский, корейский, японский и китайский. Варианты с vision projector поддерживают обработку изображений в мультимодальном режиме. Преимущество модели — сочетание 27 млрд параметров, плотной архитектуры и нескольких уровней квантизации с imatrix-калибровкой, что позволяет выбрать баланс качества, скорости и требований к памяти: от вариантов для систем с 16 ГБ RAM до почти потерьной Q6_K для конфигураций от 32 ГБ. Плотная архитектура заявлена как особенно подходящая для сложных длинных цепочек агентного кодинга, однако она обычно медленнее MoE-моделей с меньшим числом активных параметров. Для режима thinking ответы могут содержать блок рассуждений, а для получения чистого JSON при вызове инструментов требуется отключить размышление. Модель распространяется по лицензии Apache 2.0. Приведённые в README сравнительные заявления основаны преимущественно на позиционировании upstream; конкретные итоговые значения ряда бенчмарков для этой версии не указаны, поэтому их следует интерпретировать с осторожностью.

unsloth/Qwen3-Coder-REAP-363B-A35B-GGUF — сжатая версия Qwen3-Coder-480B-A35B-Instruct, разработанная с применением метода REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации кода, агентного программирования, понимания репозиториев, математического и творческого текста, а также вызова функций и инструментов. Разработчики заявляют сохранение характеристик исходной модели при снижении требований к памяти примерно на 25%, что делает её пригодной для ресурсоограниченных сред, локального развёртывания и исследовательских задач. Это разреженная causal language model архитектуры Mixture-of-Experts: 363 млрд параметров всего, около 35 млрд активируются на токен; используется 120 экспертов, из которых 8 выбираются для каждого токена, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 млн с YaRN. В README указана FP8-квантизация для описанного варианта, совместимость с vLLM и лицензия Apache 2.0. Ограничением является крайне большой общий размер модели и высокие требования к оборудованию; результаты оценки для BF16-варианта на момент публикации не представлены.

GLM-4.5-Air-AWQ-FP16Mix — квантизированная версия модели GLM-4.5-Air, разработанной командой Z.ai и опубликованной QuantTrio. Модель предназначена для генерации текста, сложного рассуждения, кодирования, использования инструментов и агентских сценариев. Она поддерживает гибридные режимы: thinking mode для многошагового рассуждения и работы с инструментами и non-thinking mode для быстрых ответов. Модель построена на архитектуре MoE и содержит 106 млрд параметров, из которых 12 млрд активируются при обработке запроса. Данная версия использует смешанную квантизацию AWQ и FP16Mix, занимает около 69 ГБ и рассчитана на запуск через vLLM. В README приведена конфигурация с контекстом до 32 768 токенов и использованием экспертного параллелизма на нескольких GPU. Языки и мультимодальные возможности явно не указаны; по описанию это текстовая модель. Сильными сторонами являются сочетание рассуждения, генерации кода и агентских возможностей при меньшем числе активных параметров, чем у полной GLM-4.5, а также экономия памяти благодаря квантизации. Ограничения связаны с требованиями к инфраструктуре: для корректной загрузки необходимо включить expert parallelism, использовать vLLM версии 0.10.0 и применить временный патч для поддержки смешанной квантизации MoE. В README указана лицензия MIT для моделей GLM-4.5 и GLM-4.5-Air, допускающая коммерческое использование и вторичную разработку.

unsloth/Kimi-K3-GGUF — GGUF-версия открытой мультимодальной агентной модели Kimi K3, разработанной Moonshot AI и подготовленной Unsloth. Модель предназначена для длительных задач программирования, работы с большими репозиториями, использования терминальных инструментов, глубокого исследования, автоматизации знаний и мультимодальных сценариев, включая работу с визуальными материалами, интерактивными интерфейсами, CAD и видеомонтажом. Модель построена на архитектуре Mixture-of-Experts с общим числом параметров 2,8 трлн и примерно 104 млрд активируемых параметров. Она использует Kimi Delta Attention (KDA), Attention Residuals и Stable LatentMoE: из 896 экспертов для каждого токена выбираются 16. Архитектура включает 93 слоя, в том числе 69 KDA- и 24 Gated MLA-слоя, а также один плотный слой. Kimi K3 поддерживает нативную работу с текстом, изображениями и видео и имеет контекстное окно до 1 млн токенов. К сильным сторонам относятся большой контекст, нативная мультимодальность, высокая масштабируемость MoE и ориентация на автономные многоэтапные задачи с минимальным контролем человека. Для запуска GGUF-версии требуется совместимый llama.cpp fork Unsloth или Unsloth Studio; доступны варианты квантования, при этом Q8 обозначен как вариант без потерь точности относительно полной точности и существенно больше Q4. Языки модели в README не указаны. Веса распространяются по лицензии Kimi K3 License; точные условия следует проверять в тексте этой лицензии.

Карточка модели ahmed-amedo/MiMo-V2.6-Flash-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Flash, поэтому описание составлено по ней. MiMo-V2.6-Flash-RL — мультимодальная модель генерации текста Xiaomi из серии MiMo-V2.6, обученная с подкреплением для агентных сценариев и самоулучшения. Карточка описывает семейство как разреженную MoE-архитектуру с обработкой текста, изображений, видео и аудио и контекстом до 1 млн токенов; указаны визуальный и аудиокодировщики, а также спекулятивный декодер. Метаданные репозитория, однако, описывают загруженную модель как плотную 12-миллиардную MiMoV2ForCausalLM в формате safetensors FP8, а pipeline_tag задаёт генерацию текста. Модель предназначена для диалогов, работы с инструментами, программирования и продолжительных агентных задач, а мультимодальные возможности семейства рассчитаны на понимание изображений, видео и аудио. В отчёте Xiaomi описаны обучение смешанным RL на задачах кодирования, общих агентов, визуального анализа и кибербезопасности, а также методы оценки траекторий и дистилляции. По карточке указана лицензия MIT. Поскольку сведения о размере и архитектуре в README относятся к серии, а метаданные конкретного репозитория расходятся с ними, характеристики репозитория следует считать более конкретными для загруженного чекпойнта.

Qwen2.5-Coder-14B-Instruct-MLX-8bit — 8-битная MLX-квантизация модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель распространяется в рамках программы Community Models LM Studio, но LM Studio не является её создателем или владельцем. Модель предназначена для генерации и обработки текста и программного кода, прежде всего для сценариев с code agents. Она обучалась на объёме до 5,5 триллиона токенов, включая исходный код, текстово-кодовые связи и синтетические данные. Заявлена поддержка длинного контекста до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. Указан английский язык; README также отмечает совместимость с компьютерами Mac на Apple Silicon. Ключевые сильные стороны модели — специализация на задачах программирования, поддержка длинного контекста и локальный запуск через MLX на совместимых устройствах. Ограничения включают зависимость от Apple Silicon для заявленной совместимости, а также возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей; конкретные результаты зависят от сценария использования. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-MLX-4bit — 4-битная MLX-квантизация модели Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель распространяется в рамках сообщества LM Studio и предназначена для работы на Mac с Apple Silicon. Модель ориентирована на генерацию и обработку кода, чат-взаимодействие и сценарии с code agents. Она обучалась на объёме до 5,5 триллиона токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Поддерживается длинный контекст до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. В метаданных указан английский язык. Формат MLX 4-bit снижает требования к памяти по сравнению с полноразмерной версией, однако квантизация может влиять на качество и точность результатов; модель также способна генерировать неточный, вредный или неподходящий контент. Лицензия — Apache-2.0.

stelterlab/Qwen3-Coder-30B-A3B-Instruct-AWQ — экспериментальная AWQ-квантизованная версия Qwen3-Coder-30B-A3B-Instruct, разработанная stelterlab на основе оригинальных весов Qwen AI. Квантизация выполнена в формате INT4 GEMM с использованием llm-compressor от vLLM Project. Модель предназначена для генерации и анализа кода, агентного программирования, работы с браузером и задач, требующих понимания репозиториев и вызова инструментов. Это каузальная языковая MoE-модель с 30,5 млрд параметров, из которых активируются 3,3 млрд. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов на запрос; используется GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может расширяться до 1 млн токенов. Модель поддерживает только режим без рассуждений и не генерирует блоки <think></think>; заявлены возможности function calling и интеграция с инструментами для агентного программирования. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся сочетание большого общего объёма параметров с малым числом активируемых параметров, длинный контекст, ориентация на код и поддержка инструментов. Ограничения связаны с экспериментальным статусом данной квантизованной сборки и возможными требованиями к памяти и вычислительным ресурсам при работе с длинным контекстом; при нехватке памяти рекомендуется уменьшать контекст. Модель распространяется по лицензии Apache-2.0.

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-вариант языковой модели NVIDIA Nemotron 3.5 Lightning, разработанной NVIDIA Corporation. Модель предназначена для генерации текста и кода, создания специализированных AI-агентов, а также для постобучения, адаптации под предметные области, дистилляции и подготовки собственных квантованных вариантов. README указывает, что исходная модель является полноточной версией BF16, а данный репозиторий предоставляет вариант GGUF. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Всего предусмотрено 30 млрд параметров, из которых активно используется 3 млрд. Контекст может достигать 1 млн токенов; для развёртывания на одной H100 рекомендуется 256 тыс. токенов. Поддерживаются английский и языки программирования, испанский, французский, немецкий, итальянский и японский. Режим рассуждений можно включать или отключать через параметр chat template. К сильным сторонам относятся высокая вычислительная эффективность благодаря MoE-подходу, большой контекст, поддержка нескольких языков и возможность настройки под конкретные задачи. Ограничения и практические требования зависят от конкретной GGUF-квантизации и аппаратной конфигурации; README не приводит сведения о размере файлов, уровнях квантизации или точных требованиях к запуску именно этого варианта. Модель распространяется по лицензии OpenMDW-1.1, которая, согласно README, допускает коммерческое использование.

RedHatAI/Qwen3.6-35B-A3B-FP8 — открытая FP8-квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Red Hat AI. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, рассуждений, программирования, агентных сценариев и вызова инструментов. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входы, однако конкретный набор языков в README не указан. Сильными сторонами модели заявлены агентное программирование, работа с frontend-задачами, рассуждение на уровне репозитория, сохранение контекста рассуждений и вызов инструментов. Квантование выполнено в формате fine-grained FP8 с размером блока 128; заявлена производительность, близкая к исходной модели. Вариант может быть предпочтителен на оборудовании, где вычислительные ресурсы превышают пропускную способность памяти. Для работы с vLLM требуются параметры reasoning-parser qwen3 и включение prefix caching; совместимость также заявлена с Transformers, SGLang и KTransformers. README не приводит подробных ограничений, полного набора языков или характеристик работы с изображениями. Модель распространяется по лицензии Apache-2.0. Артефакты проверены с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

IntervitensInc/DeepSeek-V3.1-Terminus-Channel-int8 — производная версия DeepSeek-V3.1-Base, представленная как разговорная модель для генерации текста. Карточка описывает обновление DeepSeek-V3.1-Terminus, направленное на уменьшение смешения китайского и английского текста и аномальных символов, а также на улучшение Code Agent и Search Agent. Модель поддерживает чат и интерфейс вызова инструментов. По метаданным модель построена на архитектуре DeepseekV3ForCausalLM, содержит 37,6 млрд параметров, имеет контекстное окно до 163 840 токенов и распространяется в формате safetensors; заявлена библиотека Transformers. Подходит для диалогов, рассуждений, задач с кодом и поиска с использованием инструментов. README указывает, что структура модели совпадает с DeepSeek-V3, и отсылает к репозиторию DeepSeek-V3 для инструкций по локальному запуску. Лицензия — MIT. Карточка не приводит отдельных оценок качества именно этой копии и не раскрывает деталей, связанных с суффиксами Channel-int8; метаданные указывают формат safetensors и тег 8-bit.

DeepSeek-V3.2 — языковая модель, разработанная DeepSeek AI и представленная как дообученная версия DeepSeek-V3.2-Exp-Base. Модель ориентирована на эффективное рассуждение, работу с агентными сценариями и взаимодействие с инструментами, включая режим «thinking with tools». Она распространяется через Transformers и использует обновлённый формат чата с поддержкой вызова инструментов и рассуждений. Ключевой особенностью модели является механизм DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при сохранении качества, особенно в задачах с длинным контекстом. Для обучения применялись масштабируемое reinforcement learning и pipeline синтеза данных для агентных задач. README заявляет высокие результаты в математических и программных соревнованиях, однако точные размер модели, длина контекста, поддерживаемые языки и набор модальностей не указаны. Для интеграции требуется учитывать, что релиз не содержит Jinja-шаблон chat template: разработчикам предлагается использовать скрипты из каталога encoding для кодирования сообщений в OpenAI-совместимом формате и разбора ответов. Указанная функция разбора рассчитана на корректно сформированные строки и не исправляет ошибки формата. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-dwarfstar-q2-gguf — это 2-битная квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Сборка создана сообществом Rednalreden с использованием инструментов DwarfStar (ds4) и предназначена для запуска на машинах с 96 или 128 ГБ оперативной памяти, где 4-битная версия не помещается. Модель относится к задачам генерации текста и может применяться для написания кода, работы с длинным контекстом, агентских сценариев, вызовов инструментов, анализа исходного кода и подготовки связного текста. Модель использует архитектуру MoE с 43 слоями, 256 маршрутизируемыми экспертами, из которых для каждого запроса выбираются 6, а также одним общим экспертом. Файл GGUF занимает около 80,8 GiB, резидентная модель — около 80,76 GiB; при контексте 32 768 токенов требуется примерно 0,86 GiB дополнительной памяти. Маршрутизируемые эксперты квантизированы в 2 бита с использованием importance matrix, тогда как attention-проекции, общие эксперты и выходной слой используют Q8_0, а отдельные компоненты — F16. Заявлена поддержка контекста до 100 000 токенов при использовании ds4-server. Importance matrix улучшила среднюю оценку по отрицательной логарифмической правдоподобности на 1,42% относительно аналогичной Q2-сборки без importance matrix. Основное преимущество — существенная экономия памяти при сохранении большей части качества; ограничение — заметная потеря качества по сравнению с 4-битными или смешанными q2/q4-сборками. Модель требует runtime DwarfStar (ds4) и несовместима с llama.cpp. Лицензия — MIT, унаследованная от базовой модели.

MiniMax-M1-80k-hf — открытая модель весов от MiniMax для генерации текста и пошагового рассуждения. Это вариант MiniMax-M1 с бюджетом рассуждения до 80K токенов; репозиторий предназначен прежде всего для Transformers. Архитектура сочетает Mixture-of-Experts и гибридное внимание с механизмом lightning attention. В карточке указано 21,6 млрд параметров, а заявленный нативный контекст составляет 10 240 000 токенов; README описывает семейство M1 как модель с контекстом до 1 млн токенов и обучением с подкреплением на математических задачах, программировании и задачах с инструментами. Модель рассчитана на сложные задачи с длинными входами и развёрнутым рассуждением: решение математических задач, программную инженерию, генерацию и анализ кода, ответы на вопросы по большому контексту и сценарии с вызовом функций. README отмечает результаты на бенчмарках математики, кодирования, агентного использования инструментов и длинного контекста. Модель принимает текст и генерирует текст; интерфейс вызова инструментов поддерживается в структурированном формате. Лицензия — Apache-2.0. Веса в репозитории представлены в формате safetensors. Указанное в метаданных значение контекста расходится с описанием семейства в README, поэтому фактический предел может зависеть от конкретной конфигурации и программного окружения. Заявленные оценки получены на отдельных бенчмарках и не гарантируют качество на произвольных задачах.

NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметной области, исследований и подготовки производных вариантов для развёртывания. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно используются около 3 млрд, а также предусмотрены слои Multi-Token Prediction. В метаданных указано 1,9 млрд параметров и контекст 262 144 токена; README сообщает о поддержке контекста до 1 млн токенов. Модель подходит для создания чат-ботов и агентных систем, генерации и анализа кода, решения задач на рассуждение, работы с длинными текстами и использования интерфейса вызова инструментов. Основной язык — английский; также заявлена поддержка испанского, французского, немецкого, итальянского и японского. README описывает модель как пригодную для коммерческого использования, но метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория. Для оптимизированного инференса автор рекомендует отдельный NVFP4-выпуск.

duyntnet/Qwen2.5-Coder-7B-Instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно настроенной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen от Alibaba Cloud. Репозиторий предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui и Ollama; конкретный вариант квантизации в README не уточняется. Модель ориентирована на генерацию, анализ, исправление и рассуждения о программном коде, а также на создание code agents. Она сохраняет возможности для математических и общих задач. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Указано 7,61 млрд параметров, 28 слоёв и GQA с 28 головами для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, однако для входов длиннее 32 768 токенов требуется включение YaRN и соответствующая настройка конфигурации. Важные преимущества — специализация на коде, улучшенные генерация, рассуждение и исправление программ, а также возможность локального запуска в оптимизированном GGUF-формате. Ограничения включают зависимость качества и требований к ресурсам от выбранной квантизации и программного окружения; точные параметры квантования не приведены. В метаданных указаны английский язык и лицензия other, без дополнительных условий использования.

Smoffyy/Qwen3.6-27B-Instruct-Revised-GGUF — производная от Qwen3.6-27B, разработанного командой Qwen, и конвертация в формат GGUF, выполненная Smoffyy с использованием llama.cpp. Модель предназначена для диалоговых задач, программирования, агентских сценариев, работы с репозиториями и frontend-разработки. Она также поддерживает обработку изображений при использовании файла mmproj-f16.gguf. В основе лежит каузальная языковая модель с vision-энкодером на 27 млрд параметров, 64 слоями и нативным контекстом до 262 144 токенов; заявлена возможность расширения контекста до 1 010 000 токенов. Доступны различные уровни квантования GGUF. Вариант Revised сохраняет возможности исходной модели, но содержит исправленный и улучшенный шаблон чата с поддержкой роли developer, управлением режимом reasoning и другими исправлениями. По умолчанию используется режим без рассуждений; включение и отключение reasoning задаётся через системный промпт. Для запуска рекомендуется выбирать q5_k_m и выше при наличии от 48 ГБ VRAM, q4_k_m как сбалансированный вариант при наличии от 24 ГБ, а q3_k_m для систем с 8–12 ГБ. Ограничения зависят от выбранного уровня квантования и доступной памяти; для мультимодальной работы требуется дополнительный mmproj-файл. Модель и производные распространяются по лицензии Apache 2.0.

Это GGUF-квантизация модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем pearsonkyle. Модель предназначена для локального запуска через llama.cpp, Ollama или LM Studio; поддерживает генерацию текста, агентские сценарии, программирование, tool use и function calling. Указана совместимость с задачами разработки и SWE-bench. Модель имеет гибридную архитектуру с linear attention и hybrid attention, поддерживает текст и изображения через дополнительный vision-проектор mmproj размером 629 МБ. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_M с размером файлов примерно от 9,7 до 18,3 GiB и точностью от 3,06 до 5,76 бит на параметр. Квантизация выполнена с использованием importance matrix на контексте 32 768 токенов. В каждый вариант встроена MTP-голова в формате Q8_0 для speculative decoding без отдельного файла. Рекомендуемым вариантом заявлен IQ4_XS, а Q5_K_M описан как наиболее близкий к FP16. К сильным сторонам относятся сниженные требования к памяти, поддержка длинного контекста, мультимодальность и встроенная MTP-голова. Ограничения связаны с потерями качества, неизбежными при низкобитной квантизации, а также с тем, что для обработки изображений требуется отдельный mmproj-файл. Лицензия — Apache-2.0; заявленный язык — английский.

Tess-4-27B-GGUF — набор GGUF-квантизаций модели Tess-4-27B, разработанной Migel Tissera и построенной на базе Qwen/Qwen3.6-27B от команды Qwen. Это агентная модель с поддержкой рассуждений, которая адаптирует глубину рассуждения к сложности задачи. Модель предназначена для диалогов, программирования, рефакторинга кода, структурированного вывода, решения сложных задач и создания локальных AI-агентов. Модель имеет размер 27B параметров и поставляется в вариантах Q4_K_M, Q6_K и Q8_0 с размерами примерно от 16,5 до 28 ГБ. Основной формат — GGUF, ориентированный на локальный запуск через llama.cpp, LM Studio и Ollama. Для обработки изображений предусмотрен отдельный vision projector mmproj, что добавляет мультимодальный режим с поддержкой входных изображений. Также доступны MTP-головы для speculative decoding: они могут ускорять генерацию примерно в 1,5–2 раза на подходящих задачах без изменения результата. Используется шаблон чата семейства Qwen3.5 с выделенным блоком рассуждений, однако поддерживаемые языки и размер контекстного окна в карточке не указаны. Сильные стороны модели — агентный характер, масштабирование рассуждений по сложности, поддержка кода и структурированного вывода, локальная работа и мультимодальный режим при подключении projector. Ограничения связаны с высокими требованиями к оперативной памяти или VRAM, потерями точности при использовании более агрессивной квантизации и необходимостью современного runtime llama.cpp для распознавания архитектуры qwen35. Для запуска требуется выбрать подходящий вариант квантизации, а для изображений и ускорения — установить дополнительные файлы. Модель распространяется по лицензии Apache 2.0.

Cogito v2 Preview 70B — диалоговая языковая модель с настройкой по инструкциям, разработанная командой DeepCogito на основе Meta Llama 3.1 70B. Это плотная авторегрессионная модель примерно на 69,5 млрд параметров для генерации текста; она работает в стандартном режиме или может включать расширенное рассуждение и самоанализ. Для включения режима рассуждения в Transformers предусмотрен параметр enable_thinking в шаблоне чата либо специальная системная инструкция. Модель предназначена для программирования, задач STEM, следования инструкциям и общих диалогов. В README заявлена поддержка инструментов, параллельных вызовов инструментов и более чем 30 языков. Контекст составляет до 128 тысяч токенов по README и 131 072 токена по метаданным. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия Llama 3.1 разрешает коммерческое использование на условиях лицензии Meta.

DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit — это 4-битная динамически квантизированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе модели DeepSeek-R1 от DeepSeek AI. Модель относится к семейству больших языковых моделей на архитектуре Llama и предназначена для работы через библиотеку Transformers. Модель ориентирована на задачи рассуждения, включая решение математических задач, генерацию и анализ кода, а также другие сценарии, требующие пошагового вывода. Указан английский язык. Размер базовой модели составляет 8B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. Ключевое преимущество версии — динамическое 4-битное квантование Unsloth, при котором отдельные параметры выборочно не квантуются для сохранения более высокой точности по сравнению со стандартным 4-битным квантованием. Это снижает требования к памяти и упрощает локальный запуск, однако квантизация может влиять на качество по сравнению с полноразмерной версией. Сведения о точных ограничениях, показателях производительности и рекомендуемых аппаратных требованиях не приведены. Модель распространяется по лицензии Llama 3.1.

GLM-4.7-REAP-218B-A32B-GGUF — GGUF-версия разреженной языковой модели GLM-4.7, подготовленная Unsloth. Модель с архитектурой Sparse Mixture-of-Experts (SMoE) создана методом REAP (Router-weighted Expert Activation Pruning), который удаляет избыточные эксперты, сохраняя независимое управление маршрутизатора оставшимися экспертами. Модель содержит 218 млрд параметров, из которых 32 млрд активируются для каждого токена, включает 92 слоя, 96 экспертов с активацией 8 экспертов на токен, использует GQA с 96 Q- и 8 KV-головами и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации текста и кода, агентских рабочих процессов, понимания репозиториев, многошаговых сценариев и function calling. Заявлена близкая к исходной GLM-4.7 производительность при сокращении размера примерно на 40% по сравнению с полной моделью на 355 млрд параметров. Это делает её привлекательной для локального развертывания, сред с ограниченными ресурсами и исследовательских задач. Поддерживаются текстовые сценарии; заявленный язык в карточке — английский. К сильным сторонам относятся сохранение возможностей генерации кода, агентного программирования и вызова функций, отсутствие необходимости в дополнительном дообучении после pruning, а также совместимость с llama.cpp при использовании параметра --jinja. Для запуска требуется значительный объём памяти из-за общего размера модели; конкретные характеристики квантования GGUF, результаты оценки именно этой версии и требования к оборудованию в карточке не указаны. Модель распространяется по лицензии MIT.

HyperNova 60B 2602 — языковая модель, разработанная Multiverse Computing на основе open-weight модели OpenAI gpt-oss-120b. Она сжата с помощью проприетарной технологии CompactifAI, которая уменьшает количество параметров и требования к памяти при сохранении заявленных возможностей рассуждения. Модель instruction-tuned и предназначена для эффективного развёртывания через библиотеку Transformers. Модель рассчитана на рассуждение, генерацию кода, приложения с RAG, агентские сценарии и задачи с использованием инструментов. Она поддерживает нативный вызов функций, OpenAI-совместимые схемы инструментов, структурированные ответы и настраиваемый уровень рассуждения. Архитектура — decoder-only Transformer; общий объём составляет 60 млрд параметров против 117 млрд у базовой модели. Основной язык — английский, другие языки формально не оценивались. Мультимодальность и размер контекста в README не указаны. К сильным сторонам относятся уменьшенный объём памяти, гибкость развёртывания, поддержка tool calling и агентских рабочих процессов. Ограничения включают отсутствие формальной оценки других языков и неполные сведения о контекстном окне, а также необходимость использовать trust_remote_code при загрузке. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Qwopus3.8-27B-Flash — дообученная модель, опубликованная Jackrong на базе Qwen3.8-27B. Она предназначена для практических агентских сценариев, в которых модель многократно взаимодействует с инструментами: анализирует данные, генерирует и редактирует код, вызывает функции, наблюдает результаты и выполняет итеративные задачи. Модель ориентирована на снижение задержки, вычислительных затрат и склонности к избыточно длинным рассуждениям при сохранении широких общих возможностей. Модель имеет размер 27B параметров и распространяется в формате GGUF для локального запуска, в том числе через llama.cpp. Заявлена поддержка текстово-визуальных задач и обработки изображений, а также генерации текста, рассуждений, программного кода, tool use и function calling. В метаданных указаны английский, китайский, испанский, русский и японский языки. Контекстное окно и точные архитектурные характеристики не указаны. Обучение включало качественную выборку данных supervised fine-tuning и усиление рассуждений с использованием NVIDIA NeMo-RL и GSPO. К сильным сторонам относятся более быстрая генерация, заявленные 80,7% принятия токенов MTP, снижение неэффективных рассуждений и пригодность для длительных агентских цепочек. При этом README указывает на компромисс в качестве: результат на смешанном наборе MMLU-Pro ниже, чем у базовой модели. Известно ограничение в виде возможных ошибок отступов в Python в отдельных задачах программирования. Модель распространяется по лицензии Apache-2.0.

Virtuoso-Small-v2 — языковая модель на 14 млрд параметров от Arcee AI, основанная на архитектуре Qwen2.5-14B. Модель дообучена с дистилляцией логитов DeepSeek-V3 на большом текстовом корпусе, затем дополнительно выровнена с помощью DPO. Для совместимости при переносе знаний применялась обработка токенизатора; итоговая модель использует токенизатор Qwen. Метаданные указывают контекст до 131 072 токенов и формат Safetensors. Модель предназначена для диалоговой генерации текста, ответов на технические и научные вопросы, решения математических задач и генерации кода. В карточке также заявлен интерфейс вызова инструментов. README описывает дистилляцию знаний DeepSeek-V3 и улучшение следования инструкциям, однако количественные сравнительные оценки не приведены. Модель распространяется по лицензии Apache-2.0. Среди ограничений указаны возможные пробелы в знаниях о событиях после июня 2024 года и риск генерации вредного или предвзятого текста; заявленная длина контекста в README округлена до 128k токенов.

Dolphin3.0-R1-Mistral-24B-GGUF — это квантизированная версия языковой модели Dolphin3.0-R1-Mistral-24B, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста на английском языке и запуска локально через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на архитектуре Mistral и содержит 24 миллиарда параметров. Она обучалась на смесях данных для инструкционного следования, рассуждений, математики, программирования, function calling и агентных сценариев, включая наборы Dolphin, OpenCoder, Orca, Hermes, NuminaMath, Tulu и CodeFeedback. Доступны варианты квантизации от Q4 до Q8 и полноточный вариант f32; размер файлов варьируется примерно от 13,5 до 94,3 ГБ. Квантизация уменьшает требования к памяти, сохраняя приемлемое качество, однако более компактные варианты могут уступать исходной модели по точности. Сильными сторонами являются поддержка локального запуска, широкий выбор уровней квантизации и ориентация на рассуждения, математические задачи, код и выполнение инструкций. README не содержит данных о длине контекста, мультимодальности, подробных результатах оценки, системных требованиях или лицензии, поэтому эти характеристики нельзя достоверно определить.

DeepSeek-V4-Flash-0731 — официальная версия модели DeepSeek-V4-Flash, разработанная DeepSeek AI. Она предназначена прежде всего для агентных сценариев, включая работу с инструментами, автоматизацию, разработку программного обеспечения, задачи Code Agent и full-stack разработку. По данным README, модель превосходит DeepSeek-V4-Pro (Preview) на приведённых тестах и сопоставима с сильнейшими проприетарными моделями по ряду агентных и программных задач. Модель имеет ту же структуру, что и DeepSeek-V4-Flash-DSpark, с подключённым модулем speculative decoding. Количество параметров, число активируемых параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Для работы используется библиотека Transformers, а запуск поддерживается через vLLM и SGLang. Предусмотрены уровни reasoning_effort low, high и max, регулирующие объём рассуждений перед ответом. К сильным сторонам относятся улучшенные агентные возможности, высокая результативность в задачах программирования, автоматизации и работы с инструментами, а также поддержка ускоренного speculative decoding через DSpark. Ограничения включают отсутствие Jinja-шаблона чата: для кодирования сообщений и разбора ответов требуется использовать предоставленные Python-скрипты из папки encoding. Для развёртывания необходима специализированная конфигурация инференса и совместимое оборудование; в README приведён пример запуска на узле с 4 GPU GB300. Модель распространяется по лицензии MIT.