II.7DevOps, облако и эксплуатация IT-систем

dealignai/GLM-5.3-UNCENSORED-FP8 — многоязычная текстовая генеративная модель, разработанная dealignai на основе JANGQ-AI/GLM-5.3-FP8 и upstream-модели zai-org/GLM-5.3. Это версия с уменьшенным поведением отказа от ответа, полученная прямым изменением весов без дообучения, LoRA, runtime-хуков или prompt-трюков. Модель предназначена для универсальной генерации текста, рассуждений, программирования, агентских и инструментальных сценариев, включая задачи, где требуется минимизация отказов по широкому спектру тематик. Модель использует архитектуру glm_moe_dsa с 753 млрд параметров, 78 слоями и текстовой модальностью. Применяется квантизация FP8; заявлена нативная производительность tensor cores на GPU Hopper, включая H100 и H200. Поддерживаются английский, китайский, русский, сербский, хинди, французский, испанский, арабский, корейский и японский языки. Для рассуждений доступны режимы low и high, однако отключить рассуждение на этом checkpoint нельзя; при больших значениях усилия рассуждения модель может исчерпать лимит токенов внутри блока размышлений и не выдать ответ. Сильными сторонами являются сохранение общей интеллектуальной способности относительно базовой модели, широкая многоязычность, снижение отказов и исправление обнаруженной в предыдущей версии проблемы циклического рассуждения. Ограничения включают чувствительность результата к настройкам reasoning_effort и max_tokens, практические ограничения длины контекста и неполную совместимость некоторых функций ускорения с vLLM. Модель распространяется по лицензии MIT.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

Карточка модели GorgiasML/gpt-oss-20b на Hugging Face совпадает с карточкой Sprinter-Spb/gpt-oss-20b, поэтому описание составлено по ней. Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

unsloth/Hermes-3-Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Hermes 3 на базе NousResearch/Hermes-3-Llama-3.1-8B, подготовленная и опубликованная Unsloth. Модель предназначена для диалоговых и общих языковых задач, включая многошаговое общение, следование системным инструкциям, рассуждения, ролевые сценарии, генерацию кода, вызов функций и формирование структурированного вывода. Модель относится к семейству Llama 3.1 и содержит 8 млрд параметров; используется библиотека Transformers и формат квантования bitsandbytes 4-bit. Она поддерживает английский язык. Для диалогов применяется шаблон ChatML с ролями system, user и assistant, что обеспечивает управляемость поведения и совместимость с подходом OpenAI API. Сведения о размере контекста и мультимодальных возможностях в README не указаны, поэтому модель следует считать текстовой. К сильным сторонам относятся сниженное потребление памяти благодаря 4-битному представлению, улучшенные возможности управления инструкциями, function calling, структурированный вывод, генерация кода и поддержание многоходового диалога. Ограничения включают возможные потери качества и точности из-за квантования, а также отсутствие подтверждённых характеристик производительности, контекстного окна и поддержки языков, кроме английского. Лицензия указана как llama3.1; условия её применения необходимо проверять по соответствующим лицензионным требованиям Llama 3.1.

Карточка модели genevaquant/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Карточка модели luganoquants/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

genevaquant/Hermes-4-70B-u — дообученная модель genevaquant на базе NousResearch/Hermes-4-70B, построенная на плотной архитектуре Llama 3.1 с 69,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая рассуждения, математику, программирование, задачи STEM и создание ответов в заданном формате; модель поддерживает контекст до 131 072 токенов. Модель использует формат чата Llama и поддерживает режим рассуждений, вызов инструментов и структурированный вывод, в том числе JSON по заданной схеме. В карточке указана лицензия Llama 3. Отдельных оценок качества именно этой версии genevaquant карточка не приводит; для работы требуются значительные вычислительные ресурсы, соответствующие модели на 70 млрд параметров.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

Kanana 1.5 8B Instruct — разговорная языковая модель компании Kakao, представленная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; доступны веса в формате SafeTensors, библиотека — Transformers. Модель обучена с уточнённой постобработкой и поддерживает интерфейс вызова инструментов. Модель рассчитана на сложные диалоговые задачи, включая программирование, математику и вызов функций. Нативная длина контекста — 32 768 токенов; с настройкой YaRN в конфигурации можно обрабатывать последовательности до 128 тыс. токенов. Карточка указывает английский и корейский языки. По заявлению разработчика, пользовательские данные Kakao не входили в данные предобучения и постобучения. Модель распространяется по лицензии Apache 2.0. Качество ответов может варьироваться в зависимости от задачи; контекст длиннее 32 768 токенов требует настройки YaRN.

Llama-3.1-Nemotron-Nano-4B-v1.1 — компактная плотная авторегрессионная языковая модель на архитектуре Llama, размещённая в репозитории Unsloth и основанная на NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1. Это дообученный чекпойнт примерно на 3,9 млрд параметров, созданный для диалога, следования инструкциям и рассуждений; в обучении использовались SFT и этапы обучения с подкреплением для математики, кода, работы с инструментами и предпочтений в чате. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для локального запуска на одном GPU и для создания чат-ботов, агентных систем и приложений RAG. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также задач с кодом. Карточка сообщает, что модель готова к коммерческому использованию, однако метаданные обозначают лицензию только как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные условия репозитория. В README приведены результаты на отдельных бенчмарках; они получены при контексте до 32 тыс. токенов и не гарантируют аналогичного качества в других сценариях.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

Карточка модели rohitsingh158/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Sakalti/oxyge1-33B — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Qwen/QwQ-32B-Preview, в слияние также включена Qwen/Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Модель подходит для диалоговых сценариев, генерации текста, программирования, математических задач и структурированных ответов — эти возможности описаны для базовой Qwen2.5-32B-Instruct. Максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

QuantFactory/Qwen3-4B-Thinking-2507-GGUF — квантизированная версия Qwen3-4B-Thinking-2507, созданная QuantFactory с использованием llama.cpp на основе модели Qwen. Это каузальная языковая модель для генерации текста, ориентированная на задачи, требующие рассуждений: логика, математика, естественные науки, программирование, академические задания, следование инструкциям, использование инструментов и взаимодействие с агентными системами. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура внимания использует GQA: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим рассуждений; используется автоматическое добавление маркера <think>, поэтому в выводе могут присутствовать специальные маркеры рассуждений. В README явно описана текстовая модальность; перечень поддерживаемых языков не указан. Сильными сторонами являются улучшенные возможности рассуждения, следования инструкциям, генерации текста, работы с инструментами и обработки длинного контекста. Модель рассчитана на сложные задачи и может генерировать длинные цепочки рассуждений, что следует учитывать при настройке лимита вывода и потреблении ресурсов. Ограничения включают работу только в thinking-режиме, отсутствие сведений о конкретном формате и уровне квантизации в карточке, а также отсутствие опубликованных требований к аппаратному обеспечению и подробных характеристик производительности именно этой GGUF-сборки. Указанная лицензия — Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — языковая модель для генерации текста и решения сложных аналитических задач, разработанная сообществом на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из Gemini 3.1, Qwen3.5-27B и корпуса Gemini 3.0 Pro. Модель ориентирована на структурированное пошаговое рассуждение, декомпозицию задач, планирование, абстрагирование и подготовку более связных ответов. Модель предназначена для многошагового анализа, математики и логики, программирования и системных задач, физики, инженерии, права, медицины, финансов, химии, а также сценариев, связанных с безопасностью и adversarial reasoning. Заявлены языки English, Chinese и Korean. Архитектура — плотная модель размером 9B параметров; поддерживается текстовая генерация. Размер контекстного окна в README не указан. Сильными сторонами являются компактный размер, структурированная организация рассуждений, улучшенное отслеживание ограничений и широкое междоменное покрытие. Ограничения включают возможное ухудшение обобщения или частичное забывание отдельных знаний базовой модели из-за дистилляции и специализированного дообучения, поэтому модель следует проверять на целевых задачах перед использованием в производстве. Лицензия — Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель подготовлена в формате GGUF пользователем bartowski на основе llama.cpp, релиз b5200, и предназначена для генерации текста и локального использования через совместимые инструменты, включая LM Studio. Модель ориентирована на творческое письмо, ролевые сценарии, многошаговые диалоги, следование инструкциям, математику, программирование, рассуждения и агентские задачи. Она поддерживает более 100 языков и диалектов, а также режимы с рассуждением и без него; режим рассуждения можно отключить, добавив в запрос параметр /no_think. Заявлена поддержка контекста до 131 072 токенов с использованием YaRN, при этом стандартное значение составляет 32 000 токенов. Ключевое ограничение — это квантизированная сборка, поэтому фактические требования к ресурсам и качество могут зависеть от выбранного варианта квантизации и используемого программного обеспечения. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия модели — Apache-2.0.

Smaug-Llama-3-70B-Instruct-32K — большая языковая модель Abacus.AI для диалогов и генерации текста, основанная на Meta Llama 3 70B Instruct. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 32 768 токенов. Версия 32K использует PoSE и перенос LoRA-адаптера; формат репозитория — safetensors, модель предназначена для работы с Transformers и сохраняет формат промптов Llama 3 70B Instruct. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и помощи с кодом. В README приведены результаты отдельных тестов, однако авторы отмечают, что на оценку Arena-Hard влияет многословность ответов; часть результатов бенчмарков отсутствует или помечена как предварительная. Модель распространяется по лицензии Llama 3 (llama3), условия которой следует учитывать при использовании и распространении.

TeleChat2-3B — плотная авторегрессионная языковая модель семейства TeleChat2, разработанная и обученная Институтом искусственного интеллекта China Telecom на отечественных вычислительных ресурсах. Версия 3B выпущена в ноябре 2024 года; в метаданных указано около 4 млрд параметров. Модель построена на архитектуре decoder-only с Rotary Embedding, SwiGLU и RMSNorm; заявленная длина контекста — 32 768 токенов. Модель предназначена для многоходового диалога, ответов на общие и предметные вопросы, суммаризации, длинных текстов, математики, рассуждений и генерации кода. Для этой версии заявлена поддержка вызова инструментов через Function Call. В README приведены результаты тестирования на китайских и англоязычных бенчмарках; основной языковой фокус — китайский и английский. Модель принимает текст и генерирует текст. Доступны веса в формате PyTorch, лицензия — Apache-2.0. Возможные ограничения включают ошибки и ненадёжные ответы, а также риски, связанные с использованием сгенерированного кода и вызовом инструментов; разработчики отдельно требуют соблюдать применимые нормы и не использовать модель для незаконной деятельности.

Arcee-Blitz — плотная языковая модель семейства Mistral с 23,4 млрд параметров, разработанная Arcee AI на базе Mistral-Small-24B-Instruct-2501. Модель дистиллировали на логитах DeepSeek-V3, затем дополнительно дообучили; она предназначена для диалогов и широкого круга задач генерации текста как практичная и эффективная рабочая модель. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В карточке приведены результаты сравнительных тестов на MixEval, GPQADiamond и BigCodeBench Complete, где Arcee-Blitz превосходит указанную версию Mistral-Small-3; эти результаты не гарантируют качество на других задачах. Репозиторий распространяется по лицензии Apache-2.0.

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

Calcium-Opus-14B-Elite2-R1 — плотная языковая модель семейства Qwen2, разработанная PrithivMLmods и дообученная на синтетических данных на основе DeepSeek R1 для усиления рассуждений. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации ответов, следования инструкциям и многошагового решения задач. Метаданные указывают контекст до 131 072 токенов; карточка заявляет поддержку до 128K токенов и генерацию ответов до 8K токенов. Модель рассчитана на логические и математические задачи, программирование, работу со структурированными данными, создание длинных текстов и многоязычные диалоги. Карточка заявляет поддержку более 29 языков, а метаданные явно отмечают английский. Лицензия — Apache 2.0. Для эффективного вывода нужны значительные вычислительные ресурсы; качество может различаться между языками, длинные ответы могут содержать несогласованности, а знания ограничены данными обучения и могут быть неактуальными.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

Gemma-4-26B-A4B-it-NVFP4 — community-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, опубликованная пользователем или организацией bg-digitalservices. Это мультимодальная модель для генерации текста, обработки изображений и видео, предназначенная для диалоговых приложений, следования инструкциям, рассуждений и работы с длинным контекстом. Модель использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых 3,8 млрд активны для каждого токена. В ней 128 экспертов, одновременно выбираются 8. Поддерживается контекст до 256K токенов и мультиязычный режим. Квантизация выполнена в формате W4A4: веса представлены в FP4, активации — в FP16. Размер модели на диске составляет около 16,5 ГБ вместо примерно 49 ГБ у версии BF16, что обеспечивает примерно двукратное ускорение генерации в протестированной конфигурации. Сильной стороной модели является существенное сокращение требований к памяти при сохранении около 97,6% среднего качества относительно BF16-версии в указанных тестах. Следование инструкциям почти не ухудшается, однако задачи математического рассуждения теряют около 4 процентных пунктов из-за накопления ошибок округления. Для запуска рекомендуется совместимая сборка vLLM с поддержкой Gemma 4 и NVIDIA Model Optimizer; тестирование проводилось на NVIDIA DGX Spark с GPU GB10 Blackwell. Веса vision encoder оставлены в BF16. Модель распространяется по лицензии Apache-2.0.