II.4Отладка, тестирование и качество ПО

QuantFactory/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — квантизированная версия Llama-3.1-Nemotron-Nano-8B-v1, созданная QuantFactory с использованием llama.cpp на основе модели NVIDIA. Это текстовая reasoning- и chat-модель для генерации текста, решения математических и программных задач, рассуждений, instruction following, RAG, tool calling, чат-ботов и AI-агентов. Модель предназначена для локального использования и помещается на одной RTX GPU. Архитектура — плотный decoder-only Transformer семейства Llama 3.1, размер — 8B параметров. Модель работает только с текстом, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также языков программирования. Reasoning mode управляется системным промптом; для режима рассуждений рекомендуются temperature 0.6 и top_p 0.95, для обычного режима — greedy decoding. Сильные стороны модели — сочетание качества рассуждений, поддержки чата, RAG и вызова инструментов с умеренными требованиями к вычислительным ресурсам и возможностью локального запуска. Ограничения включают текстовую модальность, зависимость поведения от правильной настройки reasoning mode и возможные особенности качества, связанные с квантизацией GGUF; конкретный уровень квантизации в README не указан. Использование регулируется NVIDIA Open Model License; также указана дополнительная Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

Карточка модели NostraEmpire/mirror-phi-3.5-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3.5-mini-instruct, поэтому описание составлено по ней. Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w8a8 — это квантизированная версия инструкционной мультимодальной модели Mistral-Small-3.1-24B-Instruct-2503, разработанная Red Hat совместно с Neural Magic на базе модели Mistral AI. Архитектура обозначена как Mistral3ForConditionalGeneration. Модель принимает текст и изображения и генерирует текст; заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, арабский, китайский, японский, корейский, русский, украинский и другие языки из указанного перечня. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для локального развертывания, включая сценарии обработки чувствительных данных, и для адаптации под предметные области посредством дообучения. Максимальный контекст в README явно не указан, однако в примере развертывания используется ограничение 32768 токенов. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема; используются методы SmoothQuant и GPTQ. По данным README, это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных умножений. Компромиссом являются возможные потери точности по сравнению с исходной моделью, при этом конкретные результаты бенчмарков не приведены. Модель распространяется по лицензии Apache 2.0 и валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Nemotron-H-8B-Reasoning-128K — языковая модель NVIDIA для диалогов, рассуждений и обычных текстовых задач. Она построена на гибридной архитектуре Mamba-2 и MLP с четырьмя слоями Attention, содержит 8 млрд параметров и основана на Nemotron-H-8B-Base-8K. Модель принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и работает с английским, немецким, испанским, французским, итальянским, корейским, португальским, русским, японским и китайским языками. Модель может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений задаётся системным промптом. NVIDIA предлагает контрольные точки BF16 для Transformers и TensorRT-LLM и FP8 для TensorRT-LLM. Модель подходит для ответов на вопросы, решения задач по математике и науке, работы с кодом и анализа длинных текстов. Для сложных запросов включение рассуждений обычно повышает качество, а отключение может немного снизить точность. Модель предназначена для исследований и разработки. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичный контент и усиление предвзятости; README также отмечает уязвимость к некоторым вариантам косвенной prompt injection.

Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

OYM-Qimi-122B-A10B-K2.6 — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE с 122 млрд общих и примерно 10 млрд активных параметров. Она дообучена на базе Qwen/Qwen3.5-122B-A10B через дистиллированную и аблитерированную линию Qwopus3.5: в карточке описаны два этапа SFT примерно на 20 тысячах примеров с трассами рассуждений. Модель принимает текст и изображения, а также обрабатывает видео; выдаёт текст. Веса BF16 совместимы по форме с исходной моделью, включают зрительную башню и восстановленную голову MTP для спекулятивного декодирования. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, программирования и использования инструментов. В опубликованных тестах результаты по генерации кода совпали с базовой моделью, а показатели использования инструментов были близки к ней. Разработчик сообщает, что модель полностью «разцензурирована»; это может означать меньше отказов, но также требует осторожного контроля ответов при внедрении. Для полной точности BF16 требуются несколько ускорителей: в карточке указаны конфигурации из двух H200/B200 или четырёх H100 по 80 ГБ. Лицензия обозначена как Other и наследует условия лицензии базовой Qwen3.5; перед использованием следует проверить её условия.

Карточка модели yindeshuai/Phi-3.5-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3.5-mini-instruct, поэтому описание составлено по ней. Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

unsloth/Phi-3.5-mini-instruct-bnb-4bit — 4-битная версия инструкционной языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной в формате, совместимом с Transformers. Модель относится к семейству Phi-3, обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по содержанию данные для рассуждений. Указана поддержка многоязычного применения и контекста до 128K токенов. Модель предназначена для создания генеративных AI-систем и функций общего назначения, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Она ориентирована на выполнение инструкций, а также задачи программирования, математики, логики и других сценариев, требующих рассуждений. Квантование BNB до 4 бит снижает требования к памяти и может упростить запуск и дообучение, однако конкретные характеристики производительности зависят от оборудования и конфигурации. К ограничениям относятся возможные ошибки, неточности, проблемы безопасности и смещения, типичные для языковых моделей. Модель не оценивалась отдельно для всех прикладных областей, поэтому перед использованием в критически важных или регулируемых сценариях необходимы самостоятельная проверка качества, безопасности, справедливости и соответствия требованиям законодательства. В README указана лицензия MIT.

Qwen2.5-14B-YOYO-V4 — объединённая языковая модель от YOYO-AI на архитектуре Qwen2, с плотной авторегрессионной моделью Qwen2ForCausalLM и 14 млрд параметров. По описанию автора, в состав объединения входят модели Qwen2.5, кодовая модель и дистиллят DeepSeek-R1; заявлены улучшенное следование инструкциям, генерация кода и рассуждения. Модель предназначена для диалогов, генерации текста и структурированных ответов, а также для работы с длинным контекстом до 1 010 000 токенов. Модель принимает текст и выдаёт текст. Карточка указывает английский и китайский языки. Файлы опубликованы в формате safetensors, лицензия — Apache-2.0. Указанный в карточке этап объединения описан частично, поэтому подробности итоговой процедуры и её влияние на качество оценить нельзя.

Mungert/Qwen3-30B-A3B-Thinking-2507-GGUF — GGUF-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это каузальная языковая модель с архитектурой Mixture of Experts (MoE), предназначенная для генерации текста, сложного рассуждения, математики, естественных наук, программирования, следования инструкциям, использования инструментов и задач с длинным контекстом. Модель содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; без учёта embedding — 29,9 млрд параметров. Она включает 48 слоёв, 128 экспертов, 8 активируемых экспертов и использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим reasoning и автоматически использует шаблон с тегом <think>; для сложных задач рекомендуется увеличенная длина рассуждения. Языки и мультимодальные возможности в карточке явно не указаны. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, программировании, использовании инструментов, следовании инструкциям и обработке контекста до 256K токенов. Для GGUF-файлов автор применяет выборочное повышение точности важных слоёв сверх стандартной конфигурации IMatrix, что, по его описанию, может повысить точность при низкой разрядности, особенно у MoE-моделей, но увеличивает размер файла. Лицензия — Apache-2.0.

NeuralNet-Hub Qwen3.6-35B-A3B-Uncensored-NVFP4 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-35B-A3B. Модель доработана с помощью supervised fine-tuning и abliteration, а затем квантована в формате NVFP4. В README указано, что исходная модель относится к архитектуре mixture-of-experts (MoE); обозначение 35B-A3B является частью её идентификатора. Разработчик квантованной версии — NeuralNet-Hub, а базовая модель разработана командой Qwen. Модель предназначена для диалогов, генерации и анализа текста, программирования, исследовательских и образовательных задач, создания контента, кибербезопасности, а также анализа изображений с текстовым запросом. Поддерживаются thinking и instruct-режимы, OpenAI-совместимый Chat API, автоматический выбор инструментов и вызовы инструментов с парсером qwen3_coder. Для развёртывания рекомендуется vLLM; заявленная максимальная длина контекста в конфигурации составляет 262144 токена. Ключевое преимущество — сочетание мультимодальности, длинного контекста, режима рассуждений и NVFP4-квантизации, ориентированной на высокую эффективность на GPU NVIDIA Blackwell. При этом формат NVFP4 несовместим с GPU архитектур Ampere, Ada Lovelace и Hopper. Из-за fine-tuning и abliteration модель позиционируется как неограниченная и может отвечать на темы, которые стандартные модели обычно отклоняют; это снижает встроенные ограничения безопасности и требует дополнительного контроля при использовании. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-35B-A3B — текстовая дистилляция от Empero на базе Qwen/Qwen3.6-35B-A3B. Это причинная языковая модель с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активируются на токен; используется 40 слоёв, 256 экспертов и 8 маршрутизируемых экспертов на токен. Модель распространяется в формате Transformers и поддерживается стандартными средами запуска с поддержкой архитектуры Qwen3.6. Модель предназначена для диалогов, математических задач, программирования, общих рассуждений, следования инструкциям и вызова инструментов. Она обучена методом дистилляции на отфильтрованных трассах внутренних моделей-учителей Qwen3.8; базовая модель поддерживает контекст до 262 144 токенов. Обучение было текстовым, поэтому визуальные возможности унаследованы от мультимодальной основы, но не дообучались и не оценивались. В сравнении с базовой моделью README сообщает о близком результате на MMLU и улучшении на ARC-Challenge. Известные ограничения: ответы обычно короче, чем у основы, длинные цепочки рассуждений могут обрываться, а жадное декодирование при длинной генерации может приводить к повторениям. Для работы нужны актуальная версия Transformers с поддержкой Qwen3.6 и CUDA-совместимые ядра Gated DeltaNet; веса выпущены под лицензией Apache-2.0.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

WizardLM-2 8x22B — многоязычная языковая модель с архитектурой Mixture of Experts, разработанная WizardLM в Microsoft AI. Это версия для генерации текста и диалогов; в карточке указаны сценарии сложного общения, рассуждений, работы с кодом, математикой и агентных задач. По README модель основана на mistral-community/Mixtral-8x22B-v0.1 и содержит 141 млрд параметров; метаданные классифицируют её как Mixtral MoE с 22B параметров и контекстом до 65 536 токенов. Модель обучалась с использованием синтетической системы подготовки данных и поддерживает многоязычное применение. В репозитории указаны веса safetensors и лицензия Apache-2.0. Заявления о сравнительном качестве приведены разработчиками по их оценкам и не гарантируют результат на иных задачах.

SolenopsisCampo/Xing4.0-29B-A4B-GGUF — GGUF-представление языковой модели Xing4.0-29B-A4B, разработанной China Telecom Artificial Intelligence Technology Co., Ltd. Модель предназначена для генерации текста, сложного рассуждения, программирования, агентских сценариев с многошаговым планированием и вызовом инструментов, а также для задач инженерного характера и последующей адаптации под специализированные области: классификацию намерений, понимание таблиц, аудит договоров и ответы на вопросы по базе знаний. Модель использует разреженную MoE-архитектуру с 29 млрд общих параметров и 4 млрд активных параметров на токен. В конфигурацию входят 40 слоёв, скрытый размер 3584, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и 1 общий эксперт; заявлена архитектура mHC + MLA + MTP. Поддерживается контекст длиной 256 тысяч токенов с возможностью расширения до 512 тысяч. Это текстовая модель без заявленной поддержки изображений или других модальностей. README не указывает набор поддерживаемых языков. К сильным сторонам относятся длинный контекст, эффективность разреженной активации, ориентация на агентские и программные задачи, совместимость с vLLM, SGLang, KTransformers, Transformers и другими инструментами, а также возможность дообучения через LLaMA-Factory и MindFormers. Ограничения включают зависимость качества от конкретного сценария, необходимость значительных вычислительных ресурсов для развёртывания и отсутствие в README подробностей о методах квантизации именно этого GGUF-файла, языковом покрытии и результатах за пределами приведённых тестов. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731-Abliterated — модифицированная версия DeepSeek-V4-Flash-0731, разработанная автором lovesenko посредством прямого редактирования весов исходной модели. Это Mixture-of-Experts-модель на 284 млрд параметров, из которых активируется около 13 млрд, с контекстным окном до 1 млн токенов и смешанной точностью FP8. Архитектура включает Multi-Token Prediction (MTP) для speculative decoding, совместима с DeepSeek-V4-Flash-DSpark и ориентирована на рассуждения и агентские сценарии. В README не указаны точные языки и полный перечень поддерживаемых модальностей; по представленным данным модель является текстовой языковой моделью. Модель предназначена для генерации текста, сложных рассуждений, программирования, логических и фактических задач, а также использования в агентских рабочих процессах с длинным контекстом. Версия Abliterated создана редактированием пространства весов для ослабления встроенных отказов: проекция удаляет широкое направление отказа из выходных проекций attention во всех слоях декодера и из MTP-head. В заявленной оценке доля отказов снизилась с 96,1% у базовой версии до 13,0% в режиме chain-of-thought и до 2,0% без него. К сильным сторонам относятся очень большой контекст, высокая вычислительная ёмкость MoE при относительно небольшом числе активных параметров, MTP для ускорения декодирования и сохранение ключевых возможностей базовой модели по заявленным spot-check-тестам. Ограничения включают остаточные отказы, особенно при включённом рассуждении, а также риск деградации длинных цепочек рассуждений при более агрессивном редактировании. Модель распространяется по лицензии MIT.

Карточка модели winterthurquants/DeepSeek-V4-Pro на Hugging Face совпадает с карточкой winterthurquants/DeepSeek-V4-Flash, поэтому описание составлено по ней. DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

coder3101 представил дообученную мультимодальную модель на базе Google Gemma 4 E2B-it. Она предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и выполнения задач с инструментами. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями. В карточке семейства также заявлена обработка аудио и видео, однако поддержка этих возможностей именно этой производной версии не подтверждена. Модель подходит для чат-ботов, суммаризации, извлечения сведений из изображений и документов, распознавания текста и помощи с программированием. Для Gemma 4 E2B указано контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. Производная опубликована в формате safetensors по лицензии Apache 2.0. Возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными запросами. В названии и тегах версии заявлены uncensored/abliterated характеристики, но README не описывает метод изменения поведения или его последствия.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

GLM-4.7-Flash-GGUF — это GGUF-версия модели GLM-4.7-Flash, подготовленная Unsloth на основе модели Z.ai. Это языковая модель для генерации текста с архитектурой MoE: 30 млрд параметров, из которых при обработке активируется около 3 млрд. Модель поддерживает английский и китайский языки; размер контекста в README не указан. Модель предназначена для общего диалога, рассуждений, программирования, агентских сценариев, вызова инструментов и локального развертывания. Заявлены сильные результаты на задачах математического и научного рассуждения, программирования, веб-поиска и взаимодействия с инструментами. Для локального запуска указана поддержка llama.cpp, vLLM, SGLang и Transformers; также допускается дообучение через Unsloth. Ключевое преимущество модели — сочетание высокой заявленной производительности с относительно компактным числом активных параметров, что делает её подходящей для более эффективного развертывания по сравнению с плотными моделями сопоставимого общего размера. Ограничения включают необходимость использовать актуальные версии некоторых фреймворков, а для GGUF-файлов — корректные параметры генерации; в README отдельно рекомендуется отключить repeat penalty и учитывать настройки temperature, top-p и min-p. Модель распространяется по лицензии MIT.

Карточка модели AmanNagtode/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели AndresDevelopers/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели jihui19499/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

Карточка модели sunshaohui/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

GLM-5.3-Flash-GGUF — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; данный вариант опубликован в формате GGUF организацией zurichquants. Модель предназначена для генерации текста, программирования, решения сложных задач, работы с инструментами и агентских сценариев. Она поддерживает английский и китайский языки, а также текстовые и визуальные входные данные. Базовая модель содержит 320 млрд параметров, из которых при обработке активируется около 18 млрд. В архитектуре используются гибридное сочетание разреженного и линейного внимания, а также Manifold-Constrained Hyper-Connections, что направлено на снижение стоимости работы с длинным контекстом при сохранении точности. Модель обучалась на мультимодальном корпусе объёмом около 30 трлн токенов. В README не указаны точный размер контекста для этого GGUF-варианта и конкретный уровень квантизации, поэтому требования к памяти и производительность зависят от файла сборки. К сильным сторонам относятся высокая эффективность благодаря разреженной активации параметров, поддержка длинного контекста, мультимодальность и заявленная конкурентоспособность в задачах программирования и автономных агентов. Для локального запуска рекомендуется использовать совместимые версии llama.cpp или Unsloth Desktop; поддержка может зависеть от реализации. Модель и её базовая версия распространяются по лицензии MIT.

Карточка модели GorgiasML/gpt-oss-20b на Hugging Face совпадает с карточкой Sprinter-Spb/gpt-oss-20b, поэтому описание составлено по ней. Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.