I.11Классификация, ранжирование и сопоставление

unsloth/Qwen3-0.6B-unsloth-bnb-4bit — 4-битная версия причинной языковой модели Qwen3-0.6B, подготовленная Unsloth на базе Qwen/Qwen3-0.6B и предназначенная для запуска и дообучения через библиотеку Transformers. Модель ориентирована на генерацию текста, диалог, следование инструкциям, решение задач, написание кода, рассуждения и интеграцию с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и имеет 28 слоёв. В архитектуре внимания используется GQA с 16 головами Q и 8 головами KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает переключение между режимами рассуждения и обычной генерации, а также более 100 языков и диалектов; при этом в карточке для данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальный запуск, однако оно может сопровождаться некоторой потерей точности по сравнению с полноразмерными версиями. Для работы рекомендуется использовать актуальную версию Transformers; версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — модель для генерации текста и решения сложных многошаговых задач, дообученная на базе Qwen3.5-9B. Она создана с применением supervised fine-tuning, LoRA и дистилляции рассуждений из Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Основной акцент сделан на структурированном анализе, планировании, декомпозиции задач и более лаконичных ответах. Модель предназначена для математики и логики, программирования и системного анализа, научных, инженерных, юридических, медицинских и финансовых задач, а также для сценариев, связанных с безопасностью и adversarial reasoning. В карточке указана текстовая модальность, pipeline text-generation и поддержка английского, китайского и корейского языков. Размер базовой модели — 9B параметров; размер контекста и точные требования к аппаратным ресурсам не указаны. Сильными сторонами модели считаются многошаговое рассуждение, отслеживание ограничений, последовательное планирование, междисциплинарный охват и анализ отказов или атак. При этом дистилляция и специализированное дообучение могут ухудшать обобщение в некоторых широких сценариях и приводить к частичному забыванию знаний базовой модели, поэтому модель рекомендуется оценивать на целевых задачах перед внедрением. Лицензия — Apache-2.0.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B, разработанная автором репозитория shuijiaodawang. Она предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач, отладки, а также обработки изображений и текстово-визуальных запросов. Модель использует гибридную текстово-визуальную архитектуру Qwen3.8 с 27 млрд параметров и поддерживает мультиязычную работу. Доступен BF16-чекпойнт Transformers с текстовыми и визуальными весами, а также GGUF-варианты Q4_K_M, Q5_K_M и Q8_0 для локальной текстовой генерации. Заявлен контекст 32 768 токенов для примера Ollama; режим рассуждений Qwen3.8 сохраняется. Для BF16-версии рекомендуется около 56 ГБ памяти, не считая накладных расходов и KV-кэша. Главная особенность — существенное снижение отказов: во внутренних тестах заявлены 0 отказов на 842 промптах и на отдельной выборке из 126 промптов, при этом проверка связности дала 23 успешных результата из 24. Эти оценки являются внутренними, не являются независимыми бенчмарками и не подтверждают сохранение исходных показателей точности, рассуждений, программирования или компьютерного зрения. Поведение может изменяться при квантовании и использовании разных бэкендов; GGUF-файлы не поддерживают изображения без совместимого vision projector. MTP-голова отсутствует, поэтому спекулятивное декодирование на её основе недоступно. Модель распространяется по лицензии Apache License 2.0.

EschaLabs/Qwen3.8-27B-Escha-W2 — это 2-битная квантованная сборка модели Qwen3.8-27B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. Она поддерживает режим thinking, в котором может формировать расширенное рассуждение перед ответом, а также совместима с OpenAI-совместимым HTTP-интерфейсом через специализированный runtime на базе SGLang. Модель сохраняет полный объём в 27 млрд параметров. Используется смешанная квантование 2/3 бита для проекций с эффективной точностью 2,469 бита на вес, а embedding и head имеют формат int8. Размер весов составляет около 10,15 ГБ, общий размер загрузки — около 10,18 ГБ. На одной видеокарте с 24 ГБ памяти заявлена работа с контекстом до 64K токенов, а при специальной настройке — до 128K; проверены RTX 5090, RTX 4090 и RTX 3090. Указан английский язык, однако README не содержит полного перечня языков или точного максимального размера контекста базовой модели. К сильным сторонам относятся существенная экономия памяти, возможность локального запуска и высокие заявленные результаты на тестах: 79,25% на Commonsense-6, 88,38% на GPQA-Diamond и pass@1 86,81% на LiveCodeBench v6. Ограничения включают зависимость от Linux x86-64, NVIDIA GPU с архитектурой sm_80 или новее, CUDA 12.8, Python 3.12 и специального runtime; видеокарты на 16 ГБ не проверялись и требуют уменьшенного контекста. Для корректной работы также важны совместимые версии PyTorch, SGLang и Transformers. Модель распространяется по лицензии Apache-2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Hi-Fi (fraQtl) — это текстовая GGUF-версия модели Qwen3.8-27B, подготовленная участником сообщества fraQtl на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, включая задачи программирования, математики, общие текстовые сценарии и работу с длинным контекстом. Визуальная башня исходной модели не конвертирована, поэтому мультимодальные возможности в этой сборке отсутствуют. Модель использует квантизацию Q4_K_M с эффективностью около 4,8 бит на параметр и занимает примерно 16,5 ГБ, что ориентирует её на системы класса Snapdragon X-Elite и AI-PC, а не на смартфоны. Заявлен нативный контекст до 262 144 токенов; тестирование извлечения информации подтверждено для последовательностей длиной до 131 072 токенов. По данным README, по сравнению с эталонными сборками того же класса она обеспечивает более близкое к исходным весам поведение на задачах кода и математики, а также сопоставимые результаты на GSM8K и MATH-500. Ограничения включают возможное небольшое ухудшение качества: perplexity на Wikitext-2 выше на 0,7%, а совпадение ответов с исходной моделью в общих задачах ниже на 0,2 процентного пункта. Поддерживаемые языки отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

Карточка модели TreezzZ/r2s-alfworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

Карточка модели DIYIN/Youtu-LLM-2B на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B, поэтому описание составлено по ней. Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

DeepSeek-7B-1M — объединённая языковая модель автора yasserrmd, созданная линейным слиянием весов Qwen/Qwen2.5-7B-Instruct-1M и deepseek-ai/DeepSeek-R1-Distill-Qwen-7B с равными весами через LazyMergekit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Заявленная длина контекста составляет около 1,01 млн токенов; доступны веса в формате Safetensors. Модель можно применять для ответов на вопросы и ведения диалога, а также для задач, требующих работы с длинными текстами. Базовые модели дают ей сочетание инструктивного поведения Qwen2.5 и возможностей дистиллированной DeepSeek-R1 для многошаговых рассуждений, в том числе в математике и программировании. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она создана на основе архитектуры DeepSeek-V4-Flash с добавлением визуальных модулей и дополнительным обучением для поддержки задач визуального понимания и мультимодальных агентных сценариев. Модель принимает текст и изображения; README также указывает поддержку OpenAI-совместимого формата сообщений и обработки изображений через специальные prompt-форматы. Модель предназначена для мультимодальных агентов, анализа изображений, графиков и других визуальных элементов, а также для текстовых агентных задач, включая работу с инструментами, репозиториями, терминалом и автоматизацией. По заявленным результатам она заметно превосходит DeepSeek-V4-Flash-0731 в ряде мультимодальных тестов, сохраняя сопоставимую производительность в текстовых агентных задачах. Среди технических компонентов упоминаются vision encoder, aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark; точные размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К ограничениям относятся экспериментальный статус, отсутствие в предоставленных данных подробных характеристик аппаратных требований, контекстного окна и языкового покрытия, а также неоднородные результаты на отдельных бенчмарках. Для запуска описаны минимальная реализация inference на PyTorch, интеграции с vLLM и SGLang; пример сервирования рассчитан на узел с четырьмя GPU GB300. Модель распространяется по лицензии MIT.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

trohrbaugh/gemma-4-26B-A4B-it-heretic-ara — разговорная мультимодальная модель семейства Gemma 4, размещённая пользователем trohrbaugh. Это вариант Gemma 4 26B A4B с метками heretic, uncensored, decensored и abliterated; карточка не описывает, какие именно изменения внесены в веса. Архитектура использует чередование локального скользящего и глобального внимания. Модель принимает текст и изображения и предназначена для диалога, понимания изображений и документов, генерации и исправления кода, суммаризации и рабочих процессов с вызовом инструментов. В README для семейства Gemma 4 26B A4B заявлен контекст до 256K токенов и поддержка более 35 языков, однако эти сведения приведены для семейства, а не подтверждены отдельными тестами этого варианта. README также описывает для Gemma 4 понимание видео, но карточка именно этого репозитория и его метаданные подтверждают только задачу image-text-to-text и возможность vision, поэтому видео в назначение этой версии не включено. Аудиофункции в README отнесены только к моделям E2B и E4B. Модель может ошибаться в фактах и сложных запросах, а изменённая маркировкой heretic версия может отличаться по поведению и отказам от исходной Gemma 4. Лицензия репозитория — Apache-2.0.

WhiskyAKM подготовил конверсию Gemma 4 26B A4B IT QAT в формат GGUF с NVFP4-квантизацией для запуска через llama.cpp и другие совместимые движки. В основе — мультимодальная модель Google DeepMind с архитектурой Gemma4ForConditionalGeneration и 26 млрд параметров; для работы с изображениями и аудио в репозитории также доступен мультимодальный проектор. Модель принимает текст, изображения и аудио, а выдаёт текст; карточка заявляет контекст до 256 тысяч токенов и поддержку более 140 языков. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений и аудио, а также сценариев с вызовом инструментов. Доступны несколько уровней квантования GGUF; для мультимодального ввода требуется использовать mmproj.gguf. Репозиторий распространяется по лицензии Apache-2.0.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

Карточка модели AlexHung29629/gemma-4-E2B на Hugging Face совпадает с карточкой unsloth/gemma-4-E2B-it, поэтому описание составлено по ней. unsloth/gemma-4-E2B-it — дообученная Unsloth версия мультимодальной Gemma 4 E2B IT от Google DeepMind. Это плотная модель условной генерации с гибридным вниманием: локальные окна чередуются с глобальным вниманием. Она предназначена для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений; карточка указывает контекст до 128 тыс. токенов для E2B/E4B и поддержку более чем 35 языков. Репозиторий содержит веса в формате safetensors. Модель подходит для визуальных вопросов и ответов, извлечения данных из документов, распознавания текста и содержимого диаграмм, понимания интерфейсов и генерации кода. Gemma 4 E2B также поддерживает аудиораспознавание и перевод речи в текст, однако карточка этого репозитория и его pipeline tag обозначают задачу image-text-to-text. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в нюансах языка и здравом смысле. Лицензия — Apache-2.0.

GigaChat3-10B-A1.8B — диалоговая модель семейства GigaChat, представленная авторами семейства. Это дообученная методом SFT версия GigaChat3-10B-A1.8B-base. В карточке описана разреженная MoE-архитектура с 10 млрд общих и 1,8 млрд активных параметров; модель использует Multi-head Latent Attention и Multi-Token Prediction. В репозитории ai-sage/GigaChat3-10B-A1.8B-bf16 хранятся веса в формате safetensors с точностью bf16. Модель предназначена для диалогов и генерации текста, в том числе ответов на вопросы, задач по математике и программированию. Заявлены контекст до 256 тысяч токенов и обучение на 20 трлн токенов; авторы сообщают о включении данных на десяти языках, а метаданные карточки отмечают русский и английский. MLA снижает требования к памяти KV-кэша, а MTP рассчитан на ускорение генерации при поддерживаемом инференсе. Лицензия репозитория — MIT. Опубликованные результаты бенчмарков и скорости получены в конкретных условиях измерения, поэтому они не гарантируют аналогичного качества и производительности для любого оборудования и сценария.

GLM-5.2-FP8 — языковая модель для генерации текста, разработанная организацией Z.ai. Она предназначена для задач с длинным горизонтом планирования, включая рассуждения, программирование, работу с инструментами и агентские сценарии. Модель поддерживает английский и китайский языки и рассчитана на текстовые задачи. Ключевая характеристика модели — контекстное окно объёмом до 1 млн токенов, предназначенное для стабильной работы с большими объёмами информации. В архитектуре используется IndexShare: один индексатор переиспользуется в каждой группе из четырёх слоёв разреженного внимания, что, по данным разработчика, снижает вычисления на токен в 2,9 раза при контексте в 1 млн токенов. Улучшенный слой MTP поддерживает speculative decoding и может увеличивать длину принимаемой последовательности до 20%. Для программирования предусмотрены различные уровни интенсивности рассуждений, позволяющие выбирать баланс между качеством и задержкой. Модель демонстрирует сильные результаты в математическом рассуждении, генерации и анализе кода, решении задач в терминале и агентских тестах. Ограничения включают отсутствие в представленном описании данных о числе параметров, точных аппаратных требованиях, мультимодальных возможностях и подробностях обучения; заявленные результаты зависят от настроек оценки и используемых инструментов. Модель распространяется по лицензии MIT, что допускает широкое использование при соблюдении её условий.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.

google-gemma-4-12B-it-GGUF-Q4_K_M — квантизированная версия базовой модели google/gemma-4-12B-it, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста, диалоговых помощников, программирования, повседневных задач, рассуждений и агентских сценариев с вызовом инструментов. Она распространяется в формате GGUF с квантизацией Q4_K_M и рассчитана на запуск через совместимые движки, включая llama.cpp и SigmaEngine. Заявлены архитектура gemma4, 12 млрд активных параметров, 48 transformer-слоёв, скрытое измерение 3840 и контекстное окно до 262 144 токенов. Размер файла составляет около 6,87 ГБ; для полной выгрузки на GPU рекомендуется около 19,5 ГБ видеопамяти, а для CPU или гибридного режима — около 19,3 ГБ оперативной памяти. В README указаны английский и итальянский языки. Рекомендуемое оборудование — видеокарта с 24 ГБ VRAM либо система с 32–64 ГБ RAM. По приведённым автором оценкам, модель набрала 77% на совокупности из 100 тестовых заданий, показала 100% на HumanEval, 89% на ARC-Challenge, GSM8K, MATH, MMLU-Pro и TruthfulQA, но существенно слабее выступила на GPQA, HellaSwag и MMLU. В режиме пошагового рассуждения заявлено преимущество над прямой генерацией, однако приведённые бенчмарки являются результатами собственной оценки публикации и не гарантируют аналогичную точность в прикладных задачах. К ограничениям также относятся требования к памяти, потери качества из-за квантизации и неполная информация о мультимодальности и точных условиях обучения. В README лицензия в метаданных обозначена как other, а в отдельном значке указана Apache-2.0, поэтому перед использованием необходимо проверить фактические лицензионные условия репозитория и исходной модели.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Карточка модели Merlinoz11/Hy3-Apex-GGUF на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

AMAImedia/Hy4-preview-BF16-GGUF — размещённая AMAImedia сборка модели Hy4 preview, разработанной Tencent Hy Team. Это диалоговая модель семейства hy_v4 с архитектурой Mixture-of-Experts; исходная модель содержит 770 млрд параметров, из которых активируются 49 млрд на токен. В архитектуре используются 78 слоёв, разреженное внимание Gated DeepSeek Sparse Attention и слой MTP для ускорения спекулятивного декодирования. Карточка указывает контекст длиной до 1 048 576 токенов. Модель предназначена для генерации текста и диалога, включая разработку и отладку программ, анализ документов и данных, подготовку офисных материалов, создание игровых прототипов и научные задачи. Hy4 preview также поддерживает сценарии с изображениями согласно тегу image-text-to-text. В метаданных заявлены языки, включая английский, русский, китайский, вьетнамский и японский; карточка перечисляет дополнительные языки. Репозиторий обозначен как GGUF BF16, однако метаданные также содержат форматы GGUF Q4_K_M и safetensors. Это ранняя версия: README отмечает склонность тратить лишнее время на сложные рассуждения и чрезмерно перепроверять результаты. Модель опубликована под лицензией Apache-2.0. Связь с tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF указана в метаданных как merge.