II.4Отладка, тестирование и качество ПО

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

EVA-Meissa-mini-pro-v2 — слитая языковая модель, созданная с помощью mergekit методом TIES на основе win10/EVA-Meissa-mini-pro с включением shuttleai/shuttle-3-mini. Это плотная 14-миллиардная модель семейства Qwen2 для диалогов и генерации текста; поддерживает контекст до 65 536 токенов и распространяется в формате safetensors для Transformers. Модель подходит для диалоговых интерфейсов, следования инструкциям, рассуждений и генерации текста, включая код. Лицензия в предоставленных данных не указана.

Карточка модели ApocalypseParty/G4-26B-SFT-v2-1 на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

unsloth/gemma-4-12b-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 12B Unified, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального выполнения на потребительских устройствах, рабочих станциях и серверах, а также для генерации текста, программирования, рассуждений, агентских сценариев и задач с вызовом функций. Модель имеет около 12 млрд параметров и использует унифицированную архитектуру без отдельных энкодеров, напрямую обрабатывая текст, изображения, аудио и видео и генерируя текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов, настраиваемые режимы рассуждений и системные промпты. Архитектура сочетает локальное скользящее и глобальное внимание, что рассчитано на снижение требований к памяти при работе с длинным контекстом; поддерживается переменное соотношение сторон и разрешение изображений. К сильным сторонам относятся сочетание мультимодального понимания, длинного контекста, возможностей рассуждения, программирования и нативного function calling, а также возможность локального запуска в формате GGUF. README не содержит подробных результатов тестирования, требований к оборудованию или описания ограничений качества, поэтому практическая производительность зависит от используемой квантизации и среды выполнения. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E2B-it-UD-MLX-4bit — 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E2B, подготовленная Unsloth на базе google/gemma-4-E2B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как открытые модели с открытыми весами. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, рассуждений, программирования, мультимодального анализа и агентских сценариев с поддержкой function calling. Она принимает текстовые и графические данные, а также аудио, и генерирует текст. Для E2B заявлено контекстное окно до 128K токенов и поддержка более 140 языков. E2B — компактная dense-модель с 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоями, локальным окном внимания 512 токенов и словарём на 262 тысячи токенов. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также Per-Layer Embeddings для повышения эффективности на устройствах. 4-битное представление снижает требования к памяти и подходит для локального запуска через MLX, однако README не приводит подробных результатов бенчмарков или количественной оценки потерь качества после квантизации. Лицензия — Apache 2.0.

unsloth/gemma-4-E2B-it-unsloth-bnb-4bit — 4-битно квантованная версия инструкционно настроенной модели Google Gemma 4 E2B, подготовленная Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентных сценариев и мультимодального понимания входных данных на локальных устройствах, включая ноутбуки и мобильные устройства. Модель использует плотную архитектуру Gemma 4 с 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоями, гибридным механизмом внимания и контекстом до 128 тысяч токенов. Она принимает текст, изображения и аудио и генерирует текст; поддерживается более 140 языков. Доступны настраиваемые режимы рассуждения, нативная поддержка системных инструкций и вызова функций. Квантование BNB в формате 4-bit снижает требования к памяти и облегчает локальный запуск, однако может уменьшать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0. В README не приведены подробные результаты бенчмарков, требования к аппаратному обеспечению или количественная оценка влияния квантования на качество, поэтому её производительность в конкретных задачах требует практической проверки.

GigaChat3-10B-A1.8B — диалоговая модель семейства GigaChat, представленная авторами семейства. Это дообученная методом SFT версия GigaChat3-10B-A1.8B-base. В карточке описана разреженная MoE-архитектура с 10 млрд общих и 1,8 млрд активных параметров; модель использует Multi-head Latent Attention и Multi-Token Prediction. В репозитории ai-sage/GigaChat3-10B-A1.8B-bf16 хранятся веса в формате safetensors с точностью bf16. Модель предназначена для диалогов и генерации текста, в том числе ответов на вопросы, задач по математике и программированию. Заявлены контекст до 256 тысяч токенов и обучение на 20 трлн токенов; авторы сообщают о включении данных на десяти языках, а метаданные карточки отмечают русский и английский. MLA снижает требования к памяти KV-кэша, а MTP рассчитан на ускорение генерации при поддерживаемом инференсе. Лицензия репозитория — MIT. Опубликованные результаты бенчмарков и скорости получены в конкретных условиях измерения, поэтому они не гарантируют аналогичного качества и производительности для любого оборудования и сценария.

GLM-4-9B-Chat imatrix GGUF — это квантизированные версии диалоговой языковой модели GLM-4-9B-Chat, разработанной Zhipu AI. Данный репозиторий содержит сборки в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских приложений, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель предназначена для многораундовых диалогов, генерации и понимания текста, рассуждений, работы с математическими и программными задачами, а также вызова пользовательских инструментов и выполнения кода в поддерживаемых средах. GLM-4-9B-Chat имеет около 9 миллиардов параметров, поддерживает контекст до 128K токенов и многоязычность, включая английский, китайский, японский, корейский и немецкий языки; всего заявлена поддержка 26 языков. Это текстовая модель, соответствующая задаче text-generation. К сильным сторонам относятся заявленная производительность, превосходящая Llama-3-8B на ряде оценок, поддержка длинного контекста и диалоговых функций. Ограничения связаны с необходимостью использовать совместимое программное обеспечение и включить Flash Attention при запуске через llama.cpp, иначе возможен сбой. В карточке указана лицензия other; подробные условия лицензии не приведены.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

QuantFactory/Hermes-2-Pro-Llama-3-8B-GGUF — квантованная версия текстовой языковой модели NousResearch/Hermes-2-Pro-Llama-3-8B, созданная с использованием llama.cpp. Модель разработана в рамках сотрудничества Nous Research, @interstellarninja и Fireworks.AI и обучена на обновлённой версии датасета OpenHermes 2.5, дополненной внутренними наборами данных для Function Calling и JSON Mode. Указанный язык — английский; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на универсальные задачи ассистирования, ведение многоходовых диалогов, написание текстов и кода, вызов функций и формирование структурированных JSON-ответов. Она использует формат промптов ChatML и специальную структуру многоходового взаимодействия с инструментами; токены <tools>, <tool_call> и <tool_response> представлены как отдельные токены для удобства потоковой обработки. По данным README, модель показала 90% в заявленной оценке Function Calling и 84% в оценке структурированного JSON-вывода. Размер исходной модели — 8B параметров, однако конкретный тип и уровень квантования данного GGUF-файла, максимальный контекст и требования к ресурсам не указаны. Модель распространяется по лицензии Apache-2.0.

Hunyuan-A13B-Pretrain — базовая большая языковая модель Tencent на архитектуре Mixture of Experts (MoE), предназначенная для генерации текста, рассуждений и общих языковых задач. В README для семейства Hunyuan-A13B указано 80 млрд параметров всего и 13 млрд активных параметров; метаданные именно этого репозитория указывают 3,1 млрд параметров. Карточка также описывает режимы быстрого и пошагового рассуждения, Grouped Query Attention и поддержку длинного контекста, но приводит для семейства 256 тыс. токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель подходит для диалоговых приложений, генерации и продолжения текста, решения задач на рассуждение, математику и код, а также для агентных сценариев с вызовом инструментов. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers; для сервинга README также упоминает TensorRT-LLM, vLLM и SGLang. В README упоминаются возможности семейства и результаты варианта Instruct, которые не следует считать подтверждёнными оценками именно этого pretrain-чекпойнта. Лицензия указана как other; README ссылается на LICENSE, но конкретные условия в предоставленных данных не раскрыты.

K-EXAONE-2.0-750B-A37B-FP8 — квантизированная FP8-версия большой мультиязычной языковой модели K-EXAONE 2.0, разработанной LG AI Research. Модель предназначена для генерации текста, сложного рассуждения, агентных рабочих процессов, программирования и задач, требующих понимания длинного контекста. Она ориентирована на использование в исследовательских и производственных системах искусственного интеллекта. Модель имеет архитектуру Mixture-of-Experts (MoE): 750 млрд параметров всего, из которых 37 млрд активируются для обработки одного входа. Конфигурация включает 78 основных слоёв, 256 экспертов, одного общего эксперта и 8 активируемых экспертов. Используются 64 query-heads и 8 key-value-heads, а также комбинация глобального внимания и скользящего внимания. Заявлена поддержка десяти языков: корейского, английского, испанского, немецкого, японского, вьетнамского, французского, итальянского, польского и португальского. Точная длина контекста в представленном README не указана. К сильным сторонам относятся масштаб модели, мультиязычность, улучшенные возможности рассуждения, агентного кодирования и извлечения информации из длинного контекста, а также заявленная повышенная безопасность. Для ускорения вывода поддерживаются методы speculative decoding MTP и DSpark, которые, согласно README, могут увеличить скорость генерации примерно в 3–5 раз. Главные практические ограничения — чрезвычайно большой общий размер модели и, несмотря на MoE, высокие требования к инфраструктуре для развёртывания; конкретные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache License 2.0.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

Sci-fi-vy/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506. Базовую модель разработала Mistral AI, а данный репозиторий предоставляет её представление GGUF с исправленным chat template. Модель предназначена для диалогов, следования инструкциям, генерации текста и кода, обработки изображений, а также вызова функций и инструментов. Модель содержит около 24 млрд параметров и поддерживает контекст до 128K токенов. Она рассчитана на работу с текстом и изображениями и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к бесконечным и повторяющимся генерациям и вызов функций. В README также приведены результаты тестов по диалоговым задачам, STEM, программированию и анализу изображений; однако показатели немного различаются в зависимости от бенчмарка. Формат GGUF удобен для локального запуска через llama.cpp и Ollama; также исходная модель поддерживает vLLM и Transformers. Для работы рекомендуется низкая температура около 0,15, а для llama.cpp требуется включить Jinja-шаблоны. Ограничениями являются значительные требования к ресурсам для полной версии и возможные потери качества, зависящие от выбранной квантизации; README не указывает точные параметры всех доступных вариантов GGUF. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16 — большая языковая модель Red Hat на базе NVIDIA Nemotron 3 Ultra 550B A55B BF16, опубликованная для генерации текста, рассуждений и работы с инструментами. Она предназначена для сложного решения задач, математики и естественных наук, генерации кода и выполнения инструкций. Модель поддерживает ввод и вывод текста, а также вызов инструментов. Модель использует архитектуру NemotronHForCausalLM, содержит 550 млрд общих параметров и 55 млрд активных параметров. Веса линейных операторов в трансформерных блоках квантизированы в INT4 по схеме W4A16 с размером группы 128; применяется асимметричное покомпонентное квантование по группам. Это примерно на 75% снижает размер модели на диске и требования к памяти GPU по сравнению с BF16-версией. Для работы с рассуждениями и вызовом инструментов требуются соответствующие парсеры vLLM. Заявленная длина контекста — до 262 144 токенов. Сильными сторонами модели являются высокая емкость для сложных задач, поддержка reasoning, генерации кода и tool calling, а также существенное снижение требований к памяти благодаря INT4-квантизации. Ограничения включают значительные вычислительные требования: в рекомендованной конфигурации используется 8 GPU; сведения о поддерживаемых языках и количественных результатах оценки в README не указаны. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство или нормативные требования, исключено из области применения.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

Lucebox/Qwen3.8-27B-IQ4_XS-fast-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, подготовленная для проекта lucebox. Файл создан на основе IQ4_XS с imatrix-калибровкой от bartowski и полностью переквантизирован в IQ4_XS для снижения объёма и ускорения декодирования. Разработчик исходной модели — Qwen; сборку и оптимизацию файла выполнил Lucebox. Модель предназначена для генерации текста, программирования, математических задач и мультимодальных сценариев с анализом изображений. При использовании отдельного проектора Qwen3.8-27B-mmproj-Q8_0.gguf поддерживает ввод изображений через OpenAI-совместимый формат сообщений, до четырёх изображений за запрос. В README указан максимальный контекст до 131 072 токенов при соответствующей конфигурации сервера. Размер файла составляет 13,54 GiB. Для ускорения текстовой генерации предусмотрена совместная работа с черновой моделью DFlash2 и speculative decoding. Главное преимущество версии — более высокая скорость по сравнению с Unsloth UD-IQ4_XS: на указанном AMD Radeon AI PRO R9700 измерено 37,4 токена/с при обычном декодировании и 174,5 токена/с в сквозном тесте с draft-моделью. Компромисс — немного более низкое качество: относительно Q8_0 зафиксированы рост perplexity на 1,9%, top-1 agreement 92%, результат HumanEval 144/164 и GSM8K 171/200. Показатели зависят от оборудования, настроек и сценария; для задач, чувствительных к качеству, README рекомендует UD-IQ4_XS. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_185 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Spark-X2.5-1.7B-Base — компактная универсальная языковая модель на 1,7 млрд параметров, разработанная командой Spark-X2.5. Это предварительно обученная плотная autoregressive-модель для Transformers с гибридной архитектурой внимания: один слой полного внимания сочетается с тремя слоями скользящего окна. Модель поддерживает контекст до 1 048 576 токенов и предназначена для диалога, письма, перевода, рассуждений, программирования и работы с инструментами и агентными системами. В README заявлена поддержка более 200 языков и эффективность на длинных контекстах за счёт уменьшения вычислительных затрат и размера KV-кэша. Метаданные карточки отдельно отмечают английский и китайский языки, а также интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors; указана совместимость с Transformers и рядом средств инференса и развертывания. Модель выпущена под лицензией Apache-2.0. README приводит сравнительные заявления о производительности, но не предоставляет подробностей бенчмарков. В описании карточки нет отдельных сведений о конкретных ограничениях качества.

Athena-1 1.5B — компактная языковая модель на 1,5 млрд параметров, дообученная разработчиком карточки на Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для генерации текста по инструкциям и диалогов, а также для задач с кодом, математикой, документами и структурированными данными. Модель может формировать JSON и другие структурированные ответы; заявлена поддержка генерации до 8 тысяч токенов за один ответ. Модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. В README заявлена поддержка более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский; метаданные карточки отмечают английский. Размер модели рассчитан на применение в сценариях с ограниченными вычислительными ресурсами. Модель распространяется по лицензии Apache-2.0.

DeepSeek-7B-1M — объединённая языковая модель автора yasserrmd, созданная линейным слиянием весов Qwen/Qwen2.5-7B-Instruct-1M и deepseek-ai/DeepSeek-R1-Distill-Qwen-7B с равными весами через LazyMergekit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Заявленная длина контекста составляет около 1,01 млн токенов; доступны веса в формате Safetensors. Модель можно применять для ответов на вопросы и ведения диалога, а также для задач, требующих работы с длинными текстами. Базовые модели дают ей сочетание инструктивного поведения Qwen2.5 и возможностей дистиллированной DeepSeek-R1 для многошаговых рассуждений, в том числе в математике и программировании. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

zumalabs/DeepSeek-R1-Distill-Llama-70B-FP8 — это вариант модели DeepSeek-R1-Distill-Llama-70B, опубликованный Zuma Labs на Hugging Face. Исходную модель разработала DeepSeek; она создана методом дообучения открытой Llama 3.3 70B Instruct на данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа и диалоговых сценариев. Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Базовая версия поддерживает контекст до 131 072 токенов. Модель текстовая; конкретный набор языков и отдельные характеристики качества для репозитория Zuma Labs не документированы. Данный вариант распространяется в формате Safetensors с представлением FP8 E4M3 при заявленном размере около 71B параметров, что может снизить требования к памяти по сравнению с полноразмерными форматами, но требует совместимого программного и аппаратного стека. Сильные стороны — развитое пошаговое рассуждение и возможности базовой Llama 3.3 70B Instruct. Ограничения включают высокие требования к вычислительным ресурсам, возможные ошибки и нестабильность ответов, а также отсутствие отдельной подробной карточки, тестов и описания ограничений именно для FP8-конверсии Zuma Labs. Для серии DeepSeek-R1 разработчик рекомендует температуру 0,5–0,7 и предупреждает о возможных повторениях или несвязном выводе при неподходящих настройках. Код и веса серии DeepSeek-R1 заявлены под лицензией MIT, однако модель основана на Llama 3.3 70B Instruct, для которой действует исходная лицензия Llama 3.3; коммерческое использование и производные работы следует проверять с учётом условий обеих лицензий.

Gemma 2 27B Instruct — большая языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе оригинальной модели google/gemma-2-27b-it. Модель предназначена для диалогового взаимодействия и универсальной генерации текста, включая работу с веб-текстами, программным кодом и математическими задачами. Модель содержит 27 миллиардов параметров и занимает промежуточное положение между моделями классов 8B и 70B, поэтому рассчитана на системы с умеренным объёмом видеопамяти. Она обучена на 13 триллионах токенов; обучающие данные включали преимущественно англоязычные веб-документы, код и математические материалы. Большой словарь способствует многоязычным возможностям и работе с кодом, однако точный перечень поддерживаемых языков и размер контекстного окна в README не указаны. Модель работает по шаблону Google Gemma Instruct и не поддерживает системный промпт. Для запуска рекомендуется LM Studio версии 0.2.27 или новее с пресетом Google Gemma Instruct. Модель является текстовой и не поддерживает мультимодальные входы или выходы. Использование регулируется лицензией Gemma; для доступа на Hugging Face необходимо принять условия лицензии Google. README также предупреждает, что модель может генерировать неточный, вредный или неприемлемый контент.

Gemma-4-21B — разреженная мультимодальная модель семейства Gemma 4, подготовленная 0xSero на основе google/gemma-4-26b-a4b-it. Авторы удалили 20% экспертов Mixture-of-Experts с помощью метода REAP от Cerebras: осталось 103 эксперта на слой, из которых активируются 8 на каждом токене. Всего в модели около 21,34 млрд параметров, формат весов — BF16; активное число параметров на токен осталось около 4 млрд. Модель предназначена для диалоговой генерации текста, рассуждений, программирования, математики и работы с изображениями. В архитектуре 30 трансформерных слоёв с чередованием скользящего и полного внимания; заявленное окно контекста — 262 144 токена. Модель поддерживает режим внутреннего рассуждения с разделением каналов thought и response. Карточка приводит результаты ограниченных сравнительных оценок, в которых качество генерации в целом было близко к исходной модели, но на отдельных задачах отмечалось заметное снижение точности. Для запуска указаны Transformers и vLLM; пример настройки vLLM ограничивает контекст 16 384 токенами. Лицензия — Gemma. Поддержка изображений указана в README, хотя основной pipeline-тег модели — text-generation.

MoonRide/gemma-4-26B-A4B-it-heretic-ara-GGUF — GGUF-сборка инструкционной мультимодальной модели Gemma 4 26B A4B, разработанной Google DeepMind и модифицированной MoonRide. Это версия с уменьшенным количеством отказов, полученная из google/gemma-4-26B-A4B-it методом Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA) и сохранением row-norm. Модель предназначена для генерации текста, рассуждений, программирования, работы с агентными сценариями и анализа изображений при локальном запуске через совместимые движки, включая llama.cpp. Модель относится к архитектуре Mixture-of-Experts с 26B общих параметров и 4B эффективных активных параметров; для семейства Gemma 4 заявлена поддержка контекста до 256K токенов, более 140 языков, текстового и графического ввода с генерацией текста. Семейство использует гибридное внимание со скользящим локальным окном и глобальными слоями, что помогает обрабатывать длинный контекст при сниженных затратах памяти. Доступны различные GGUF-квантизации, включая рекомендуемые Q3_K_M размером около 13,3 ГБ и IQ3_M_L размером около 12,6 ГБ. Главная особенность этой версии — существенно сниженная склонность к отказам: в приведённом тесте она отказала в 12 из 100 случаев против 100 из 100 у исходной модели; при этом KL divergence относительно оригинала составляет 0,0513. Такое изменение может быть полезно для исследовательских и экспериментальных сценариев, но одновременно означает более слабые встроенные ограничения безопасности. Для загрузки README рекомендует llama.cpp b8751 или новее. Лицензия указана как Apache 2.0; условия лицензии Gemma 4 могут содержать дополнительные положения.

GLM-4-32B-0414 — плотная авторегрессионная языковая модель семейства GLM-4 от Z.ai с 31,6 млрд параметров. Она предназначена для диалогов и генерации текста; карточка отмечает интерфейс вызова инструментов. Модель обучалась на больших объёмах данных, а этап постобучения включал выравнивание по предпочтениям людей и улучшение следования инструкциям, написания кода и вызова функций. Модель подходит для генерации и объяснения кода, ответов на вопросы с опорой на поиск, подготовки отчётов и выполнения агентных задач с инструментами. В README указана поддержка удобного локального развертывания. Контекст составляет 32 768 токенов; заявлены китайский и английский языки. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. README содержит посторонний фрагмент о детской литературе и не предоставляет технических сведений о производительности модели, поэтому её заявленные сильные стороны следует считать описанием разработчика, а не независимой оценкой. Также в карточке приведены материалы о других моделях серии GLM, которые не следует приписывать этой модели.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.