II.7DevOps, облако и эксплуатация IT-систем

GLM-5.3-Int4-Int8Mix — это квантизированная версия большой языковой модели GLM-5.3, разработанной организацией zai-org. Модель предназначена для генерации текста, решения математических и программных задач, следования инструкциям и работы через chat-интерфейсы. Она рассчитана на развёртывание в vLLM с tensor parallelism и поддерживает speculative decoding через MTP, автоматический выбор инструментов и prefix caching. Исходная модель содержит 743 млрд параметров и использует архитектуру с 78 слоями, скрытым размером 6144, 256 маршрутизируемыми экспертами MoE и компонентами DSA. В этой версии применена статическая симметричная weight-only-квантизация без калибровочных данных: эксперты в основном квантизированы до Int4, линейные слои и MTP — до Int8, а критические компоненты, включая router, DSA indexer и lm_head, сохранены в BF16. Размер весов сокращён до 377,4 GiB в 282 shards; при TP4 на один ранг приходится около 94,6 GiB. Заявленный максимальный контекст — 200 000 токенов, при этом в конфигурации модели указано значение 1M. Модель демонстрирует высокую производительность на конфигурации из четырёх NVIDIA DGX Spark: до 26,3 токена в секунду при одной параллельной сессии и 89,2 токена в секунду при восьми, с TTFT около 0,6 секунды для промпта примерно на 780 токенов. Проверки показали отсутствие повреждений генерации на английском, корейском и русском языках, а также корректное извлечение данных из 34 996-токенного контекста. Среди ограничений — очень высокие требования к памяти и инфраструктуре, необходимость распределённого развёртывания, вариативность результатов производительности и некоторое отставание от сравниваемой hosted GLM-5.2 в IFEval. Лицензия указана как other; дополнительные условия в README не раскрыты.

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

Hermes-4-14B-abliterated-4bit-mlx — языковая модель, подготовленная divinetribe на основе Babsie/Hermes-4-14B-BF16-abliterated. Постобучение семейства Hermes 4 выполнено NousResearch, базовая архитектура Qwen3 разработана Alibaba, а abliteration применена Babsie. Модель преобразована в 4-битный формат MLX для локального запуска на устройствах Apple Silicon. Модель предназначена для генерации текста, следования инструкциям, работы с инструментами и структурированного вывода, включая локальные OpenAI-совместимые серверы и сценарии программирования. Она поддерживает английский язык, использует токенизатор и chat template Qwen3 и имеет контекст до 40 960 токенов. Квантование выполнено методом affine с размером группы 64; формат хранения — MLX safetensors. Размер на диске составляет около 8 ГБ, поэтому модель рассчитана на комфортную работу на Mac с 16 ГБ памяти и выше. К сильным сторонам относятся локальная работа без облака, API-ключей и телеметрии, относительно небольшой объём памяти и оптимизация для быстрой инференции на Apple Silicon. Abliteration уменьшает склонность исходной модели отказывать в ответах на допустимые, но потенциально спорные запросы, однако не является улучшением общих способностей и требует ответственного применения. Ограничения включают зависимость от оборудования Apple Silicon, поддержку только текстовых сценариев и возможное снижение качества по сравнению с полноточной версией из-за 4-битного квантования. Модель распространяется по лицензии Apache 2.0, унаследованной от upstream-семейства Hermes 4 и Qwen3.

Hermes-4.3-36B-heretic — это экспериментальная версия разговорной языковой модели Hermes 4.3 от Nous Research, созданная на базе ByteDance-Seed/Seed-OSS-36B-Base. Модель дообучена для диалога и следования инструкциям; поддерживает генерацию текста, рассуждения, вызов инструментов и структурированные ответы в JSON. В карточке указано 31,7 млрд параметров, архитектура SeedOssForCausalLM и контекст до 524 288 токенов. Модель предназначена для ответов на вопросы, решения задач по математике и программированию, работы с текстом и диалоговых сценариев, в том числе с инструментами. Вариант heretic получен abliteration: приведённые в README измерения показывают меньше отказов, чем у исходной Hermes-4.3-36B, но это не означает гарантированную пригодность ответов во всех сценариях. Модель принимает текст и выдаёт текст. Лицензия — Apache-2.0.

Карточка модели Ishowbackup/Hy3 на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Карточка модели Merlinoz11/Hy3-Apex-GGUF на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для Mistral-Small-Instruct-2409, опубликованный MaziyarPanahi. Исходную модель разработала Mistral AI; она представляет собой instruct-дообученную языковую модель для диалогов, генерации и обработки текста, включая сценарии с function calling. Репозиторий предназначен для запуска через llama.cpp и совместимые локальные приложения и библиотеки. Модель имеет около 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантования от низкой разрядности до 8-bit, что позволяет уменьшить требования к памяти и запускать модель на совместимом CPU или GPU, однако более сильное квантование может снизить качество по сравнению с исходными весами; для полной модели требуются значительные вычислительные ресурсы. Исходная Mistral-Small-Instruct-2409 распространяется по Mistral Research License (MRL). Указанные условия разрешают использование в некоммерческих исследовательских целях; для коммерческого использования модели, производных версий или их предоставления требуется отдельная коммерческая лицензия Mistral AI.

Llama-3.1-Nemotron-Nano-8B-v1 — языковая модель NVIDIA, опубликованная в репозитории Unsloth в формате Safetensors. Это плотный декодерный Transformer на архитектуре Llama 3.1, дообученный для рассуждений, диалогов, следования инструкциям, математики, программирования, RAG и вызова инструментов. В метаданных указано 7,5 млрд параметров, а контекстное окно составляет до 131 072 токенов. Модель принимает и генерирует текст. Она рассчитана прежде всего на английский язык и также поддерживает немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Режим рассуждений включается системным промптом; для локального запуска карточка указывает, что модель помещается на одну RTX GPU. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель предназначена для чат-ботов, агентных систем, RAG-приложений и типовых задач по инструкциям. README заявляет коммерческую готовность, однако метаданные указывают лицензию «other» без конкретных условий в предоставленных сведениях; перед использованием следует сверить лицензионные условия исходной карточки. Результаты оценки зависят от режима рассуждений и формата промпта, а русская поддержка не заявлена.

Maestro1-9B — плотная мультимодальная модель с 9 млрд параметров от Vection Labs, построенная на архитектуре Qwen3-VL. Она принимает текст и изображения, а также предназначена для анализа видео, и генерирует текстовые ответы. Модель ориентирована на пошаговые рассуждения, математику, программирование и визуальный анализ; заявленное контекстное окно — до 1 млн токенов. Модель подходит для решения математических задач, генерации и отладки кода, ответов на вопросы по изображениям, документам, диаграммам и коротким видеороликам, а также анализа длинных документов и кодовых баз. Карточка указывает поддержку английского языка. Для запуска рекомендуются Transformers и GPU с 24–80 ГБ памяти при использовании bf16; веса доступны в формате safetensors. Модель может уверенно выдавать неверные ответы, а сгенерированный код требует проверки. Длинные контексты и видео увеличивают задержку и потребление памяти; аудио не поддерживается. Не предназначена для принятия важных медицинских, юридических или финансовых решений без проверки человеком. Лицензия — Apache-2.0.

Mungert/Meta-Llama-3-8B-Instruct-GGUF — это версия инструкционно дообученной языковой модели Meta Llama 3, подготовленная пользователем или организацией Mungert в формате GGUF. Базовую модель разработала Meta. Она предназначена для генерации текста по инструкциям и диалоговых сценариев; в карточке указана специализация text-generation и поддержка английского языка. Из идентификатора следует, что модель относится к семейству Llama 3 с размером около 8 миллиардов параметров и ориентирована на локальный инференс в совместимых инструментах, поддерживающих формат GGUF. Точные характеристики архитектуры, размер контекста, варианты квантования, системные требования и перечень модальностей в README не указаны; по доступным данным модель является текстовой и не предназначена для обработки изображений или других мультимодальных входов. Лицензия — Meta Llama 3 Community License: она допускает использование, копирование, модификацию и распространение с установленными условиями, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для крупных сервисов с более чем 700 миллионами месячных пользователей предусмотрено получение отдельного разрешения Meta.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

MiniCPM5-2B-OptiQ-4bit — локальная 4-битная MLX-квантизация модели openbmb/MiniCPM5-2B, разработанной OpenBMB, с использованием инструментария mlx-optiq. Это языковая модель Llama-архитектуры с 42 слоями, размером 2B параметров и контекстом до 128k токенов. Указаны английский и китайский языки. Модель предназначена для текстовой генерации, диалоговых ассистентов, перефразирования, математических и кодовых задач, многошагового рассуждения, работы с инструментами и локального запуска на устройствах Apple Silicon. Ключевая особенность — чувствительная к слоям смешанная точность: 112 из 295 линейных слоёв сохранены в 8-битном формате, остальные 183 используют 4-битное представление. Размер файла составляет около 1,84 ГБ. Доступны режимы без рассуждений для быстрых ответов и с рассуждениями для математики, планирования и многошагового кода. Модель поддерживает собственный формат tool calling, который через optiq serve преобразуется в вызовы инструментов, совместимые с OpenAI и Anthropic API. По приведённым тестам модель показывает высокие результаты в следовании инструкциям, математике, генерации кода и вызове инструментов, однако оценка извлечения информации из длинного контекста заметно ниже остальных показателей. К ограничениям относятся необходимость MLX и Apple Silicon для описанного локального сценария, зависимость качества от режима рассуждений и отсутствие заявленных мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

SillyTilly/mistralai_Mistral-Nemo-Instruct-2407 — разговорная instruct-модель, созданная на основе Mistral-Nemo-Base-2407 совместно Mistral AI и NVIDIA. Это трансформер Mistral с плотной архитектурой и 12,1 млрд параметров, дообученный следовать инструкциям и вести диалог. Модель предназначена для генерации ответов, выполнения инструкций и вызова функций. Она обучалась на многоязычных данных и коде; карточка заявляет окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 нативных токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Модель задумана как замена Mistral 7B и может применяться в чат-ботах и текстовых помощниках. Модель выпущена по лицензии Apache 2.0. В карточке она названа демонстрацией возможностей дообучения базовой модели; указано, что у неё нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_4M — квантованная сборка модели Mistral Small 4 от Jinho Jang и проекта JANGQ-AI, предназначенная для запуска на компьютерах Apple Silicon через MLX. Она основана на mistralai/Mistral-Small-4-119B-2603 и использует формат MLX safetensors с квантованием JANG 4.08 бит и вычислениями bfloat16. Модель содержит 119 млрд параметров, из которых активны около 6 млрд на токен. Архитектура включает 36 MoE-слоёв с 128 экспертами и выбором четырёх экспертов, MLA-внимание и визуальный энкодер Pixtral. Модель поддерживает диалог, рассуждения, генерацию кода и анализ изображений; README указывает максимальное разрешение изображений 1540 пикселей. В карточке перечислены английский, французский, немецкий, испанский, японский, корейский и китайский языки. Сборка рассчитана на запуск в MLX Studio; README также указывает поддержку oMLX. Для указанной конфигурации требуется около 68 ГБ оперативной памяти, а тест скорости приведён для M3 Ultra. Владелец публикует код квантования с открытым исходным кодом; модель распространяется по лицензии Apache-2.0. Приведённые скорости относятся к конкретному стенду и не гарантируют такие же результаты на других устройствах.

Nemotron 3 Nano 30B-A3B GGUF — квантованный вариант NVIDIA Nemotron 3 Nano 30B-A3B, подготовленный BatiAI для локального запуска на компьютерах Mac. Это гибридная языковая модель NemotronH с архитектурой Mamba и attention и смесью экспертов: в README указаны 30 млрд параметров, 128 экспертов и 8 активных на токен. Для выполнения используется llama.cpp; доступны варианты IQ3_XXS, IQ4_XS и Q5_K_M с разными требованиями к памяти. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев, включая работу с инструментами и структурированными ответами. README описывает её как рассчитанную на длинный контекст с линейным масштабированием гибридной архитектуры и приводит тесты на Mac с Apple Silicon. В метаданных указана поддержка английского, корейского, японского и китайского языков; сведения базовой модели каталога также упоминают шесть языков. Репозиторий содержит квантованные GGUF-веса, хотя метаданные форматов обозначают их как «GGUF BF16». Лицензия — NVIDIA Open Model License, названная в README коммерчески ориентированной; перед использованием следует проверить её условия для конкретного применения. Производительность и качество зависят от выбранной квантизации и доступной памяти.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Это GGUF-представление NVIDIA Nemotron 3.5 Lightning — гибридной языковой модели NVIDIA с архитектурой Mixture-of-Experts, слоями Mamba-2 и выборочными слоями Attention. Модель содержит 30 млрд параметров, из которых при генерации активны около 3 млрд; контекст достигает 1 млн токенов, а на одной H100 — 256 тыс. токенов. В карточке представлены варианты F16, Q4_K_M и Q5_K_M; метаданные также указывают GGUF BF16. Модель предназначена для диалога и генерации текста, включая задачи с кодом, математикой, наукой, вызовом инструментов и структурированными ответами. Она поддерживает настраиваемый режим рассуждений и английский, испанский, французский, немецкий, итальянский и японский языки. Контрольные результаты в README показывают конкурентный уровень, но уступание более крупным моделям NVIDIA в большинстве приведённых агентных задач программирования и рассуждений. Этот чекпойнт описан как полноточечная основа для дальнейшей настройки, адаптации и выпуска квантованных вариантов; для непосредственного развёртывания NVIDIA рекомендует сопутствующий NVFP4-вариант. Репозиторий заявлен под лицензией OpenMDW-1.1.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

JunLee88999/Qwen3.5-35B-A3B-heretic-v2-GGUF — GGUF-квантизации модели Qwen3.5-35B-A3B, разработанной командой Qwen. Это децензурированная версия, созданная на основе llmfan46/Qwen3.5-35B-A3B-heretic-v2 с применением Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation и Self-Organizing Map Abliteration. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений и текста. Архитектура исходной Qwen3.5 включает гибридные Gated Delta Networks и разреженную Mixture-of-Experts; размер модели — 35B с конфигурацией A3B. Указана поддержка 201 языка и диалекта. Для мультимодальной работы требуется отдельный vision projector в формате GGUF; доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Главная особенность версии — значительно меньшее количество отказов по сравнению с оригинальной моделью: 4 из 100 против 91 из 100, при заявленном KL divergence 0,0411, что указывает на относительно хорошее сохранение исходных возможностей. При этом снятие ограничений может повысить риски генерации нежелательного или небезопасного контента. README не содержит сведений о длине контекста и подробных результатах независимого тестирования. Лицензия — Apache-2.0.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next — открытая модель с весами от команды Qwen, построенная как причинная языковая модель с энкодером изображений. Она предназначена для диалогов, агентных сценариев и задач, где нужно анализировать изображения вместе с текстом. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, разреженную MoE-сеть и n-граммные эмбеддинги. В языковой части заявлено 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Модель имеет 48 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Карточка описывает оценки на задачах программирования, офисной продуктивности и работы с изображениями, а также режим рассуждений, включённый по умолчанию. Для интеграции разработчик рекомендует API. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория и у разработчика.

Qwen3.8-Flash-Next-mixed-NVFP4-FP8 — это квантованная версия Qwen3.8-Flash-Next, подготовленная командой Primitive AI. Модель предназначена для мультимодальных сценариев image-text-to-text, генерации текста, рассуждений и вызова инструментов. Она поддерживает работу через Transformers и vLLM, включая tool calling с thinking, parser qwen3_coder и speculative decoding MTP. Модель имеет размер около 183,7 ГБ и использует смешанную точность NVFP4, FP8 и BF16 в формате compressed-tensors. Полноразмерные и линейные attention-проекции переведены в FP8, что сокращает нагрузку на память и ускоряет декодирование. Заявлена работа на одной GPU Blackwell с 96 ГБ видеопамяти и примерно 100 ГБ оперативной памяти; измерения проводились при контексте 32 768 токенов и до 36 последовательностей. Нативный контекст базовой модели указан как 262 144 токена, а для более длинного контекста предлагается RoPE-масштабирование YaRN. По данным карточки, модель сохраняет сопоставимое с обычной NVFP4-сборкой качество при показателях 92,2 для knowledge, 84,8 для call и 56,7 для abstain, а также достигает 84,4 токена в секунду в однопоточном режиме и 526 токенов в секунду при concurrency 32. Основное ограничение — необходимость использовать переменную VLLM_GDN_DECODE_KERNEL=triton: стандартное CUDA-ядро может зависать при высокой конкуренции. Для запуска также требуются специальные параметры vLLM, значительный объём RAM и совместимое оборудование Blackwell. Модель распространяется по лицензии Qwen Community 1.0.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Tri-21B — авторская причинная языковая модель компании Trillion Labs для диалогов и генерации текста. Она предназначена для повседневного общения, ответов на вопросы, рассуждений, математических задач и генерации кода. По данным карточки, модель использует декодерный Transformer с RoPE, SwiGLU, RMSNorm и GQA, содержит 20,73 млрд параметров и имеет контекстное окно 8 192 токена. Модель обучалась на 2,3 трлн токенов; разработчики сообщают об улучшениях в обучении с подкреплением и настройке данных для рассуждений. Tri-21B оптимизирована для английского, корейского и японского языков. В README приведены результаты тестов на знания, рассуждения, программирование, математику и следование инструкциям. Эти результаты заявлены разработчиком и зависят от условий оценки. Для других языков качество может снижаться; знания ограничены данными примерно до февраля 2025 года. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять на странице репозитория Hugging Face.

Salience-1.5-Pro — мультимодальная модель класса vision-language, разработанная vectionlabs и представленная в GGUF-квантизациях автором bartowski. Она предназначена для работы с текстом и изображениями, задач рассуждения, программирования, software engineering, агентских сценариев и использования инструментов. В карточке также заявлены архитектура mixture-of-experts (MoE), поддержка длинного контекста и язык English; точный размер исходной модели и максимальная длина контекста не указаны. Модель содержит MTP-слои (Multi-Token Prediction), которые могут использоваться в llama.cpp для self-speculative decoding и ускорения генерации с параметром --spec-type draft-mtp. Доступны варианты от BF16 размером 71,07 ГБ до более компактных квантизаций Q8_0, Q6, Q5, Q4 и Q3; рекомендуемые варианты различаются балансом между качеством и требованиями к памяти. Ограничения включают зависимость от совместимого программного обеспечения и возможную необходимость обновления llama.cpp или других приложений при поддержке новой архитектуры. Распространение указано по лицензии Apache-2.0. Квантизации рассчитаны на запуск через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

BitNet b1.58 2B-4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям, генерации и обработки текста, а также задач, связанных с программным кодом и математикой. Модель обучена на 4 триллионах токенов и имеет около 2 миллиардов параметров. Архитектура основана на Transformer с модифицированными слоями BitLinear, позиционными представлениями RoPE, активацией ReLU² в FFN-слоях и нормализацией subln. Модель обучена с нуля с использованием нативного квантования: веса представлены в формате 1,58 бита с тернарными значениями {-1, 0, +1}, а активации — в 8-битном формате. Используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Заявленный максимальный контекст составляет 4096 токенов, поддерживаемый язык — английский. Ключевое преимущество модели — потенциально более низкие требования к памяти, энергопотреблению и задержке по сравнению с полноточными моделями сопоставимого размера. Для получения этих преимуществ рекомендуется специализированная реализация bitnet.cpp; при запуске через стандартную библиотеку transformers выигрыш в скорости, задержке и энергопотреблении не гарантируется и может отсутствовать, хотя потребление памяти может быть ниже. Для задач с контекстом существенно длиннее 4096 токенов рекомендуется предварительная адаптация модели к длинным последовательностям. Модель распространяется по лицензии MIT.

Calcium-Opus-14B-Elite — диалоговая языковая модель prithivMLmods, дообученная на базе Qwen/Qwen2.5-14B-Instruct. Это плотная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста, следование инструкциям и многошаговые рассуждения, включая решение математических задач и работу с кодом. Модель принимает текст и выдаёт текст; заявлена поддержка контекста до 131 072 токенов и генерации ответов длиной до 8 000 токенов. В README заявлена поддержка более 29 языков, в том числе английского, русского, китайского, французского, испанского, немецкого, японского и арабского. Карточка описывает улучшенное следование инструкциям, анализ таблиц и JSON, а также генерацию структурированных ответов. Модель доступна в формате Safetensors и использует библиотеку Transformers. Модель подходит для диалоговых помощников, объяснения решений, математических задач, генерации и отладки кода, а также обработки структурированных данных. Качество может различаться между языками; длинные ответы могут содержать ошибки или повторы, а актуальность знаний ограничена данными обучения. В README также отмечены высокие требования к вычислительным ресурсам, особенно при длинном контексте. Лицензия — Apache-2.0.

RedHatAI/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic — квантизированная версия модели DeepSeek-R1-Distill-Llama-70B, разработанная Neural Magic на базе модели DeepSeek. Это текстовая авторегрессионная модель с архитектурой LlamaForCausalLM: принимает текст и генерирует текст. Модель предназначена для задач рассуждения, ответов на вопросы, математических и общих языковых задач, а также для развертывания через vLLM и OpenAI-совместимый сервер. Модель содержит около 70 миллиардов параметров и использует FP8-квантизацию весов и активаций. Квантизации подвергаются линейные операции внутри трансформерных блоков; веса квантизируются по симметричной поканальной схеме, а активации — по симметричной потокенной схеме. Переход с 16-битного представления на 8-битное примерно вдвое сокращает размер модели на диске и требования к памяти GPU. Для квантизации использован LLM Compressor. В README не указаны поддерживаемые языки и максимальная длина контекста. По приведенным оценкам, FP8-версия сохраняет близкую к исходной точность на тестах рассуждения и OpenLLM Leaderboard, включая AIME 2024, MATH-500, GPQA Diamond, GSM8K и MMLU. Основное преимущество модели — снижение требований к памяти и возможность эффективного инференса на GPU, однако фактическая производительность зависит от оборудования и конфигурации vLLM. Модель распространяется по лицензии MIT.