II.3Рефакторинг, миграция и модернизация

Zen Pro — диалоговая языковая модель общего назначения, разработанная Hanzo AI и Zoo Labs Foundation на основе Qwen/Qwen3-8B. Это плотный авторегрессионный трансформер семейства Qwen3 с 7,6 млрд параметров, дообученный с обучением идентичности Hanzo, данными для агентных сценариев и abliteration. Модель предназначена для генерации текста, диалога, рассуждений и анализа; доступна через API Hanzo и в формате Transformers с весами safetensors. Модель принимает текст и генерирует текст. Контекстное окно составляет 40 960 токенов. В метаданных указан английский язык; базовая Qwen3-8B описана как многоязычная, но основным языком Zen Pro в карточке заявлен английский. Модель выпущена по лицензии Apache-2.0. Карточка отмечает, что чекпойнт архивирован и уступил место поколению zen5.

jondurbin выпустил эту плотную авторегрессионную модель семейства LLaMA с 12,9 млрд параметров, дообученную на синтетических данных, созданных GPT‑4. Она генерирует текст в формате диалога Vicuna и предназначена для ответов на вопросы, рассуждений, работы с викторинами, математическими задачами, кодом, заданиями с выбором ответа и пропусками, а также для ответов по предоставленному контексту. Особенность модели — обучение следовать заданному контексту и по возможности ограничивать ответы сведениями из него, чтобы уменьшить галлюцинации. Репозиторий содержит веса PyTorch; заявленное метаданными контекстное окно — 4096 токенов, однако автор предупреждает, что работа на такой длине не проверена и качество может снижаться за пределами примерно 2048 токенов. Модель основана на LLaMA, для которой README описывает использование шаблона Vicuna; лицензия CC BY-NC 4.0 допускает использование с ограничением на коммерческое применение.

DeepHermes 3 Llama 3 8B Preview — языковая модель Nous Research на архитектуре Llama, дообученная на базе meta-llama/Meta-Llama-3.1-8B. Это предварительная версия общей разговорной модели с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель поддерживает диалог в формате Llama-Chat и переключение между обычными ответами и режимом рассуждения с помощью системного промпта. Модель предназначена для генерации ответов, многошаговых диалогов, ролевого общения и задач, где полезны рассуждение и объективность. Она также поддерживает интерфейс вызова функций и структурированные ответы в JSON; вызов инструмента выполняет внешняя система, которая обрабатывает ответ модели и передаёт ей результат. Карточка описывает модель как preview с ранними возможностями рассуждения и предупреждает о возможных особенностях и проблемах. Включение режима рассуждения требует специального системного промпта, а для сложных запросов может понадобиться увеличить лимит генерируемых токенов. Указана лицензия Llama 3; применяйте модель с учётом её условий.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

NVIDIA Llama 3.1 405B Instruct FP8 — версия Meta Llama 3.1 405B Instruct, квантизованная NVIDIA до FP8 с помощью TensorRT Model Optimizer. Это плотная авторегрессионная Transformer-модель семейства Llama с примерно 403,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Окно контекста составляет до 131 072 токенов. Модель предназначена для диалоговых систем и генерации ответов по инструкциям, а также для инференса через TensorRT-LLM или vLLM. По данным README, FP8-квантизация весов и активаций линейных операторов в блоках трансформера уменьшает требования к диску и видеопамяти примерно вдвое; на H200 заявлено ускорение примерно в 1,7 раза. README указывает совместимость с NVIDIA Blackwell, Hopper и Lovelace. Модель построена на базе Meta-Llama-3.1-405B-Instruct и не является разработкой NVIDIA: README уточняет, что NVIDIA подготовила её под требования конкретного сценария. Лицензия — Llama 3.1; карточка заявляет готовность к коммерческому и некоммерческому использованию в рамках её условий.

DavidAU/Llama3.1-MOE-4X8B-Gated-IQ-Multi-Tier-Deep-Reasoning-32B-GGUF — текстовая instruct-модель, разработанная DavidAU на базе Llama 3.1 и объединяющая четыре 8B-модели в конфигурации Mixture of Experts. В состав входят Llama-3.1-DeepHermes-3-8B-Preview для рассуждений, а также Llama-3.1-Hermes-3-8B, Llama-3.1-dolphin-2.9.4-8b и Llama-3.1-SuperNova-Lite для генерации и дополнительной обработки. Заявленный общий размер — 32B параметров, при этом модель описывается как имеющая около 25B весов. Распространяется в формате GGUF и рассчитана на контекст до 128K токенов. Модель предназначена для текстовой генерации, глубокого рассуждения, решения задач, творческого письма, сторителлинга, ролевых сценариев и работы с инструментами. Поддерживает управление режимом рассуждений через системные промпты, включая включение, отключение и многоуровневое рассуждение, а также совместима с вызовами инструментов благодаря встроенному Llama 3.1 Instruct. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Сильными сторонами являются сочетание нескольких экспертных моделей, возможность управлять режимом рассуждений и универсальность сценариев применения. README рекомендует шаблон Llama 3 Instruct, контекст не менее 4K–8K токенов и более крупные квантизации для лучшего качества. К ограничениям относятся возможная нестабильность активации блока рассуждений, необходимость повторной генерации и зависимость качества от промпта, температуры и выбранной квантизации; заявленные улучшения производительности не подтверждены независимыми бенчмарками. Лицензия — Apache-2.0.

Llama-3-Swallow-70B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, основанная на Meta Llama 3. Модель прошла дополнительное предобучение с упором на японские данные, а версия Instruct — дообучение с учителем и настройку Chat Vector. Это плотная модель семейства Llama с 69,5 млрд параметров, принимающая и генерирующая текст; окно контекста составляет 8192 токена. Модель предназначена для диалога и выполнения инструкций на японском и английском языках. Среди проверявшихся задач — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. В README приведены результаты на японских и английских бенчмарках, включая MT-Bench JA. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Метаданные указывают лицензию Llama 3 (llama3); перед использованием следует учитывать её условия.

neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3-2 методом SLERP. Это плотная архитектура Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, следования текстовым инструкциям и генерации текста общего назначения. В метаданных указана лицензия Apache-2.0. Данных о специальных ограничениях качества или целевых областях применения в предоставленной карточке нет.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B — извлечённый из семейства NVIDIA Nemotron Labs 3 Elastic 12B вариант языковой модели, опубликованный DavidAU. Модель предназначена для диалогов, генерации текста и задач рассуждения. В ней 946,5 млн параметров по метаданным; архитектура Nemotron H, а базовая модель — NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16. В README для семейства описана гибридная архитектура Mamba, Transformer и MoE с 128 экспертами, из которых активируются 8; вариант 12B указан как содержащий 2B активных параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов по метаданным. Указаны английский, немецкий, испанский, французский, итальянский и японский языки. README сообщает о коротких блоках рассуждений и готовности к дальнейшей настройке. Лицензия обозначена как other, а README заявляет о коммерческой применимости, поэтому условия следует проверять по лицензии исходной модели и карточке репозитория.

Omega AI 50B — разговорная текстовая модель семейства Omega AI, опубликованная K168-V0JL как reference repository. Это дообученная производная NVIDIA Llama-3.3-Nemotron-Super-49B-v1 с плотной архитектурой DeciLMForCausalLM; в метаданных указано 87 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для текстовой генерации и диалоговых сценариев. README сообщает, что репозиторий служит справочным, а брендинг Omega AI не меняет архитектуру или исходные веса базовой модели. Для исходной модели NVIDIA каталог указывает применение в англоязычных диалогах, рассуждениях, программировании, RAG и агентных приложениях; эти сведения описывают базовую модель и не подтверждены отдельно для производной Omega AI. Файлы опубликованы в формате safetensors. Условия лицензии и атрибуции исходной модели продолжают действовать; конкретная лицензия в предоставленных данных не указана.

QRWKV-QwQ-32B — 32-миллиардная языковая модель от Featherless AI, созданная в рамках проекта RADLADS. Авторы преобразовали Qwen/QwQ-32B в вариант с линейным вниманием RWKV, используя дистилляцию внимания; модель унаследовала знания и языковые данные родительской модели. Она предназначена для диалогов и генерации текста, включая рассуждения при выводе, а также поддерживает интерфейс вызова инструментов. Модель использует плотную архитектуру RWKV6Qwen2, работает с контекстом до 131 072 токенов и распространяется в формате safetensors через Transformers. В README приведены результаты ряда бенчмарков, где QRWKV-QwQ-32B в некоторых тестах немного превосходит Qwen/QwQ-32B. Авторы заявляют о снижении вычислительных затрат при работе с длинным контекстом; модель поддерживает около 30 языков, унаследованных от семейства Qwen. Лицензия — Apache-2.0. Для запуска через Transformers требуется разрешить загрузку удалённого кода. Результаты тестов ограничены указанными настройками оценки и сами по себе не гарантируют качество на прикладных задачах; в README также отмечено, что модель имеет ограничения по числу поддерживаемых языков по сравнению с более ранними многоязычными моделями RWKV.

DavidAU/Qwen3-30B-A6B-16-Extreme — дообученная версия многоэкспертной языковой модели Qwen3, в которой для обработки каждого запроса активируются 16 экспертов вместо стандартных 8. По описанию автора, модель использует около 6 млрд активных параметров из 30 млрд и рассчитана на более сложные запросы, где могут быть полезны дополнительные нюансы и глубина ответа. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текстовые запросы и выдаёт текст; автор указывает контекст около 32 тыс. токенов плюс до 8 тыс. токенов на ответ. Репозиторий содержит полноточные веса в safetensors и может использоваться через Transformers или служить источником для создания квантованных вариантов. Увеличенное число активных экспертов снижает скорость генерации примерно вдвое относительно версии с 8 экспертами; фактическая скорость зависит от оборудования и настроек. Модель создана DavidAU на базе Qwen/Qwen3-30B-A3B-Base. В карточке указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензирования этой производной в предоставленных данных не приведены.

coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3-VL-235B-A22B-Instruct-FP8-dynamic — мультимодальная instruction-tuned модель, разработанная Red Hat на базе Qwen/Qwen3-VL-235B-A22B-Instruct. Она принимает текст, изображения и видео, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального содержимого, ответов на вопросы по изображениям и видео, а также решения текстовых, математических, рассуждательных и визуальных задач. Модель использует архитектуру Qwen3VLMoeForConditionalGeneration и имеет 235 млрд параметров, из которых 22 млрд активируются для отдельного токена, согласно идентификатору базовой модели. Вариант FP8-dynamic применяет FP8-квантизацию весов и активаций линейных слоёв трансформерных блоков с динамической квантизацией токенов для активаций и поканальной квантизацией весов. Это примерно вдвое уменьшает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. В README не указаны поддерживаемые языки и максимальная длина контекста. Для развёртывания приведён vLLM с tensor parallelism на четырёх GPU. К сильным сторонам относятся мультимодальность, снижение требований к памяти и близкое к исходной модели качество на приведённых тестах: например, восстановление показателей составляет 99,2–100,5% на задачах OpenLLM V1, включая ARC-Challenge, GSM8K, HellaSwag, MMLU и TruthfulQA. Ограничения включают необходимость производительной GPU-инфраструктуры и совместимого ПО для FP8 и формата compressed-tensors; численные результаты приведены только для ограниченного набора тестов, а влияние квантизации на другие сценарии не раскрыто. Модель распространяется по лицензии Apache-2.0.

samantha-1.2-mistral-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi методом слияния mistralai/Mistral-7B-Instruct-v0.2 и cognitivecomputations/samantha-1.2-mistral-7b. Она предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP. Репозиторий содержит веса safetensors, а README указывает тип данных bfloat16. Модель распространяется по лицензии Apache-2.0. Источники не описывают специальные предметные области или конкретные ограничения качества.

Wiederchat-7b-dpo-laser — чат-модель для генерации текста, созданная mayflowergmbh. Это объединение трёх моделей на архитектуре Mistral: mlabonne/OmniTruthyBeagle-7B-v0, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Веса представлены в формате safetensors; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов. В README приведены результаты оценки Mt-Bench-De, включая категории письма, ролевого общения, рассуждений, математики, программирования, извлечения информации, STEM и гуманитарных дисциплин. Базовая модель описана как немецкоязычная, поэтому немецкий — основной язык модели; результаты теста сами по себе не гарантируют качество в конкретных сценариях. Условия лицензирования в предоставленных данных не описаны.

ZEUS-8B-V20 — объединённая языковая модель семейства Llama 3.1, созданная автором репозитория T145 с помощью mergekit. В слиянии DARE TIES использованы unsloth/Meta-Llama-3.1-8B-Instruct в качестве основы, а также Llama-3.1-Storm-8B, Llama-3.1-SuperNova-Lite, Llama-3.1-8B-Lexi-Uncensored-V2 и Llama-3.1-SauerkrautLM-8b-Instruct. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и предназначена для диалогов и генерации текста; доступен интерфейс для вызова инструментов. Контекст — до 131 072 токенов. В README приведены результаты оценки, включая 79,56% на IFEval и 32,22% на BBH. Модель распространяется в формате safetensors. Лицензия и сведения о языковом охвате в предоставленных данных отсутствуют.

ZEUS-8B-V8 — объединённая языковая модель, опубликованная пользователем T145 и созданная с помощью mergekit. В основе объединения лежит unsloth/Meta-Llama-3.1-8B-Instruct; также использованы SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA, arcee-ai/Llama-3.1-SuperNova-Lite и akjindal53244/Llama-3.1-Storm-8B. Применён метод DARE TIES. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — до 131 072 токенов; поддерживаются интерфейсы чата и вызова инструментов. В карточке приведены результаты оценивания, включая IFEval и BBH. Модель принимает текст и генерирует текст. README не уточняет языковой охват и не описывает детально ограничения качества. Лицензия — llama3.1.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

Citaman/command-r-33-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью слияния моделей через mergekit и метод SLERP. В конфигурации использована Citaman/command-r-34-layer с диапазонами слоёв [0, 33] и [1, 34]; результат предназначен для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель содержит 29,2 млрд параметров, построена на плотной архитектуре CohereForCausalLM и принимает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.

Snowball GLM 5.3 RLVR SFT — диалоговая MoE-модель семейства Grug, разработанная open-athena. Это дообученный чекпойнт open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21: модель обучали с учётом только ответов ассистента на 5 000 диалогах GLM 5.3 RLVR, используя последовательности длиной 32 768 токенов и 136 шагов оптимизации. Модель предназначена для генерации текста в диалоге, рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 262 144 токенов и имеет 2,8 млрд параметров; формат весов — safetensors. Лицензия — OpenMDW 1.1, унаследованная от базовой модели.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — квантизированная версия текстовой генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для диалоговых сценариев, генерации текста и использования инструментов; в README также указана совместимость с LlamaEdge. Поддерживается английский язык, модальность — текстовая. Модель основана на Llama 3.1 с размером 8B параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от 2 до 8 бит, а также f16, с размером файлов примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с очень небольшими потерями качества. Более агрессивная квантизация уменьшает требования к ресурсам, но может существенно ухудшать качество ответов. Лицензия указана как llama3.1. Для работы требуется совместимое программное обеспечение, например LlamaEdge версии 0.14.0 или выше, с шаблоном запросов llama-3-chat; README также описывает режим использования инструментов.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

Это дообученная модель генерации текста artificialguybr на базе Meta Llama 3.2 1B, настроенная на наборе инструкций и диалогов OpenHermes-2.5. Она построена на плотной авторегрессионной архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает и генерирует текст, включая код, и рассчитана прежде всего на английский язык, с возможностью работы на других языках Llama 3.2. Модель предназначена для диалогового помощника и агентных сценариев: следования инструкциям, поиска знаний, суммаризации и переформулирования запросов. Компактный размер упрощает запуск по сравнению с крупными моделями, но качество и надёжность могут быть ограничены размером базовой модели и данными дообучения. Возможны смещения и неподходящие ответы; для чувствительных сценариев необходима проверка результатов. Лицензия — Llama 3.2 Community License (llama3.2), с соблюдением её условий и Acceptable Use Policy.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.

MiniMax-Text-01 — большая языковая модель компании MiniMax для диалогов и генерации текста. В README указаны 456 млрд параметров, из которых на каждом токене активируются 45,9 млрд; архитектура сочетает Lightning Attention, Softmax Attention и смесь экспертов MoE с 32 экспертами и маршрутизацией Top-2. Метаданные каталога при этом указывают 21,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для диалоговых приложений, задач генерации текста и работы с длинными контекстами. README сообщает о контексте до 1 млн токенов при обучении и до 4 млн при инференсе, тогда как метаданные указывают нативное окно в 10 240 000 токенов. Поддерживаются вызов функций со структурированными JSON-параметрами и интеграция с форматом OpenAI-compatible; заявлены результаты на академических тестах и бенчмарках длинного контекста. README рекомендует vLLM для развёртывания и описывает доступ к модели через онлайн API и чат-бот. Условия лицензирования в предоставленных данных не указаны. Языки модели также не установлены по доступным сведениям.