II.7DevOps, облако и эксплуатация IT-систем

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия; версия Unsloth дообучена на базе meta-models/Muse-Glimmer-30B. Модель содержит около 29,6 млрд параметров и предназначена для локального запуска, в том числе на потребительском оборудовании. Лицензия — Apache 2.0. Модель рассчитана на агентные сценарии: многошаговое планирование, вызов инструментов, восстановление после ошибок и длительное выполнение задач. Она принимает изображения вместе с текстом и подходит для анализа скриншотов, графиков и документов, а также для программирования, генерации синтетических данных и оценки ответов других моделей. Аудио не поддерживается; видео отдельно не оптимизировано и обрабатывается покадрово. Языковое покрытие неоднородно: качество может снижаться для языков, на которых модель недостаточно оценивали. Модель может ошибаться в многошаговых рассуждениях, особенно в новых сценариях, и выдавать предвзятые или нежелательные ответы. Для агентных применений разработчикам рекомендуется проводить проверки безопасности и добавлять защитные механизмы, включая подтверждение необратимых действий.

mateussj выпустил объединённую модель Phi-3.5-mini-instruct-2x-v1 на основе microsoft/Phi-3.5-mini-instruct. Она использует архитектуру Phi-3 с плотной причинной языковой моделью на 3,7 млрд параметров и предназначена для диалогов и генерации текста по инструкциям. В README описано слияние методом TIES с помощью mergekit; базовая модель включена в конфигурацию с разными значениями плотности и весов. Модель принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Условия лицензии и отдельные языки этой версии в предоставленных данных не раскрыты; базовая модель описана как многоязычная.

RedHatAI/Qwen2-72B-Instruct-FP8 — это текстовая instruction-tuned модель для диалоговых и ассистентских сценариев, созданная Neural Magic на основе Qwen2-72B-Instruct. Модель принимает текст и генерирует текст; заявлена для коммерческого и исследовательского использования на английском языке. Модель содержит 72 млрд параметров и использует FP8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Симметричная поканальная схема не используется: применяется симметричная поквантовая схема с одним масштабным коэффициентом на тензор. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битной версией. Модель подготовлена для инференса через vLLM версии 0.5.0 и выше; в примерах развертывания и оценки используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам при сохранении качества исходной модели: средний результат на OpenLLM benchmark составляет 80,34 против 79,97 у неквантизированной версии. Ограничения включают ориентацию на английский язык, необходимость совместимого FP8-оборудования и программного стека для эффективного запуска, а также отсутствие в README сведений о поддержке изображений или других модальностей. Лицензия указана как tongyi-qianwen; применение должно соответствовать условиям этой лицензии и законодательству.

RedHatAI/Qwen3-32B-NVFP4 — квантованная версия языковой модели Qwen/Qwen3-32B, разработанная RedHatAI. Модель принимает текст и генерирует текст, предназначена для задач текстовой генерации и развёртывания через vLLM, включая совместимый с OpenAI API режим сервинга. Релиз модели состоялся 25 июня 2025 года, версия — 1.0. В модели применена FP4-квантизация весов и активаций линейных операторов внутри блоков Transformer. Квантизация выполнена с помощью LLM Compressor по схеме NVFP4; веса квантизуются с группой 16, а активации используют калиброванный глобальный масштаб. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. Для инференса заявлена совместимость с vLLM версии 0.9.1 и выше, возможен тензорный параллелизм на нескольких GPU. Модель сохраняет близкие к исходной Qwen3-32B результаты на указанных бенчмарках OpenLLM, MMLU, GSM8K, HellaSwag, ARC и HumanEval, однако FP4-квантизация может влиять на точность в отдельных сценариях. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, но документация ограничивает использование английским языком и запрещает применение с нарушением законодательства. Лицензия — Apache 2.0.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

Solstice-AI Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-mlx-oQ8e-1M — это релиз модели для Apple Silicon в формате MLX, созданный Solstice-AI на базе дообученной модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. Архитектурная основа принадлежит Qwen/Alibaba, дообучение выполнил DavidAU, а смешанную oQ8e-квантизацию подготовила Solstice-AI. В карточке указаны английский и китайский языки, лицензия Apache 2.0 и контекстное окно до 1 048 576 токенов. Модель предназначена для запуска на компьютерах Apple с unified memory и ориентирована на рассуждения, программирование, научные и многодисциплинарные задачи. Заявлены переменная глубина рассуждений через 10-уровневую систему управления thinking, нативная аппаратная Multi-Token Prediction и скорость 58–74 токена в секунду на потребительских и профессиональных чипах Apple Silicon. Формат oQ8e использует смешанную точность и повышенную разрядность для чувствительных компонентов, включая проекции внимания, матрицы MLP и нормализационные тензоры. К сильным сторонам относятся большой контекст, оптимизация под Metal и Apple Silicon, поддержка аппаратного MTP, гибкое управление глубиной рассуждений и ориентация на кодирование и reasoning. Ограничениями являются требование не менее 64 ГБ unified memory для конфигурации oQ8e, зависимость от MLX/mlx-lm и отсутствие в README подробностей о фактической мультимодальности, несмотря на заявленный pipeline image-text-to-text. Модель обозначена как uncensored и abliterated, поэтому её поведение в части отказов от потенциально вредных запросов может отличаться от стандартных версий.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel; в карточке указано 11,4 млрд параметров и контекст до 8192 токенов. Она предназначена для многоходового общения, ответов на вопросы, работы с кодом, математическими задачами и вызова внешних инструментов. Модель обучена на китайских, английских и других данных; токенизатор на основе tiktoken использует словарь примерно из 150 тысяч токенов, оптимизированный для китайского, английского и кода. README сообщает результаты оценок на C-Eval, MMLU, GSM8K и HumanEval, но они не гарантируют качество в конкретном применении. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

NoxNotreve/Ternary-Bonsai-2-27B-gguf — компактная GGUF-версия Bonsai 2 27B, разработанная проектом Prism ML на основе Qwen3.8-27B. Это авторегрессионная языковая модель для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. Она предназначена для локального запуска через llama.cpp на CPU, GPU с CUDA или устройствах Apple с Metal, включая стандартные ноутбуки и одноплатформенные конфигурации. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру с примерно 75% линейного и 25% полного внимания, SwiGLU, RoPE и RMSNorm. Заявленная длина контекста составляет 262 тысячи токенов. Языковая часть, включая эмбеддинги, проекции внимания, MLP и выходную голову, представлена в троичном формате со значениями −1, 0 и +1, групповым масштабированием FP16 и эффективной плотностью около 1,72 бита на параметр. Доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрена отдельная vision tower в формате Q8_0, поэтому модель поддерживает текстовый режим и опциональный мультимодальный ввод при наличии соответствующего пакета. Сильные стороны модели — существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, математики, программирования и агентского поведения в сверхнизкой разрядности, а также пригодность для локального использования. Согласно README, она сохраняет 98,2% показателей FP16 на наборе из 14 тестов, однако эти результаты зависят от методики оценки и совместимых низкоразрядных ядер. Для работы требуются версии llama.cpp с поддержкой кастомных троичных ядер; стандартные реализации могут не загрузить файл или не обеспечить заявленную производительность. Модель распространяется по лицензии Apache 2.0.

WizardLM-70B-V1.0 — большая языковая модель команды WizardLM, выпущенная в августе 2023 года. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и 68,7 млрд параметров; репозиторий содержит веса PyTorch. Модель предназначена для генерации текста и диалогов, в том числе многоходовых бесед по формату запросов, совместимому с Vicuna, и ответов на сложные инструкции. В карточке приведены результаты на MT-Bench, AlpacaEval, GSM8K и HumanEval; они указывают на возможности диалога, решения математических задач и генерации кода. Контекст модели составляет 4096 токенов. Для использования указана лицензия Llama 2; следует соблюдать её условия. Карточка не сообщает о поддержке изображений, аудио или иных модальностей помимо текста.

Карточка модели jondurbin/airoboros-33b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

Карточка модели jondurbin/airoboros-l2-70b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

DeepSeek-V3.2-Speciale — крупная языковая модель, разработанная DeepSeek AI. Она представляет собой высокоресурсный вариант DeepSeek-V3.2, дообученный на базе DeepSeek-V3.2-Exp-Base, и ориентирована на сложное рассуждение, решение математических и алгоритмических задач, использование инструментов и работу в агентных сценариях. Модель использует механизм разреженного внимания DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при работе с длинным контекстом. В DeepSeek-V3.2 также применяются масштабируемое обучение с подкреплением и конвейер синтеза данных для агентных задач, включая взаимодействие с инструментами. В README не указаны размер модели, точная архитектура, максимальная длина контекста, поддерживаемые языки и модальности; заявлена текстовая работа с сообщениями и инструментами. К сильным сторонам относятся развитое рассуждение, эффективность на длинном контексте и способность выполнять сложные интерактивные задачи. Для версии Speciale заявлены результаты на уровне или выше GPT-5, а также золотые медали на IMO и IOI 2025, однако эти утверждения приведены в README без подробностей о методике оценки. Ограничения включают отсутствие встроенного Jinja-шаблона чата и необходимость использовать предоставленный Python-код для кодирования сообщений и разбора ответов; функция разбора рассчитана только на корректно оформленный вывод. Модель распространяется по лицензии MIT.

puwaer/DeepSeek-V4-Flash-0731-reap-150b-gguf — GGUF-сборка модели puwaer/DeepSeek-V4-Flash-0731-reap-150b, подготовленная для llama.cpp с использованием moe-compress и llama.cpp. Это текстовая генеративная модель класса Mixture-of-Experts (MoE), созданная на основе DeepSeek-V4-Flash-0731 и сжатая методом REAP: в каждом слое используется 132 маршрутизируемых эксперта вместо 256 в базовой модели. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. В GGUF встроен шаблон чата с включённым по умолчанию режимом reasoning; поддерживаются вызовы инструментов через OpenAI-совместимый интерфейс. Доступны варианты MXFP4_MOE размером 79,21 GiB, а также Q3_K_M, IQ3_XXS и Q2_K размером от 66,07 до 58,11 GiB. Вариант MXFP4_MOE битово идентичен исходному checkpoint, тогда как остальные являются повторной квантизацией уже 4-битных данных и могут сильнее снижать качество. Рекомендуется полный GPU offload; проверенный размер контекста — 4096 токенов. Базовый вариант помещается в одну видеокарту с 96 GB памяти. Сильные стороны модели — существенно меньший размер по сравнению с базовой моделью, сохранение высокой производительности после экспертного pruning и поддержка llama.cpp. Для REAP 150b приведены результаты исходного checkpoint: GSM8K — 0,9295, MATH-500 — 0,7140, HumanEval+ — 0,8963 и MBPP+ — 0,7593; отдельные варианты квантизации не тестировались, поэтому их влияние на точность не измерено. Языки и максимальный контекст модели в README не указаны. Распространение заявлено по лицензии MIT.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.

Dolphin 2.9 Llama 3 8B GGUF — квантизированная версия модели cognitivecomputations/dolphin-2.9-llama3-8b, разработанная и обученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Модель создана на базе Meta Llama 3 8B с использованием llama.cpp и полным дообучением всех параметров в формате ChatML. Указано, что обучение проводилось на последовательностях длиной 4 096 токенов, а базовая модель поддерживает контекст до 8 000 токенов. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, решения математических задач, начальных агентских сценариев и function calling. В обучении использовались наборы данных для диалогов, кода, инструкций, tool use и математических задач, включая Dolphin 2.9, OpenHermes 2.5, CodeFeedback, Dolphin Coder, UltraChat и Orca Math. Модель рассчитана на работу с текстом; поддерживаемые языки явно не указаны. К сильным сторонам относятся сочетание разговорных, инструкционных и кодовых навыков, а также начальная поддержка инструментов и вызова функций. Модель описана как uncensored и высоко послушная, поэтому перед предоставлением доступа через сервис рекомендуется самостоятельно добавить слой фильтрации и выравнивания; безопасность и корректность результатов не гарантируются. Лицензия указана как Meta Llama 3 Community License Agreement; коммерческое использование допускается только в пределах условий этой лицензии.

Карточка модели omegaT4224/Emulator.exe на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

GLM-4-32B-0414 — плотная авторегрессионная языковая модель семейства GLM-4 от Z.ai с 31,6 млрд параметров. Она предназначена для диалогов и генерации текста; карточка отмечает интерфейс вызова инструментов. Модель обучалась на больших объёмах данных, а этап постобучения включал выравнивание по предпочтениям людей и улучшение следования инструкциям, написания кода и вызова функций. Модель подходит для генерации и объяснения кода, ответов на вопросы с опорой на поиск, подготовки отчётов и выполнения агентных задач с инструментами. В README указана поддержка удобного локального развертывания. Контекст составляет 32 768 токенов; заявлены китайский и английский языки. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. README содержит посторонний фрагмент о детской литературе и не предоставляет технических сведений о производительности модели, поэтому её заявленные сильные стороны следует считать описанием разработчика, а не независимой оценкой. Также в карточке приведены материалы о других моделях серии GLM, которые не следует приписывать этой модели.

Карточка модели tactBagel/GLM-4.6-Derestricted-v3 на Hugging Face совпадает с карточкой ArliAI/GLM-4.6-Derestricted-v3, поэтому описание составлено по ней. GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

GLM-4.7-Flash — языковая модель для генерации текста, разработанная организацией Z.ai. Это MoE-модель класса 30B-A3B, предназначенная для лёгкого локального развёртывания с балансом между качеством и эффективностью. Представленная версия распространяется в формате GGUF и создана с использованием llama.cpp. Модель ориентирована на рассуждение, программирование, агентские сценарии, работу с инструментами и многошаговые диалоги. В README указана поддержка английского и китайского языков. Среди заявленных результатов — высокие показатели в AIME 25, GPQA, HLE, SWE-bench Verified, τ²-Bench и BrowseComp, однако эти результаты относятся к исходной модели и зависят от настроек оценки. Для локального запуска также заявлена совместимость с vLLM, SGLang и transformers. GGUF-версии используют квантизацию, в которой отдельные важные слои переводятся на более высокую точность для улучшения качества при заданном размере файла; компромиссом является увеличение объёма модели. В README не указаны размер контекста, полный перечень модальностей, требования к оборудованию и конкретные параметры отдельных квантов. Лицензия модели — MIT.

GLM-5.3-Flash — разработанная Z.ai модель семейства GLM-5, опубликованная RedHatAI в формате BF16. Это плотная мультимодальная модель с архитектурой GLM5 Next: всего 320 млрд параметров, из которых активно используются 18 млрд. Она сочетает разреженное и линейное внимание для более экономичной обработки длинных контекстов и предназначена для диалогов, программирования и агентных сценариев. Модель обучена с нуля на мультимодальном корпусе из 30 трлн токенов. В README заявлена поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers; метаданные Hugging Face указывают библиотеку Transformers и возможность чата. Метки карточки указывают английский и китайский языки. Лицензия — MIT. В предоставленных данных не приведены численные результаты независимой оценки качества или ограничения по аппаратным требованиям.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

K2-Horizon-32B MLX 4-bit — 4-битная квантованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, разработанной Institute of Foundation Models. Репозиторий преобразует исходную модель в формат MLX для запуска на компьютерах Apple Silicon; заявленный размер после квантования — около 18 ГБ. Модель содержит около 31,2 млрд параметров и поддерживает контекст до 524 288 токенов. Модель предназначена для генерации текста и диалогов с длинным контекстом, рассуждений, программирования и агентных задач. README описывает её как reasoning-модель и приводит результаты на tau3 Banking Agentic, Terminal-Bench 2.1 и SciCode. Для запуска указана библиотека mlx-lm; для поддержки специфичных форматов размышлений и вызовов инструментов README требует oMLX версии 0.6.4 или новее с патчем K2-Horizon. Это квантованная производная исходной модели, а не отдельное дообучение: README называет её равномерной 4-битной квантовкой IFM/K2-Horizon-32B, хотя метаданные помечают связь как finetune. В карточке указано, что опубликован Stage 1 checkpoint и ожидается финальная версия с улучшенными результатами, поэтому приведённые показатели следует считать предварительными. Лицензия — Apache-2.0.

WhiskyAKM публикует GGUF-версию K2-Horizon-MoVA-36B-A4B, производной от IFM/K2-Horizon-MoVA-36B-A4B. Это разрежённая языковая модель архитектуры MoE с механизмом внимания Mixture-of-Values: всего 36 млрд параметров, из которых активны 4 млрд на токен. Модель предназначена для генерации текста и диалогов, рассуждений, программирования и агентных задач с использованием инструментов. Репозиторий содержит квантизованные в NVFP4 веса в формате GGUF для запуска через llama.cpp и совместимые движки. Заявленное контекстное окно — 524 288 токенов. Карточка отмечает английский язык. Лицензия — Apache-2.0. Для NVFP4 автор указывает оптимизацию под NVIDIA Blackwell и совместимое оборудование; фактическая производительность и доступность поддержки зависят от движка и аппаратуры.

NVIDIA Kimi-K2.5-Thinking-Eagle3 — текстовая авторегрессионная модель, основанная на Moonshot AI Kimi-K2.5 и включающая Eagle3 для спекулятивного декодирования с Model Optimizer. В метаданных указаны архитектура Eagle3DeepseekV2ForCausalLM семейства Kimi-K2, 1,8 млрд параметров и контекст до 262 144 токенов. Модель предназначена для разработчиков чат-ботов, RAG-систем, AI-агентов и других приложений, а также для выполнения инструкций, диалога, генерации кода и рассуждений. Принимает текст и выдаёт текст. NVIDIA ориентирует её на системы с GPU NVIDIA; в README указаны TensorRT-LLM, Linux и совместимость с NVIDIA Blackwell. README заявляет возможность коммерческого и некоммерческого использования. Следует соблюдать NVIDIA Open Model License и условия Modified MIT License Kimi-K2.5. Для применения в конкретном сценарии нужна проверка на профильных данных; README также отмечает, что меры по снижению нежелательной предвзятости не указаны.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Карточка модели Undi95/Meta-Llama-3-8B-Instruct-hf на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.