II.7DevOps, облако и эксплуатация IT-систем

Qwen2.5-32B-Instruct-4bit — преобразованная в формат MLX инструктивная языковая модель семейства Qwen2.5, опубликованная сообществом mlx-community на основе Qwen/Qwen2.5-32B-Instruct. Она предназначена для диалоговой генерации текста и выполнения пользовательских инструкций; доступен интерфейс для вызова инструментов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в safetensors; README указывает на конвертацию с помощью mlx-lm 0.18.1. Метаданные указывают лицензию Apache-2.0. Карточка модели и метаданные не описывают специальную предметную область; английский указан среди поддерживаемых языков.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

AMAImedia выпустила эту сборку в рамках платформы NOESIS; это текстовая версия NeoHorse-1-9B, объединённая из Qwen/Qwen3.5-9B и TokenRhythm/NeoHorse-1-9B. Модель использует плотную архитектуру Qwen3.5 для генерации текста и диалога, а репозиторий содержит GGUF и safetensors; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Исходный NeoHorse дообучен для работы с агентными сценариями, инструментами, кодом и инструкциями, а в README для этой сборки также описана абляция отказов (abliteration). Модель ориентирована на многоязычный текстовый вывод, включая английский, русский, китайский и другие языки из метаданных. Она подходит для локального диалога, следования инструкциям, задач программирования и текстовых агентных систем с инструментами. Заявленные результаты NeoHorse относятся к исходной модели; README не приводит отдельной оценки качества именно этой сборки. Это текстовая сборка без весов зрения, а запуск примеров для перепакованного релиза на GPU не проверен. Лицензия — Apache-2.0.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Это квантованная сборка Qwen3.8-27B, подготовленная автором репозитория для запуска на Apple Silicon через oMLX. В основе — плотная мультимодальная архитектура Qwen3.5 с 27,8 млрд параметров, гибридом GatedDeltaNet и полнослойного attention, визуальным модулем в стиле SigLIP и контекстом до 256 тыс. токенов. Веса квантованы методом AWQ в среднем до 4,85 бита на параметр; размер сборки — 16,83 ГБ. Модель предназначена для диалогов, анализа изображений, программирования, математических и многошаговых задач. В README приведены результаты HumanEval, GSM8K и MMLU, близкие к исходной версии bf16 на использованных тестовых выборках. Интерфейс поддерживает вызов инструментов; для ускорения генерации доступна голова MTP. Для корректной загрузки требуется oMLX: README предупреждает, что другие загрузчики могут неверно обработать веса и выдавать некорректный текст. Для быстрой обработки длинного префикса требуется настроить указанные в карточке переменные окружения, пока исправление не включено в oMLX. Лицензия — Apache-2.0. Указанные языки в карточке модели не перечислены.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-init30turns-thinking-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Qwopus3.6-35B-A3B-v1-GGUF — экспериментальная мультимодальная модель, разработанная Jackrong на базе Qwen3.6-35B-A3B от Alibaba Cloud. Она дообучена методом SFT с применением LoRA для усиления рассуждений, структурированности ответов и согласованности поведения. Модель предназначена для генерации текста, глубокого рассуждения, программирования, агентских сценариев, диалогов, работы с изображениями и вызова инструментов. В основе лежит разреженная MoE-архитектура: 35 млрд параметров всего и около 3 млрд активных параметров на токен, с маршрутизацией через 256 экспертов. Архитектура сочетает линейное внимание Gated DeltaNet со стандартными слоями gated attention и поддерживает контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Для работы с изображениями требуется отдельный файл mmproj.gguf. Сильными сторонами заявлены качество и надёжность рассуждений, высокая эффективность инференса и поддержка длинного контекста, мультимодальности и tool calling. Модель распространяется в формате GGUF и ориентирована на запуск через совместимые инструменты, включая llama.cpp. При этом она не прошла полную оценку производительности и безопасности, поэтому подходит прежде всего для исследований и экспериментов; заявленные результаты получены в независимом тестировании квантованной версии и могут зависеть от условий. Лицензия — Apache-2.0.

Solar Open 2 — открытая по весам большая языковая модель компании Upstage для агентных сценариев, офисной продуктивности, работы с документами и программирования. В карточке модель обозначена как 250B-A15B: архитектура Hybrid-Attention Mixture-of-Experts содержит около 250 млрд параметров, из которых на каждом токене активируется около 15 млрд. Метаданные указывают архитектуру SolarOpen2ForCausalLM, формат safetensors и поддержку text-generation; модель также описана как чат-модель. Гибридная архитектура чередует слои линейного и softmax-внимания и рассчитана на эффективный инференс при длинном контексте. Заявленная длина контекста — до 1 048 576 токенов. Модель предназначена для многошагового рассуждения, вызова инструментов и выполнения задач; в README указаны английский, корейский и японский языки. Для локального запуска приведены требования к нескольким GPU с большим объёмом памяти, а для продакшен-сервинга рекомендован vLLM. В README не приведены конкретные условия лицензии: метаданные обозначают её как other, поэтому перед использованием следует проверить полный текст лицензии в карточке модели. Производительность и доступность зависят от аппаратной конфигурации, длины контекста и настроек сервинга; заявленные результаты бенчмарков не гарантируют качество на конкретных задачах.

MaziyarPanahi/WizardLM-2-7B-GGUF — это квантизированная версия языковой модели WizardLM-2 7B в формате GGUF. Исходная модель разработана командой WizardLM в Microsoft AI на основе Mistral-7B-v0.1, а конвертацию и публикацию квантизированных файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия с поддержкой многоходовых бесед. Модель содержит около 7 млрд параметров и заявлена как мультиязычная. Она ориентирована на сложные чаты, следование инструкциям, написание текстов, программирование, математические задачи, рассуждения, агентские сценарии и работу на нескольких языках. По данным README, WizardLM-2 7B обеспечивает высокую скорость и сопоставима по качеству с более крупными открытыми моделями; в оценках авторов она сравнивалась с моделями размером до 32B параметров. Конкретное максимальное окно контекста и перечень поддерживаемых языков не указаны. Главное преимущество этой версии — возможность локального запуска благодаря GGUF и нескольким вариантам квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие заявленной поддержки мультимодальных входов и недостаток подробных данных о тестах, контекстном окне и безопасности. Модель распространяется по лицензии Apache 2.0.

ERNIE-4.5-21B-A3B-Thinking — текстовая модель семейства ERNIE от Baidu для генерации ответов с расширенным пошаговым рассуждением. Она предназначена для сложных задач логики, математики, естественных наук, программирования, генерации текста и академических вопросов, а также умеет использовать инструменты в поддерживаемом интерфейсе вызова инструментов. Модель построена на архитектуре Mixture of Experts: всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. В конфигурации 28 слоёв и контекст до 131 072 токенов. Модель принимает и выдаёт текст; в карточке указана поддержка английского и китайского языков. Для запуска доступны веса safetensors и интеграция с Transformers; лицензия — Apache-2.0. Увеличенная длина рассуждений предназначена для сложных запросов, но может приводить к более длинным ответам и повышенным затратам на генерацию. Карточка заявляет улучшение качества рассуждений и работы с длинным контекстом, однако не приводит численных результатов бенчмарков.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-31B-it-qat-AWQ-INT4 — это квантованный вариант мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и опубликованный пользователем cyankiwi. Модель основана на google/gemma-4-31B-it-qat-q4_0-unquantized и предназначена для работы с текстом и изображениями с генерацией текстового ответа. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальный анализ и агентские сценарии с поддержкой вызова функций. Модель относится к семейству Gemma 4 с архитектурой, использующей гибридный механизм внимания, и имеет размер около 20,90 ГБ. Для версии 31B заявлено контекстное окно до 256K токенов. Указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование с использованием Quantization-Aware Training и формата AWQ-INT4 снижает требования к памяти при сохранении качества, близкого к полноформатным вариантам, что упрощает локальное развертывание. Ограничения включают значительные требования к вычислительным ресурсам по сравнению с меньшими моделями, а также возможные потери качества и совместимости, характерные для низкобитного квантования. В README аудио указано только для вариантов Gemma 4 E2B, E4B и 12B, поэтому для данной версии поддержка аудио не подтверждена. Модель распространяется по лицензии Apache 2.0; при использовании необходимо также учитывать условия лицензии Gemma 4.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Карточка модели AndresDevelopers/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

GPT-OSS-Swallow 120B RL v0.1 MXFP4 — крупная двуязычная языковая модель, разработанная командой Tokyo Institute of Technology (Tokyo Tech) на базе GPT-OSS. Модель содержит 120 млрд параметров и предназначена для генерации текста, рассуждений, работы с математическими задачами, программным кодом, японско-английским переводом и другими сценариями, требующими понимания японского и английского языков. Данная версия распространяется в формате MXFP4 и ориентирована на запуск через Transformers и vLLM. Модель обучалась в несколько этапов: Continual Pre-Training, Supervised Fine-Tuning и Reinforcement Learning with Verifiable Rewards. Для улучшения японского языка и перевода использовались специализированные процедуры обучения, а математические и кодовые датасеты помогли сохранить STEM-компетенции и снизить деградацию этих навыков. Среди сильных сторон заявлены двуязычная специализация, повышенное качество японско-английского перевода, математические и программные способности, а также уровень рассуждений, сопоставимый с исходными моделями GPT-OSS или превосходящий их в отдельных задачах. В карточке не указаны точная архитектура, токенизатор и максимальная длина контекста: за этими сведениями предлагается обращаться к документации GPT-OSS. Модель требует значительных вычислительных ресурсов из-за размера; для наиболее надежной и воспроизводимой работы рекомендуется vLLM, при этом поддерживается распределение по нескольким GPU. Лицензия Apache-2.0.

JiRack Ultra 1B — компактная языковая модель CMSManhattan для генерации текста и диалогов, рассчитанная на запуск на CPU. По метаданным, это плотная causal language model семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов. В README заявлены переработанная архитектура с элементами BitNet и тернарного представления, а также токенизатор JiRack Precision с тегами для маршрутизации запросов, вызова инструментов и робототехники; подтверждённая метаданными задача — генерация текста, а capabilities указывают на поддержку чата. Модель предназначена для локального и облачного CPU-инференса, диалоговых приложений и использования как экспертная модель в RAG-системах. README описывает варианты GGUF-квантизации и упоминает сервер на ONNX и интеграции с Ollama, однако поддержку Ollama для production автор ещё называет находящейся в разработке. Метаданные перечисляют языки от английского и китайского до русского, японского, корейского, арабского и ряда европейских и азиатских языков; данных о приоритетном языке нет. Веса выпущены под лицензией MIT, допускающей коммерческое использование, изменение и распространение. Указанные в README коммерческие условия относятся отдельно к Docker-образу, интерфейсу и готовым сборкам Ollama. Размер модели и варианты квантизации рассчитаны на малый объём памяти, но фактические требования зависят от длины контекста и накладных расходов KV-кэша.

ModelCloud/Kimi-K2-Thinking-BF16 — версия Kimi K2 Thinking, подготовленная ModelCloud и обозначенная в карточке как BF16-модель, деквантизированная с помощью GPT-QModel. Это разговорная модель для генерации текста с архитектурой семейства Kimi K2; каталог указывает класс DeepseekV3ForCausalLM, 37,9 млрд параметров и контекст до 262 144 токенов. README описывает исходную Kimi K2 Thinking как MoE-модель с 1 трлн общих и 32 млрд активных параметров, обученную для пошаговых рассуждений и работы с инструментами. Модель предназначена для диалогов, сложных многошаговых задач, исследований в интернете, программирования и написания текстов с подключёнными инструментами. В карточке описана способность поддерживать длинные цепочки вызовов инструментов, однако это характеристика исходной модели, а независимое подтверждение для данного BF16-репозитория отсутствует. Указанное в README окно контекста составляет 256 тыс. токенов; метаданные каталога указывают 262 144 токена. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия NonCommercial-ModelCloud разрешает только некоммерческое использование; для коммерческого применения README требует разрешения @qubitium. Метаданные не подтверждают список поддерживаемых естественных языков.

Klear-46B-A2.5B-Instruct — инструктивная версия разреженной языковой модели семейства Klear, разработанная командой Kwai-Klear компании Kuaishou и дообученная с помощью DPO на базе Kwai-Klear/Klear-46B-A2.5B-Base. Архитектура MoE содержит 46 млрд параметров, из которых при генерации активны около 2,5 млрд; в каждом слое задействуются 8 экспертов и один общий эксперт. Модель принимает текст и генерирует текст в диалоговом формате, поддерживает китайский и английский языки и контекст до 65 536 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая задачи общего характера, программирование и рассуждения. Разреженная активация экспертов рассчитана на повышение эффективности инференса по сравнению с плотной моделью сопоставимого общего размера. Для запуска README указывает Transformers версии 4.56.0 или новее с trust_remote_code=True, а для vLLM — форк разработчиков. Модель распространяется по лицензии Apache-2.0.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.