II.7DevOps, облако и эксплуатация IT-систем

NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation и представленная в квантованном формате NVFP4. Она предназначена для генерации текста, решения задач с рассуждением и без него, программирования, математических и научных задач, а также создания специализированных AI-агентов. Модель может сначала формировать рассуждение, а затем итоговый ответ; этот режим настраивается через флаг в chat template. Отключение промежуточных рассуждений уменьшает задержку, но может немного снизить точность на сложных запросах. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, 6 attention-слоёв, по 128 экспертов и одному общему эксперту в каждом MoE-слое, при этом на каждый токен активируются 6 экспертов. Всего модель содержит 30 млрд параметров, из которых активно около 3,5 млрд, что повышает эффективность инференса. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами модели являются сочетание reasoning и обычной генерации, высокая вычислительная эффективность за счёт разреженной активации экспертов и пригодность для коммерческих сценариев. NVFP4-квантизация может снизить требования к памяти по сравнению с полноформатными вариантами, однако в приведённых оценках она уступает BF16-версии на ряде задач. Модель обучалась на данных с отсечками июня 2025 года для предобучения и ноября 2025 года для post-training, поэтому её знания могут быть неполными или устаревшими. Использование регулируется NVIDIA Nemotron Open Model License.

NVIDIA-Nemotron-Nano-9B-v2-FP8 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Это FP8-квантизированная версия NVIDIA-Nemotron-Nano-9B-v2; гибридная архитектура Nemotron-H сочетает слои Mamba-2 и MLP с четырьмя слоями внимания. В FP8 переведены слои Mamba и MLP, а слои внимания и компоненты Conv1d сохранены в BF16. Метаданные указывают 15,1 млрд параметров и контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Режим рассуждения можно включать или отключать через системный промпт; она подходит для чат-ботов, AI-агентов, RAG-систем, программирования и типовых задач по инструкциям. Основные языки по карточке — английский, немецкий, испанский, французский, итальянский и японский; README также перечисляет корейский, португальский, русский и китайский как поддерживаемые во входных данных. Доступна коммерческая эксплуатация; в метаданных лицензия обозначена как other. Для инференса указана оптимизация под GPU NVIDIA; README предупреждает, что в vLLM точность может снизиться без параметра mamba_ssm_cache_dtype float32.

Qwen3-4B-Thinking-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это модель с 3,7 млрд параметров для генерации текста в режиме рассуждения; она ориентирована на сложные задачи логики, математики, естественных наук, программирования и академических вопросов, а также на следование инструкциям и работу с инструментами. Модель построена на архитектуре Qwen3ForCausalLM с 36 слоями и группированным многозапросным вниманием. Она принимает текст и поддерживает нативный контекст длиной 262 144 токена. Режим рассуждения включён по умолчанию; увеличенная длина рассуждений особенно полезна для многошаговых задач. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Ring-flash-linear-2.0-128k — языковая модель компании inclusionAI для генерации текста и диалогов. Она основана на Ling-flash-base-2.0 и дополнительно обучена на 1 трлн токенов. Модель использует гибридную архитектуру линейного и стандартного внимания и разреженную MoE-схему; в README заявлена производительность на уровне плотной модели с 40 млрд параметров при активации 6,1 млрд. Метаданные указывают общий размер 5,5 млрд параметров. Модель предназначена для рассуждений, программирования, научных и математических задач, а также работы с длинными входными и выходными текстами. Нативное контекстное окно составляет 131 072 токена; README указывает на возможность расширения до 512 тыс. токенов с помощью YaRN. Заявлены ускоренная генерация и эффективность обработки длинного контекста. Поддерживаются интерфейсы чата и вызова инструментов. Модель принимает и генерирует текст; в метаданных указан английский язык. Распространяется по лицензии MIT.

Hagwell/Ternary-Bonsai-2-27B-gguf — мультимодальная причинная языковая модель семейства Bonsai 2, разработанная Prism ML и производная от Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов, а также поддерживает обработку изображений при подключении отдельного vision-пакета. Модель рассчитана на локальный запуск через llama.cpp на CPU, GPU с CUDA и устройствах Apple с Metal. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру внимания: примерно 75% слоёв основаны на linear attention, а около 25% — на полном внимании. В архитектуре также используются SwiGLU, RoPE и RMSNorm. Языковые веса представлены в троичном формате со значениями −1, 0 и +1 и групповым масштабированием FP16; заявленный эффективный размер составляет около 1,72 бита на параметр. Доступны две упаковки GGUF: PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Контекст поддерживает до 262 тысяч токенов. Для изображений предусмотрен отдельный vision-пакет формата Q8_0. К сильным сторонам относятся существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, программирования и агентского поведения в низкобитном формате, а также возможность запуска 27B-класса на обычном ноутбуке или одной видеокарте. Заявлены результаты на уровне 98,2% от FP16 на среднем показателе 14 бенчмарков и производительность около 47 токенов в секунду на ноутбуке с Apple M5 Max. Ограничения включают необходимость специализированных ternary-ядер и совместимых сборок llama.cpp, а поддержка изображений требует отдельного пакета. Модель распространяется по лицензии Apache 2.0.

SolenopsisCampo/Xing4.0-29B-A4B-GGUF — GGUF-представление языковой модели Xing4.0-29B-A4B, разработанной China Telecom Artificial Intelligence Technology Co., Ltd. Модель предназначена для генерации текста, сложного рассуждения, программирования, агентских сценариев с многошаговым планированием и вызовом инструментов, а также для задач инженерного характера и последующей адаптации под специализированные области: классификацию намерений, понимание таблиц, аудит договоров и ответы на вопросы по базе знаний. Модель использует разреженную MoE-архитектуру с 29 млрд общих параметров и 4 млрд активных параметров на токен. В конфигурацию входят 40 слоёв, скрытый размер 3584, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и 1 общий эксперт; заявлена архитектура mHC + MLA + MTP. Поддерживается контекст длиной 256 тысяч токенов с возможностью расширения до 512 тысяч. Это текстовая модель без заявленной поддержки изображений или других модальностей. README не указывает набор поддерживаемых языков. К сильным сторонам относятся длинный контекст, эффективность разреженной активации, ориентация на агентские и программные задачи, совместимость с vLLM, SGLang, KTransformers, Transformers и другими инструментами, а также возможность дообучения через LLaMA-Factory и MindFormers. Ограничения включают зависимость качества от конкретного сценария, необходимость значительных вычислительных ресурсов для развёртывания и отсутствие в README подробностей о методах квантизации именно этого GGUF-файла, языковом покрытии и результатах за пределами приведённых тестов. Модель распространяется по лицензии Apache-2.0.

InternScience/Agents-A1-Q4_K_M-GGUF — квантизированная версия агентной модели Agents-A1, разработанной командой InternScience. Модель относится к классу Mixture-of-Experts и имеет около 35 млрд параметров; вариант Q4_K_M предназначен для более экономичного локального запуска. Базовая модель Agents-A1 поддерживает генерацию текста, работу с инструментами и, согласно заявленным тегам, мультимодальные сценарии с изображениями, однако точные сведения о поддерживаемых форматах и языках в предоставленных данных не указаны. Модель предназначена для долгих многошаговых задач, поиска и анализа информации, инженерных и научных исследований, выполнения инструкций, общего агентного взаимодействия и вызова внешних инструментов, включая API, интерпретаторы кода и поисковые системы. Она ориентирована на декомпозицию сложных задач, планирование, адаптацию по промежуточным результатам, научное рассуждение и соблюдение подробных многоусловных инструкций. Среди сильных сторон заявлены конкурентоспособные результаты в ряде агентных, научных и исследовательских бенчмарков при существенно меньшем размере по сравнению с крупнейшими моделями. К ограничениям относятся возможное снижение качества из-за квантизации Q4_K_M, а также отсутствие в предоставленном README точных данных о размере контекстного окна, языках, поддерживаемых мультимодальных входах и системных требованиях. Модель распространяется по лицензии Apache-2.0.

Athene-V2-Chat-72B — диалоговая языковая модель с открытыми весами, разработанная командой Nexusflow. Это дообученная с помощью RLHF модель Qwen2.5-72B-Instruct с плотной архитектурой Qwen2; в репозитории доступны веса в формате safetensors. Модель рассчитана на диалог, генерацию текстов, решение математических задач и программирование. Она использует шаблон чата Qwen2.5-72B-Instruct и поддерживает контекст до 32 768 токенов. В карточке разработчик сообщает о сильных результатах в чат-бенчмарках, математике, программировании, следовании инструкциям и многошаговом диалоге. Модель также имеет интерфейс вызова инструментов, однако для сложных агентных сценариев Nexusflow выделяет отдельную модель Athene-V2-Agent-72B. Лицензия — Nexusflow Research License; перед использованием следует проверить её условия для конкретного сценария.

Cogito v1 preview 8B — разработанная DeepCogito инструкция-донастроенная генеративная языковая модель на архитектуре Llama 3.1. Она принимает текст и генерирует текст; заявлены 7,5 млрд параметров и контекст до 131 072 токенов. Модель может отвечать напрямую или включать режим рассуждения с самоанализом, а также поддерживает вызов инструментов. Модель предназначена для диалогов, программирования, задач STEM, следования инструкциям и общих вопросов. Разработчик заявляет обучение более чем на 30 языках и улучшенные многоязычные возможности; конкретный перечень языков не приведён. Модель доступна по лицензии Llama 3.1, допускающей коммерческое использование согласно карточке.

winterthurquants/DeepSeek-V4-Pro-DSpark — это вариант чекпойнта DeepSeek-V4-Pro с подключённым модулем спекулятивного декодирования DSpark; README уточняет, что это не новая модель. Семейство разработано DeepSeek и предназначено для генерации текста, диалога, рассуждений, программирования, планирования и агентных сценариев. Каталог указывает 44,9 млрд параметров, плотную архитектуру DeepseekV4ForCausalLM и формат safetensors FP8; README описывает для семейства гибридное внимание CSA/HCA и контекст до 1 048 576 токенов. Модель поддерживает режимы ответа без рассуждений и с повышенным усилием рассуждения. DSpark предназначен для ускорения вывода посредством спекулятивного декодирования; README приводит пример запуска через vLLM. В карточке не перечислены языки, поэтому языковой охват конкретного чекпойнта не уточняется. Лицензия — MIT. README описывает существенно более крупную MoE-версию DeepSeek-V4-Pro с 1,6 трлн параметров, что расходится с каталоговыми метаданными данного репозитория; характеристики размера и архитектуры в описании приведены по метаданным каталога.

QuantFactory/dolphin-2.9.2-qwen2-7b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.2 Qwen2 7B, созданная с использованием llama.cpp. Модель разработана и обучена Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Qwen2-7B. В обучении использовались наборы данных для инструкций, диалогов, программирования, математических задач, function calling и агентных сценариев, включая Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction и другие источники. Модель предназначена для генерации текста, выполнения инструкций, ведения диалогов, помощи в программировании, решения математических задач, начальных агентных сценариев и function calling. Она поддерживает контекст до 128k токенов, при этом полновесное дообучение выполнялось с длиной последовательности 16k. Модель является текстовой и рассчитана на использование в формате ChatML; другие модальности в README не заявлены. Языки явно не указаны. К сильным сторонам относятся широкий набор инструкционных, разговорных и кодинговых навыков, поддержка длинного контекста, локальный запуск в формате GGUF и возможность коммерческого использования в рамках условий лицензии Qwen. Модель описана как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть более податливой, включая потенциально небезопасные запросы. Разработчики рекомендуют самостоятельно добавить слой выравнивания и фильтрации перед предоставлением модели пользователям; ответственность за создаваемый контент несёт применяющая сторона. Лицензия указана как tongyi-qianwen license, с разрешением на использование, включая коммерческое, при соблюдении её условий.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

EVA-Meissa-mini-pro-v2 — слитая языковая модель, созданная с помощью mergekit методом TIES на основе win10/EVA-Meissa-mini-pro с включением shuttleai/shuttle-3-mini. Это плотная 14-миллиардная модель семейства Qwen2 для диалогов и генерации текста; поддерживает контекст до 65 536 токенов и распространяется в формате safetensors для Transformers. Модель подходит для диалоговых интерфейсов, следования инструкциям, рассуждений и генерации текста, включая код. Лицензия в предоставленных данных не указана.

GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

GLM-5.3-Flash-GGUF — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; данный вариант опубликован в формате GGUF организацией zurichquants. Модель предназначена для генерации текста, программирования, решения сложных задач, работы с инструментами и агентских сценариев. Она поддерживает английский и китайский языки, а также текстовые и визуальные входные данные. Базовая модель содержит 320 млрд параметров, из которых при обработке активируется около 18 млрд. В архитектуре используются гибридное сочетание разреженного и линейного внимания, а также Manifold-Constrained Hyper-Connections, что направлено на снижение стоимости работы с длинным контекстом при сохранении точности. Модель обучалась на мультимодальном корпусе объёмом около 30 трлн токенов. В README не указаны точный размер контекста для этого GGUF-варианта и конкретный уровень квантизации, поэтому требования к памяти и производительность зависят от файла сборки. К сильным сторонам относятся высокая эффективность благодаря разреженной активации параметров, поддержка длинного контекста, мультимодальность и заявленная конкурентоспособность в задачах программирования и автономных агентов. Для локального запуска рекомендуется использовать совместимые версии llama.cpp или Unsloth Desktop; поддержка может зависеть от реализации. Модель и её базовая версия распространяются по лицензии MIT.

QuantFactory/Hermes-2-Pro-Llama-3-8B-GGUF — квантованная версия текстовой языковой модели NousResearch/Hermes-2-Pro-Llama-3-8B, созданная с использованием llama.cpp. Модель разработана в рамках сотрудничества Nous Research, @interstellarninja и Fireworks.AI и обучена на обновлённой версии датасета OpenHermes 2.5, дополненной внутренними наборами данных для Function Calling и JSON Mode. Указанный язык — английский; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на универсальные задачи ассистирования, ведение многоходовых диалогов, написание текстов и кода, вызов функций и формирование структурированных JSON-ответов. Она использует формат промптов ChatML и специальную структуру многоходового взаимодействия с инструментами; токены <tools>, <tool_call> и <tool_response> представлены как отдельные токены для удобства потоковой обработки. По данным README, модель показала 90% в заявленной оценке Function Calling и 84% в оценке структурированного JSON-вывода. Размер исходной модели — 8B параметров, однако конкретный тип и уровень квантования данного GGUF-файла, максимальный контекст и требования к ресурсам не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели genevaquant/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Карточка модели luganoquants/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Ling-3.0-flash — разговорная модель генерации текста с гибридной линейной архитектурой MoE, представленная разработчиками Ling. README описывает версию на 124 млрд параметров, из которых активируются 5,1 млрд на токен; в метаданных репозитория указаны 3,5 млрд параметров. Архитектура сочетает Kimi Delta Attention и Gated MLA, а заявленное окно контекста достигает 262 144 токенов. Модель предназначена для рассуждений, следования инструкциям, понимания длинного контекста и агентных сценариев: программирования, общих задач и глубокого исследования. README также отмечает обучение на интерактивных средах и совместимость с агентными инструментами. Репозиторий содержит веса Safetensors; лицензия — MIT. В README приводятся результаты на бенчмарках для кода, агентных задач, знаний, математики и длинного контекста, но эти заявления относятся к оценкам разработчиков. Для запуска описана конфигурация SGLang на нескольких мощных GPU, поэтому практическое развёртывание может требовать значительных вычислительных ресурсов.

Motif-3-NVFP4 — это NVFP4-квантизированный вариант большой авторегрессионной языковой модели Motif 3, разработанной компанией Motif Technologies. Модель предназначена для генерации текста общего назначения, мультиязычных задач, программирования, математического рассуждения, работы с длинными контекстами и агентных сценариев с использованием инструментов. Указанные языки — английский и корейский. Модель построена на декодерной архитектуре Mixture-of-Experts с примерно 314 млрд параметров, из которых около 13,2 млрд активируются для каждого токена. Она содержит 53 слоя, включая 2 плотных и 51 MoE-слой, 384 маршрутизируемых эксперта с выбором 8 экспертов на токен и одного общего эксперта. Используются Grouped Differential Latent Attention, модифицированные manifold-constrained hyper-connections, Expert-Specific PolyNorm и Multi-Token Prediction для self-speculative decoding. Нативная длина контекста составляет 262 144 токена, размер словаря — 220 160. Квантизация NVFP4 уменьшает требования к памяти и ориентирована на эффективное развертывание на GPU класса NVIDIA Blackwell. Сильными сторонами модели заявлены работа с длинным контекстом, агентное и инструментальное взаимодействие, а также конкурентные результаты в задачах программирования, математики и общих знаний. По приведённым тестам, NVFP4-версия в среднем почти не уступает варианту Block-FP8 по точности, однако фактическая производительность может зависеть от оборудования и настроек инференса. Ограничения включают высокую общую ёмкость модели, необходимость совместимого NVFP4-оборудования и отсутствие в этой карточке полного описания базовой модели и подробностей оценки. Модель распространяется по лицензии MIT.

Muse-Glimmer-30B-AWQ-INT4 — квантованная примерно до 4-битной точности версия Muse Glimmer-30B, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Это причинно-следственная языковая модель с отдельным энкодером восприятия, предназначенная для локального запуска на потребительском оборудовании без облачной инфраструктуры и доступа к сети. Модель ориентирована на автономные агентские задачи: многошаговое рассуждение, вызов инструментов, написание и отладку кода, выполнение многоэтапных запросов и восстановление после ошибок инструментов. Архитектура включает плотный causal Transformer примерно на 29,6 млрд параметров и perception encoder примерно на 1,8 млрд параметров. Используются 52 слоя, чередование локального и глобального внимания, GQA, SwiGLU и RoPE; контекст составляет 131 072 токена или более. Модель принимает текст и изображения, а генерирует текст, поддерживая анализ скриншотов, графиков и документов. Заявлена работа более чем со 100 языками; среди явно перечисленных — английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Заявленный размер файла — 24,02 ГБ. К сильным сторонам относятся мультимодальность, длительное поддержание планов, точное использование инструментов, совместимость с агентскими оркестраторами и настраиваемая интенсивность рассуждений. К ограничениям относятся необходимость значительных аппаратных ресурсов и возможные потери качества из-за квантования, хотя для близких 4-битных конфигураций заявлено минимальное снижение результатов на агентских задачах. Модель распространяется по лицензии Apache 2.0.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

OYM-Qimi-122B-A10B-K2.6 — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE с 122 млрд общих и примерно 10 млрд активных параметров. Она дообучена на базе Qwen/Qwen3.5-122B-A10B через дистиллированную и аблитерированную линию Qwopus3.5: в карточке описаны два этапа SFT примерно на 20 тысячах примеров с трассами рассуждений. Модель принимает текст и изображения, а также обрабатывает видео; выдаёт текст. Веса BF16 совместимы по форме с исходной моделью, включают зрительную башню и восстановленную голову MTP для спекулятивного декодирования. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, программирования и использования инструментов. В опубликованных тестах результаты по генерации кода совпали с базовой моделью, а показатели использования инструментов были близки к ней. Разработчик сообщает, что модель полностью «разцензурирована»; это может означать меньше отказов, но также требует осторожного контроля ответов при внедрении. Для полной точности BF16 требуются несколько ускорителей: в карточке указаны конфигурации из двух H200/B200 или четырёх H100 по 80 ГБ. Лицензия обозначена как Other и наследует условия лицензии базовой Qwen3.5; перед использованием следует проверить её условия.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

YOYO-AI/Qwen3-30B-A3B-YOYO-V6 — объединённая модель YOYO-AI, созданная методом YOYO-Fusion V2 с фиксированной опорной точкой на базе instruction-модели. В слиянии использованы Qwen3-30B-A3B-Base, Qwen3-30B-A3B-Instruct-2507, Qwen3-30B-A3B-Thinking-2507 и Qwen3-Coder-30B-A3B-Instruct. Архитектура — Qwen3 MoE для генерации текста; метаданные указывают 2,6 млрд параметров и формат safetensors с точностью bfloat16. Модель предназначена для диалога, выполнения инструкций, генерации текста и взаимодействия с инструментами. Заявленная длина контекста — 262 144 токена; README также упоминает 1 010 000 токенов, но не поясняет условия для такого значения. Указаны английский и китайский языки. Рекомендованные параметры генерации: температура 0,7, TopP 0,8 и TopK 20. Лицензия — Apache-2.0.

NVIDIA Qwen3.6-35B-A3B-NVFP4 — квантизированная версия языковой модели Qwen3.6-35B-A3B, разработанной Alibaba и подготовленной NVIDIA с использованием Model Optimizer. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе ИИ. Модель использует архитектуру Transformers с гибридным вниманием и Mixture-of-Experts (MoE): всего 35 млрд параметров, из которых активируется 3 млрд. Она поддерживает текстовые, графические и видеовходы, включая изображения RGB и видео MP4/WebM, а также контекст длиной до 262 тысяч токенов; выходом служит текст. Для запуска заявлена поддержка vLLM на Linux и NVIDIA GPU архитектур Hopper и Blackwell. Квантизация выполнена в формат NVFP4 с помощью nvidia-modelopt версии 0.44.0, что ориентировано на эффективный инференс на совместимом оборудовании. Сильными сторонами модели являются большой контекст, мультимодальные входы, MoE-архитектура с небольшим числом активных параметров и готовность к развертыванию через vLLM. Ограничения включают зависимость от совместимой NVIDIA-инфраструктуры, неполное раскрытие данных об обучении и необходимость дополнительного тестирования на данных конкретного сценария. Использование регулируется лицензией Apache 2.0; модель доступна для коммерческого и некоммерческого применения.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.