II.2Создание и понимание программного кода

wwe180-Llama3-15B-ShenNu-v0.1-GGUF — набор файлов GGUF-квантизации базовой текстовой генеративной модели wwe180/Llama3-15B-ShenNu-v0.1. Квантизации подготовлены командой featherless-ai-quants; исходный разработчик базовой модели в README не указан. Модель предназначена для задач генерации текста и может использоваться в совместимых локальных или серверных средах, поддерживающих формат GGUF. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 5,5 до 15,2 ГБ. README не содержит сведений о точной архитектуре, числе параметров, языках, размере контекста, поддерживаемых модальностях, результатах тестирования или специализированных сценариях обучения. Разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к ресурсам и сохранением качества, однако конкретные потери качества не описаны. Лицензия в README не указана, поэтому условия использования необходимо уточнять в карточке базовой модели wwe180/Llama3-15B-ShenNu-v0.1 и соответствующих файлах репозитория.

YamshadowInex12_Inex12Experiment28 — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/Inex12Experiment28-7B. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы. В README и метаданных не описаны специальные сценарии применения или поддерживаемые естественные языки. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Карточка модели NostraEmpire/mirror-granite-3.1-8b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.1-8b-instruct, поэтому описание составлено по ней. Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

Granite-3.2-2B-Instruct-GGUF — модель IBM Granite, разработанная командой Granite Team компании IBM. Это GGUF-конверсия базовой модели Granite-3.2-2B-Instruct с различными вариантами квантования. Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Модель содержит около 2 миллиардов параметров и ориентирована на задачи рассуждения с управляемым включением режима thinking только при необходимости. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), работу с кодом, function calling, многоязычный диалог и задачи с длинным контекстом, включая обработку больших документов и протоколов встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. К сильным сторонам относятся компактный размер, поддержка reasoning-сценариев, длинного контекста и широкого набора прикладных задач. Точный размер контекстного окна и характеристики отдельных вариантов квантования в предоставленных данных не указаны; формат GGUF может требовать совместимого программного обеспечения для запуска. Модель распространяется по лицензии Apache 2.0.

Карточка модели dylanHGJGJ/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели noraziroh97/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели dg845/diffusiongemma-test на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

stelterlab/Mistral-Small-24B-Instruct-2501-AWQ — инструкционная языковая модель на базе Mistral-Small-24B-Instruct-2501, разработанной командой Mistral AI. Данная версия дополнительно квантизирована stelterlab в формате INT4 GEMM с использованием AutoAWQ. Модель содержит 24 млрд параметров и рассчитана на локальный запуск, включая работу на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти после квантизации. Модель предназначена для диалоговых приложений с быстрым откликом, агентских сценариев, вызова функций, генерации JSON, задач общего назначения и последующей предметной донастройки. Она поддерживает многоязычную работу, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Заявлены развитые возможности рассуждения, следования системным инструкциям и агентского взаимодействия. Контекстное окно составляет 32 тысячи токенов, используется токенизатор Tekken со словарём размером 131 тысяча элементов. К сильным сторонам относятся сочетание относительно компактного размера, локального развертывания, низкой задержки и поддержки function calling и структурированного вывода. Ограничения связаны с INT4-квантизацией, которая может снижать точность по сравнению с исходными весами, а также с тем, что результаты бенчмарков не гарантируют аналогичное качество в конкретных прикладных задачах. Модель распространяется под лицензией Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

RedHatAI/Qwen3-14B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-14B. Это причинно-следственная трансформерная модель архитектуры Qwen3ForCausalLM с текстовыми входами и выходами. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель использует FP8-квантизацию весов и активаций, что примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций по сравнению с представлением FP16. Квантизации подвергнуты линейные операторы в трансформерных блоках: веса квантизированы статически по каналам, а активации — динамически по токенам. Размер модели — 14 миллиардов параметров; точный максимальный контекст в README не указан, хотя для оценки использовались длины до 40960 токенов. К сильным сторонам относятся поддержка рассуждений и многоязычных инструкций при более низких требованиях к ресурсам, а также эффективное развертывание через vLLM с OpenAI-совместимым сервером. Возможным ограничением является потенциальное влияние FP8-квантизации на качество по сравнению с исходной моделью, однако количественная оценка этого влияния в README не приведена. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Карточка модели psych6tic66/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF — GGUF-версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, сложного рассуждения, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Доступна настройка режима рассуждения через шаблон чата с параметром enable_thinking. Модель использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture of Experts и attention, а также Multi-Token Prediction (MTP). Общий размер составляет 120 млрд параметров, из них 12 млрд активны при обработке запроса. Поддерживается контекст до 1 млн токенов и английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для запуска исходной BF16-версии требуется минимум 8 GPU H100 с 80 ГБ памяти; для данной GGUF-версии конкретные требования зависят от выбранной квантизации и среды выполнения. Сильными сторонами модели являются длинный контекст, сочетание эффективности MoE с возможностями гибридной архитектуры, поддержка рассуждений, инструментального использования и агентных рабочих процессов. Ограничениями остаются очень большой общий размер и высокие аппаратные требования, особенно для неквантизированной версии. Модель распространяется по лицензии NVIDIA Nemotron Open Model License; README также указывает возможность дообучения с помощью Unsloth.

Qwen3-VL-235B-A22B-Instruct-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-235B-A22B-Instruct с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии BF16. Модель предназначена для понимания и генерации текста по текстовым, визуальным и видеоданным. Модель подходит для анализа изображений и видео, OCR, распознавания объектов, пространственного рассуждения, STEM- и математических задач, визуального программирования, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, обработку длительных видео с временной индексацией и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся развитое визуальное восприятие, мультимодальное рассуждение, анализ пространственных отношений, работа с длинными документами и видео, а также устойчивый OCR для изображений с низким качеством, наклоном и редкими символами. README не содержит детальных числовых результатов тестов, полного перечня поддерживаемых языков или требований к аппаратному обеспечению. На момент описания Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-8bit — мультимодальная vision-language модель семейства Qwen3, разработанная командой Qwen; базовая модель — Qwen/Qwen3-VL-8B-Instruct. Вариант предназначен для генерации текста по текстовым и визуальным входным данным, включая изображения и видео, а также для задач визуального понимания, распознавания текста, анализа документов, STEM- и математического рассуждения, пространственного анализа и взаимодействия с графическими интерфейсами. Модель также заявлена для генерации Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 8 млрд параметров и использует мультимодальные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена нативная длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона, что подходит для длинных документов и продолжительных видеоматериалов. OCR поддерживает 32 языка, однако полный перечень языков модели в README не приведён. Идентификатор указывает на 8-битную AWQ-квантизацию, но подробности её конфигурации не указаны. К сильным сторонам относятся расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, распознавание текста в сложных условиях и возможности visual agent для работы с GUI и инструментами. README не содержит количественных результатов тестирования, поэтому производительность в конкретных сценариях оценить по нему нельзя. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это набор GGUF-квантизаций модели Qwythos-9B, разработанной Empero. Модель создана на базе Qwen3.5-9B и дообучена на более чем 500 млн токенов высококачественных трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Доступны варианты от Q4_K_M до BF16, включая версии с MTP для ускорения генерации в совместимых сборках llama.cpp. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других GGUF-совместимых средах. Она ориентирована на рассуждения, генерацию текста, решение математических задач, function calling и агентские сценарии, а также на задачи в области кибербезопасности и биомедицины. Заявлена поддержка английского языка, нативного function calling по спецификации Qwen3.5 и контекстного окна до 1 048 576 токенов с масштабированием RoPE YaRN. Модель мультимодальна и поддерживает изображения при подключении отдельного vision projector в формате GGUF. Визуальная часть унаследована от Qwen3.5-9B и во время дообучения не изменялась, поэтому заявлены описание изображений, OCR печатного и рукописного текста, анализ графиков и таблиц, понимание интерфейсов и документов и базовое пространственное рассуждение. Сильными сторонами являются большой контекст, reasoning-возможности, function calling и широкий выбор уровней квантизации; при этом качество, скорость и требования к памяти зависят от выбранного варианта, а для изображений требуется дополнительный файл mmproj. Модель распространяется по лицензии Apache-2.0.

legraphista/Meta-Llama-3.1-70B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-70B-Instruct, опубликованный пользователем legraphista. Это большая инструкционно настроенная языковая модель семейства Llama 3.1 от Meta, предназначенная для диалоговых сценариев, следования инструкциям и генерации текста. Из доступных данных известно, что модель относится к классу 70B и основана на Meta-Llama-3.1-70B-Instruct. Формат GGUF указан в идентификаторе модели, однако сведения о конкретном типе квантования, размере контекста, поддерживаемых языках и дополнительных изменениях по сравнению с базовой моделью отсутствуют. Модель ориентирована на текстовые задачи; информация о поддержке других модальностей не предоставлена. Использование регулируется Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание лицензии и атрибуции, а также отображение надписи «Built with Llama» при распространении материалов или продуктов. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

NVIDIA-Nemotron-3-Super-120B-A12B-AWQ-4bit — квантизированная 4-битная версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, рассуждений, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Она поддерживает настраиваемый режим рассуждений, который можно включать или отключать через шаблон чата. Архитектура основана на гибридном подходе LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, а также отдельными слоями Attention. Модель содержит 120 млрд параметров, из которых активно используется 12 млрд, и применяет Multi-Token Prediction для ускорения генерации и повышения качества. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для исходной модели указано минимальное требование в 8 GPU H100 с 80 ГБ памяти; AWQ-квантизация снижает требования к памяти, однако точные требования для данной сборки не приведены. К сильным сторонам относятся большой контекст, эффективность разреженной MoE-архитектуры, поддержка рассуждений, инструментального взаимодействия и агентных рабочих процессов. Ограничениями являются значительный общий размер модели и высокие требования к инфраструктуре, а также отсутствие в README подробных результатов тестирования именно для версии AWQ-4bit. Использование регулируется лицензией NVIDIA Nemotron Open Model License; в README указана готовность модели к коммерческому применению.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

Apertus-8B-Instruct-2509 — диалоговая языковая модель Swiss AI Initiative, дообученная на базе Apertus-8B-2509. Это плотный decoder-only Transformer с 10,3 млрд параметров, предназначенный для генерации ответов, многоязычного диалога и использования инструментов. Модель поддерживает более 1800 языков и контекст до 65 536 токенов. Базовая модель обучалась с нуля на 15 трлн токенов из веб-данных, кода и математических материалов; постобучение включало supervised fine-tuning и выравнивание QRPO. Веса и материалы обучения открыты, разработчики заявляют о соблюдении согласия владельцев данных и прозрачности обучения. Для запуска подходят Transformers, vLLM и другие совместимые среды. Модель может быть полезна для ответов на вопросы, составления текстов и работы с длинным контекстом на разных языках. Генерации могут содержать фактические ошибки, нелогичность и предвзятость. Встроенного фильтра персональных данных нет, поэтому важную информацию следует проверять, а для фильтрации PII применять отдельный актуальный фильтр. Лицензия — Apache 2.0.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w4a16 — квантизированная версия Mistral-Small-24B-Instruct-2501. Базовую модель разработала Mistral AI, а представленную оптимизированную сборку подготовила Neural Magic. Модель принимает текст и генерирует текст, предназначена для диалоговых приложений, ответов на вопросы и других задач text-to-text и text-generation. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Архитектура основана на Mistral-Small-24B-Instruct-2501 и содержит около 24 миллиардов параметров. Выполнена квантизация весов линейных операторов в трансформерных блоках до INT4; активации не квантизированы. По данным README, это снижает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU — примерно на 75%. Модель оптимизирована для инференса через vLLM; в конфигурации развертывания указан максимальный контекст 32768 токенов. Ключевое преимущество сборки — уменьшенные требования к памяти при сохранении назначения исходной instruct-модели, что упрощает запуск на GPU. Ограничение заключается в том, что квантизация может влиять на качество генерации по сравнению с полной точностью, однако конкретные результаты бенчмарков в README не приведены. Модель проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Лицензия — Apache-2.0.

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-Next-80B-A3B-Thinking NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной Alibaba и подготовленной NVIDIA с использованием TensorRT Model Optimizer. Модель предназначена для коммерческого и некоммерческого применения в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на основе генерации текста. Модель использует архитектуру Transformers и сетевую архитектуру Qwen3NextForCausalLM. Она принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто, поддерживаемые языки и точные характеристики исходной модели здесь не указаны. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в формат NVFP4. Это уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. Модель оптимизирована для инференса через TensorRT-LLM на GPU NVIDIA, в частности на архитектуре Blackwell; предпочтительная операционная система — Linux. Ограничениями являются зависимость от совместимой инфраструктуры NVIDIA, отсутствие раскрытых данных о параметрах и обучении, а также необходимость дополнительного тестирования качества и безопасности для конкретного сценария. Модель распространяется по лицензии Apache License 2.0. Для развёртывания рекомендуется TensorRT-LLM; заявленная версия квантизации выполнена с использованием nvidia-modelopt v0.40.0.