I.11Классификация, ранжирование и сопоставление

unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506 — мультимодальная instruct-модель, разработанная Mistral AI; данная карточка содержит её 4-битную quantized-версию от Unsloth. Модель предназначена для диалоговых ассистентов, точного выполнения инструкций, генерации текста и кода, function calling, а также анализа изображений, документов, таблиц и диаграмм. Заявлена поддержка языков: английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Модель содержит 24 млрд параметров и работает в текстово-визуальном сценарии image-text-to-text. Это минорное обновление Mistral-Small-3.1-24B-Instruct-2503 с улучшенным следованием точным инструкциям, меньшей склонностью к бесконечным или повторяющимся генерациям и более надёжным шаблоном function calling. Среди ограничений — высокая требовательность к ресурсам: для запуска базовой модели в форматах bf16 или fp16 требуется около 55 ГБ видеопамяти; размер контекста в README не указан. Для инференса рекомендуются vLLM и относительно низкая температура, например 0,15. Модель распространяется по лицензии Apache-2.0. В карточке также указано, что для неё рекомендуется серверный режим работы через vLLM; репозиторий содержит 4-битную версию, однако точные требования к памяти именно для этого quantized-варианта не приведены.

NVIDIA-Nemotron-3-Super-120B-A12B-AWQ-4bit — квантизированная 4-битная версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, рассуждений, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Она поддерживает настраиваемый режим рассуждений, который можно включать или отключать через шаблон чата. Архитектура основана на гибридном подходе LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, а также отдельными слоями Attention. Модель содержит 120 млрд параметров, из которых активно используется 12 млрд, и применяет Multi-Token Prediction для ускорения генерации и повышения качества. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для исходной модели указано минимальное требование в 8 GPU H100 с 80 ГБ памяти; AWQ-квантизация снижает требования к памяти, однако точные требования для данной сборки не приведены. К сильным сторонам относятся большой контекст, эффективность разреженной MoE-архитектуры, поддержка рассуждений, инструментального взаимодействия и агентных рабочих процессов. Ограничениями являются значительный общий размер модели и высокие требования к инфраструктуре, а также отсутствие в README подробных результатов тестирования именно для версии AWQ-4bit. Использование регулируется лицензией NVIDIA Nemotron Open Model License; в README указана готовность модели к коммерческому применению.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

Это квантованная в формате NVFP4 сборка Qwen3.8-27B от FreedomAISVR для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров языковой модели; репозиторий содержит GGUF-веса и отдельный F16-проектор изображений. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для диалогов, анализа изображений и документов, программирования, исследований и многошаговых агентных задач. Режим рассуждений включён по умолчанию и может настраиваться. NVFP4 уменьшает размер весов, но README отмечает, что на потребительских RTX 50 decode может быть медленнее, чем у MXFP4; для запуска рекомендованы Blackwell GPU с 16 ГБ или более видеопамяти. Лицензия — Apache-2.0.

duyntnet/Qwen3-8B-imatrix-GGUF — набор квантованных версий модели Qwen3-8B, опубликованный пользователем duyntnet на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого общения, перевода и агентских сценариев с интеграцией внешних инструментов. Это авторегрессионная causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов. Архитектура содержит 36 слоёв и использует Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Она допускает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Формат GGUF и imatrix-квантизации ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие интерфейсы. Потенциальные ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации, а также с требованиями к памяти и производительности оборудования; конкретные параметры для отдельных файлов в README не указаны. Лицензия обозначена как other, без уточнения дополнительных условий использования.

NVIDIA Qwen3.8-Flash-Next NVFP4 — квантизированная версия модели Alibaba Qwen3.8-Flash-Next, подготовленная с помощью NVIDIA Model Optimizer. NVIDIA не является разработчиком исходной модели. Это авторегрессионная мультимодальная модель для работы с текстом, изображениями и видео, предназначенная для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers с гибридным вниманием Gated DeltaNet и Qwen Sparse Attention, Mixture-of-Experts, gated residual streams, vision encoder и n-gram embeddings. Общий объём составляет 125 млрд параметров, из них активируется 6 млрд; дополнительно заявлены 51 млрд параметров n-gram embeddings и 4 млрд MTP. Поддерживаются текстовые, RGB- и видео-входы, а также контекст до 262 тысяч токенов с возможностью расширения до 1 миллиона токенов. Выход представлен текстовыми последовательностями. README не содержит сведений о поддерживаемых языках. NVFP4-квантизация обеспечивает готовый к развёртыванию вариант модели с сохранением сопоставимой с FP8 точности по указанным тестам; модель ориентирована на NVIDIA GPU, в частности Blackwell B200 и B300, и поддерживает vLLM в Linux. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость дополнительного тестирования на данных конкретного сценария перед безопасным внедрением. Указаны лицензия NVIDIA Open Model License и дополнительная применимость Qwen Community License 1.0.

Spark-X2.5-4B-INT8 — компактная универсальная языковая модель, разработанная командой XHToken. Это постобученная INT8-версия базовой модели XHToken/Spark-X2.5-4B-Base, распространяемая в формате Hugging Face Transformers. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, работы с инструментами, следования инструкциям и агентских сценариев. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания и три слоя sliding-window attention. Она поддерживает контекст до 1 млн токенов и более 200 языков. Обучение проводилось примерно на 20 трлн токенов из веб-страниц, книг, академических публикаций, кода и энциклопедических материалов; дополнительные этапы включали supervised fine-tuning, reinforcement learning и MOPD. Заявлена совместимость с vLLM, SGLang, llama.cpp, MLX, Ollama, LM Studio и LLaMA-Factory, а также с широким спектром аппаратных платформ. К сильным сторонам относятся эффективность работы с длинным контекстом, уменьшенные вычислительные затраты и объём KV-кэша, а также возможности в программировании, рассуждениях и агентских задачах среди моделей сопоставимого размера. README не содержит подробных результатов бенчмарков, точных сведений о токенизаторе и ограничениях INT8-квантизации, поэтому эти характеристики нельзя оценить дополнительно. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat — диалоговая языковая модель семейства Yi, разработанная командой 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, представленная в формате safetensors. Yi-1.5 продолжает предварительное обучение Yi на корпусе из 500 млрд токенов и проходит дообучение на 3 млн разнообразных примеров; версия Chat предназначена для диалога и следования инструкциям. Модель подходит для ответов на вопросы, рассуждений, задач по математике и программированию, а также понимания и краткого анализа текста. В карточке заявлен контекст 4 тыс. токенов; линейка Yi-1.5 также включает варианты с контекстом 16 тыс. и 32 тыс. токенов. README характеризует 9B Chat как сильную модель среди открытых моделей сопоставимого размера. Лицензия — Apache-2.0.

EXAONE-4.0-32B-GGUF — квантизированная версия языковой модели EXAONE 4.0 от LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, агентного использования инструментов и задач, требующих рассуждений. Она поддерживает два режима: Non-reasoning для повседневного взаимодействия и Reasoning для более сложных задач. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует GQA с 40 attention heads и 8 KV heads. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Архитектура включает гибридное внимание: local attention и global attention в соотношении 3:1, а также QK-Reorder-Norm. Репозиторий распространяет веса в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; также доступны веса BF16. Модель официально поддерживается llama.cpp и может запускаться локально или через OpenAI-совместимый сервер. Сильными сторонами являются сочетание обычного и рассуждающего режимов, большой контекст, мультиязычность, поддержка агентных сценариев и несколько вариантов квантизации для выбора между качеством и требованиями к ресурсам. Ограничениями являются значительный размер 32B, высокие требования к памяти и вычислениям, а также необходимость учитывать особенности интеграции с llama.cpp и применения соответствующего chat template. Лицензия обозначена как exaone; точные условия следует уточнять в файле LICENSE.

unsloth/gemma-3-12b-it-qat-GGUF — мультимодальная instruction-tuned модель Gemma 3 на 12 млрд параметров, разработанная Google DeepMind. Она построена на базе google/gemma-3-12b-it-qat-q4_0-unquantized и использует Quantization Aware Training (QAT), что помогает сохранять качество на уровне, близком к bfloat16, при снижении требований к памяти после квантования. Модель принимает текст и изображения, а генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации, работы с кодом и математическими запросами. Поддерживается более 140 языков. Для версии 12B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. К сильным сторонам относятся мультимодальность, широкая языковая поддержка, большое контекстное окно и возможность развертывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при использовании квантования. Репозиторий содержит не直接 квантованный файл: контрольную точку необходимо самостоятельно квантовать в Q4_0 совместимым инструментом. README не приводит детальных сведений об архитектуре, результатах бенчмарков и конкретных ограничениях качества, поэтому их оценку по этим данным дать нельзя. Использование регулируется лицензией Gemma и условиями Google. Доступ к модели на Hugging Face требует входа в аккаунт и подтверждения лицензионных условий.

aoiandroid/gemma-4-E2B-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной в формате GGUF с использованием материалов Unsloth. Модель предназначена для локального запуска и решения задач генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями; для E2B также заявлена поддержка аудио. Она генерирует текст и поддерживает системные инструкции, вызов функций и настраиваемые режимы рассуждения. Модель имеет около 2,3 млрд эффективных параметров, или 5,1 млрд с учётом эмбеддингов, 35 слоёв и контекстное окно до 128 тысяч токенов. Архитектура использует гибридное внимание: локальное скользящее окно на 512 токенов чередуется с глобальным вниманием. Поддерживаются текст, изображения с переменным соотношением сторон и разрешением, а также аудио; семейство Gemma 4 в целом заявляет поддержку более 140 языков. Небольшой размер и формат GGUF ориентированы на эффективное выполнение на ноутбуках и мобильных устройствах, однако квантование может снижать точность по сравнению с полноразмерной версией, а конкретные требования к памяти и производительность зависят от выбранного файла квантования и среды запуска. Модель распространяется по лицензии Apache 2.0; при использовании также следует учитывать условия лицензии Gemma 4, указанной разработчиком.

legraphista/Meta-Llama-3.1-70B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-70B-Instruct, опубликованный пользователем legraphista. Это большая инструкционно настроенная языковая модель семейства Llama 3.1 от Meta, предназначенная для диалоговых сценариев, следования инструкциям и генерации текста. Из доступных данных известно, что модель относится к классу 70B и основана на Meta-Llama-3.1-70B-Instruct. Формат GGUF указан в идентификаторе модели, однако сведения о конкретном типе квантования, размере контекста, поддерживаемых языках и дополнительных изменениях по сравнению с базовой моделью отсутствуют. Модель ориентирована на текстовые задачи; информация о поддержке других модальностей не предоставлена. Использование регулируется Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание лицензии и атрибуции, а также отображение надписи «Built with Llama» при распространении материалов или продуктов. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Mistral-Small-Instruct-2409 — плотная языковая модель на 22 млрд параметров от команды Mistral AI, дообученная следовать инструкциям. Она предназначена для диалогов, генерации текста и вызова функций в приложениях и inference-сервисах. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, функцию вызова инструментов; для запуска рекомендуются vLLM или mistral-inference. Для работы на одном GPU требуется не менее 44 ГБ видеопамяти, либо можно распределить нагрузку между несколькими устройствами. В карточке перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в материалах модели на Hugging Face.

mnma_qwen3.8_27b_nvfp4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная Minima на основе посттренировочной квантизации. Модель предназначена для генерации текста, диалоговых сценариев, решения математических и экзаменационных задач, программирования и работы с длинным контекстом. Это текстовая модель без vision-компонента, сохраняющая поддерживающий рассуждения chat template. Все 496 линейных слоёв backbone, включая 48 слоёв Gated DeltaNet, 16 attention-слоёв и 64 MLP-слоя, переведены в формат NVFP4 W4A4 с размером группы 16. Embeddings, lm_head, conv1d, нормализации, A_log и dt_bias сохранены в BF16, а KV-cache использует откалиброванные статические FP8-масштабы. Заявлены существенное снижение потребления памяти и ускорение: 17,53 GiB против 50,13 GiB для BF16, 1154 против 621 токена в секунду при указанной нагрузке и время prefill 32K около 4,03 секунды против 6,90 секунды. Модель требует vLLM не ниже 0.27 и GPU с аппаратной поддержкой NVFP4, например NVIDIA Blackwell SM120. По приведённым измерениям качество в большинстве задач близко к BF16: результаты GSM8K и AIME'25 совпадают, а различия на MMLU-Pro, GPQA-Diamond и LiveCodeBench невелики. Ограничениями являются зависимость от совместимого оборудования и vLLM, а также некоторое ухудшение perplexity, особенно на контексте 4K; сравнение корректно только при одинаковых настройках обслуживания. Модель распространяется по лицензии Apache-2.0.

NVIDIA Nemotron 3 Nano Omni — разработанная NVIDIA мультимодальная модель семейства Nemotron Nano для понимания текста, изображений, аудио и видео. Она предназначена для корпоративных сценариев: ответов на вопросы и суммаризации мультимедийных материалов, транскрибации речи, анализа документов и GUI, а также для рабочих процессов с агентами. Модель поддерживает OCR, понимание речи и видео, плотные описания видео и извлечение информации из сложных деловых документов. Её можно применять в службе поддержки, медиа и развлечениях, обработке договоров и финансовых документов, а также в браузерных и почтовых агентах. В метаданных указана архитектура NemotronH_Nano_Omni_Reasoning_V3, тип dense и библиотека Transformers; веса опубликованы в формате safetensors. README рекомендует начинать развёртывание с длины контекста 131072 токена на Spark, но это рекомендация по настройке, а не заявленный предел контекста. Модель улучшена с использованием Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. README сообщает о доступности для коммерческого использования, тогда как метаданные обозначают лицензию как other; перед внедрением следует проверить условия лицензии в карточке. Модель рассчитана на мультимодальные корпоративные задачи, но карточка не приводит количественных оценок качества.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT4 — производная версия Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурационные файлы в формате Hugging Face Transformers; модель совместима с Transformers, vLLM, SGLang и KTransformers. По идентификатору предполагается квантованный вариант AWQ с представлением INT4, однако подробности о процедуре квантования в README не приведены. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель содержит около 9 млрд параметров, 32 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. К сильным сторонам относятся мультимодальность, большой контекст, высокая эффективность архитектуры и широкий языковой охват. Ограничения конкретной квантованной сборки, включая возможные потери качества, требования к памяти и совместимость с определёнными аппаратными конфигурациями, в README не описаны. Модель распространяется по лицензии Apache 2.0.

AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 — мультимодальная NVFP4-квантизированная версия модели tvall43/Qwen3.6-35B-A3B-heretic, подготовленная AEON-7. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев, function calling и обработки изображений с текстовыми запросами. Заявлена поддержка английского языка, vision-language задач и контекста до 1 млн токенов. Модель использует гибридную архитектуру Qwen3_5MoeForConditionalGeneration с Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных параметров. В составе присутствуют разреженные MoE-слои, линейное внимание Mamba/GDN, 27-блочный ViT-энкодер, сохранённый в BF16, и экспертные веса в формате NVFP4. Поддерживаются multimodal image-text-to-text, tool calling, speculative decoding, prefix caching и FP8 KV-cache при использовании совместимой конфигурации vLLM. К сильным сторонам относятся высокая плотность модели при небольшом числе активных параметров, длинный контекст, мультимодальность и стабильная работа текста в заявленном стеке vLLM. В README указана проверка обработки изображений после исправления размещения тензоров vision tower, а также масштабирование до 64 одновременных запросов и примерно 740 токенов в секунду суммарно при использовании DFlash, однако эти характеристики зависят от оборудования и конфигурации. Модель ориентирована прежде всего на DGX Spark и совместимые GPU Blackwell/GB10 с образом AEON vLLM; для других сред совместимость не гарантируется. Это abliterated/decensored-вариант с существенно сниженным уровнем отказов, поэтому стандартные ограничения безопасности могут быть ослаблены. Лицензия — Apache-2.0.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.