/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-4B-Thinking-2507
Опубликована
22 окт 2025

Ссылки

Hugging Face

Qwen_Qwen3-4B-Thinking-2507-GGUF

Alcoft
Генерация текстаТекст → текст13 профессий

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen.

1 187скачиваний за 30 дней0лайковвеса обновлены22 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF.

В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв.

Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
QuantSizeDescription
Q2_K_XXS1.38 GBNot recommended for most people. Extremelly low quality.
Q2_K_XS1.38 GBNot recommended for most people. Very low quality.
Q2_K1.38 GBNot recommended for most people. Very low quality.
Q2_K_L1.64 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q2_K for everything else. Very low quality.
Q2_K_XL1.98 GBNot recommended for most people. Uses F16 for output and embedding, and Q2_K for everything else. Very low quality.
Q3_K_XXS1.62 GBNot recommended for most people. Prefer any bigger Q3_K quantization. Very low quality.
Q3_K_XS1.62 GBNot recommended for most people. Prefer any bigger Q3_K quantization. Very low quality.
Q3_K_S1.62 GBNot recommended for most people. Prefer any bigger Q3_K quantization. Low quality.
Q3_K_M1.79 GBNot recommended for most people. Low quality.
Q3_K_L1.94 GBNot recommended for most people. Low quality.
Q3_K_XL2.17 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q3_K_L for everything else. Low quality.
Q3_K_XXL2.51 GBNot recommended for most people. Uses F16 for output and embedding, and Q3_K_L for everything else. Low quality.
Q4_K_XS2.13 GBLower quality than Q4_K_S.
Q4_K_S2.13 GBRecommended. Slightly low quality.
Q4_K_M2.23 GBRecommended. Decent quality for most use cases.
Q4_K_L2.41 GBRecommended. Uses Q8_0 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q4_K_XL2.75 GBRecommended. Uses F16 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q5_K_XXS2.58 GBLower quality than Q5_K_S.
Q5_K_XS2.58 GBLower quality than Q5_K_S.
Q5_K_S2.58 GBRecommended. High quality.
Q5_K_M2.64 GBRecommended. High quality.
Q5_K_L2.78 GBRecommended. Uses Q8_0 for output and embedding, and Q5_K_M for everything else. High quality.
Q5_K_XL3.12 GBRecommended. Uses F16 for output and embedding, and Q5_K_M for everything else. High quality.
Q6_K_S3.08 GBLower quality than Q6_K.
Q6_K3.08 GBRecommended. Very high quality.
Q6_K_L3.17 GBRecommended. Uses Q8_0 for output and embedding, and Q6_K for everything else. Very high quality.
Q6_K_XL3.51 GBRecommended. Uses F16 for output and embedding, and Q6_K for everything else. Very high quality.
Q8_K_XS3.99 GBLower quality than Q8_0.
Q8_K_S3.99 GBLower quality than Q8_0.
Q8_03.99 GBRecommended. Quality almost like F16.
Q8_K_XL4.33 GBRecommended. Uses F16 for output and embedding, and Q8_0 for everything else. Quality almost like F16.
F167.5 GBNot recommended. Overkill. Prefer Q8_0.
ORIGINAL (BF16)7.5 GBNot recommended. Overkill. Prefer Q8_0.

Quantized using TAO71-AI AutoQuantizer. You can check out the original model card here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
8c8fc0e

0 моделей

    Создать бенчмарк