/ Модель
Каталог

Характеристики

Базовая модель
Qwen3-4B
Опубликована
11 авг 2025

Ссылки

Hugging Face

Qwen_Qwen3-4B-GGUF

Alcoft
Генерация текстаТекст → текст12 профессий

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen.

577скачиваний за 30 дней0лайковвеса обновлены11 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях.

Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются.

В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

Для каких профессий подходит12

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
QuantSizeDescription
Q2_K1.55 GBNot recommended for most people. Very low quality.
Q2_K_L1.64 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q2_K for everything else. Very low quality.
Q2_K_XL1.98 GBNot recommended for most people. Uses F16 for output and embedding, and Q2_K for everything else. Very low quality.
Q3_K_S1.76 GBNot recommended for most people. Prefer any bigger Q3_K quantization. Low quality.
Q3_K_M1.93 GBNot recommended for most people. Low quality.
Q3_K_L2.09 GBNot recommended for most people. Low quality.
Q3_K_XL2.17 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q3_K_L for everything else. Low quality.
Q3_K_XXL2.51 GBNot recommended for most people. Uses F16 for output and embedding, and Q3_K_L for everything else. Low quality.
Q4_K_S2.22 GBRecommended. Slightly low quality.
Q4_K_M2.33 GBRecommended. Decent quality for most use cases.
Q4_K_L2.41 GBRecommended. Uses Q8_0 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q4_K_XL2.75 GBRecommended. Uses F16 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q5_K_S2.63 GBRecommended. High quality.
Q5_K_M2.69 GBRecommended. High quality.
Q5_K_L2.78 GBRecommended. Uses Q8_0 for output and embedding, and Q5_K_M for everything else. High quality.
Q5_K_XL3.12 GBRecommended. Uses F16 for output and embedding, and Q5_K_M for everything else. High quality.
Q6_K3.08 GBRecommended. Very high quality.
Q6_K_L3.17 GBRecommended. Uses Q8_0 for output and embedding, and Q6_K for everything else. Very high quality.
Q6_K_XL3.51 GBRecommended. Uses F16 for output and embedding, and Q6_K for everything else. Very high quality.
Q8_03.99 GBRecommended. Quality almost like F16.
Q8_K_XL4.33 GBRecommended. Uses F16 for output and embedding, and Q8_0 for everything else. Quality almost like F16.
F167.5 GBNot recommended. Overkill. Prefer Q8_0.
ORIGINAL (BF16)7.5 GBNot recommended. Overkill. Prefer Q8_0.

Quantized using TAO71-AI AutoQuantizer. You can check out the original model card here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
2695e62

0 моделей

    Создать бенчмарк