/ Модель

Характеристики

Базовая модель
Qwen3-1.7B
Опубликована
11 авг 2025

Qwen_Qwen3-1.7B-GGUF

Генерация текстаТекст → текст7 профессий

Alcoft/Qwen_Qwen3-1.7B-GGUF — набор GGUF-квантизованных вариантов модели Qwen/Qwen3-1.7B, опубликованный пользователем Alcoft.

797скачиваний за 30 дней0лайковвеса обновлены11 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального запуска в совместимых средах, поддерживающих формат GGUF. README не содержит сведений о конкретных языках, длине контекста и мультимодальности, поэтому эти характеристики нельзя надёжно определить по представленным данным.

Доступны варианты с различными уровнями квантизации: от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 839 МБ до 3,79 ГБ. Более компактные варианты требуют меньше памяти, но имеют заметно более низкое качество; автор рекомендует в большинстве случаев версии Q4–Q8, причём Q5 и Q6 описываются как высоко- и очень высококачественные, а Q8_0 — как близкая по качеству к F16. Некоторые варианты используют повышенную точность для выходных и embedding-слоёв.

Ключевое преимущество репозитория — широкий выбор компромиссов между размером, требованиями к памяти и качеством при локальном инференсе. Ограничения связаны с потерями качества при низкой квантизации, особенно у вариантов Q2 и Q3; версии F16 и BF16 автор считает избыточными. Квантизация выполнена с помощью TAO71-AI AutoQuantizer. Лицензия в README не указана.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face
QuantSizeDescription
Q2_K839.13 MBNot recommended for most people. Very low quality.
Q2_K_L1.1 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q2_K for everything else. Very low quality.
Q2_K_XL1.65 GBNot recommended for most people. Uses F16 for output and embedding, and Q2_K for everything else. Very low quality.
Q3_K_S954.59 MBNot recommended for most people. Prefer any bigger Q3_K quantization. Low quality.
Q3_K_M1023.52 MBNot recommended for most people. Low quality.
Q3_K_L1.06 GBNot recommended for most people. Low quality.
Q3_K_XL1.31 GBNot recommended for most people. Uses Q8_0 for output and embedding, and Q3_K_L for everything else. Low quality.
Q3_K_XXL1.86 GBNot recommended for most people. Uses F16 for output and embedding, and Q3_K_L for everything else. Low quality.
Q4_K_S1.15 GBRecommended. Slightly low quality.
Q4_K_M1.19 GBRecommended. Decent quality for most use cases.
Q4_K_L1.41 GBRecommended. Uses Q8_0 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q4_K_XL1.95 GBRecommended. Uses F16 for output and embedding, and Q4_K_M for everything else. Decent quality.
Q5_K_S1.35 GBRecommended. High quality.
Q5_K_M1.37 GBRecommended. High quality.
Q5_K_L1.55 GBRecommended. Uses Q8_0 for output and embedding, and Q5_K_M for everything else. High quality.
Q5_K_XL2.09 GBRecommended. Uses F16 for output and embedding, and Q5_K_M for everything else. High quality.
Q6_K1.56 GBRecommended. Very high quality.
Q6_K_L1.7 GBRecommended. Uses Q8_0 for output and embedding, and Q6_K for everything else. Very high quality.
Q6_K_XL2.24 GBRecommended. Uses F16 for output and embedding, and Q6_K for everything else. Very high quality.
Q8_02.02 GBRecommended. Quality almost like F16.
Q8_K_XL2.56 GBRecommended. Uses F16 for output and embedding, and Q8_0 for everything else. Quality almost like F16.
F163.79 GBNot recommended. Overkill. Prefer Q8_0.
ORIGINAL (BF16)3.79 GBNot recommended. Overkill. Prefer Q8_0.

Quantized using TAO71-AI AutoQuantizer. You can check out the original model card here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
b559163

0 моделей