Характеристики

Контекст: 40 960 токенов
Параметры: 3,7 млрд
Лицензия: Apache 2.0
Архитектура: qwen3 · dense
Базовая модель: Qwen3-Embedding-4B
Опубликована: 6 июн 2025

Ссылки

Qwen3-Embedding-4B-W4A16-G128

ЭмбеддингиТекст → embedding9 профессий

Qwen3-Embedding-4B-W4A16-G128 — GPTQ-квантованная версия модели Qwen3-Embedding-4B, опубликованная пользователем boboliu и разработанная на базе Qwen/Qwen3-Embedding-4B.

84 691скачиваний за 30 дней5лайковвеса обновлены7 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для создания текстовых эмбеддингов и задач семантического сходства, классификации, кластеризации, поиска, reranking и оценки семантического соответствия. Для калибровки использовались наборы THUIR/T2Ranking и m-a-p/COIG-CQIA.

Модель содержит около 4 млрд параметров и использует формат квантования W4A16 с GPTQ. По данным README, квантирование снижает использование VRAM примерно с 17 430 до 11 000 МБ без FA2. На бенчмарке C-MTEB средний результат составляет 71,75 против 72,27 у исходной Qwen3-Embedding-4B, то есть потери составляют около 0,72%. Языки, точная архитектура, размер контекста и поддерживаемые модальности в README не указаны.

Основное преимущество модели — уменьшенные требования к видеопамяти при сохранении близкого к исходной версии качества, что делает её более подходящей для локального запуска и ресурсоограниченной инфраструктуры. Ограничением является небольшое снижение качества на C-MTEB, а также необходимость совместимой программной среды для работы с GPTQ-квантованием. README рекомендует установить compressed-tensors, optimum и один из пакетов auto-gptq или gptqmodel. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-Embedding-4B-W4A16-G128

GPTQ Quantized Qwen/Qwen3-Embedding-4B with THUIR/T2Ranking and m-a-p/COIG-CQIA for calibration set.

What's the benefit?

VRAM Usage: 17430M -> 11000M (w/o FA2).

What's the cost?

~0.72% lost in C-MTEB.

Evaluation performed with official code.

C-MTEB	Param.	Mean(Task)	Mean(Type)	Class.	Clust.	Pair Class.	Rerank.	Retr.	STS
multilingual-e5-large-instruct	0.6B	58.08	58.24	69.80	48.23	64.52	57.45	63.65	45.81
bge-multilingual-gemma2	9B	67.64	68.52	75.31	59.30	86.67	68.28	73.73	55.19
gte-Qwen2-1.5B-instruct	1.5B	67.12	67.79	72.53	54.61	79.5	68.21	71.86	60.05
gte-Qwen2-7B-instruct	7.6B	71.62	72.19	75.77	66.06	81.16	69.24	75.70	65.20
ritrieve_zh_v1	0.3B	72.71	73.85	76.88	66.5	85.98	72.86	76.97	63.92
Qwen3-Embedding-4B	4B	72.27	73.51	75.46	77.89	83.34	66.05	77.03	61.26
This Model	4B-W4A16	71.75	73.05	75.43	77.51	83.04	65.73	76.15	60.47

How to use it?

pip install compressed-tensors optimum and auto-gptq / gptqmodel, then goto the official usage guide.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM (vLLM).

Класс архитектуры: Qwen3ForCausalLM
Ревизия весов: 9da6cb7