/ Модель

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Лицензия
Apache 2.0
Архитектура
qwen3 · dense
Базовая модель
Qwen3-Reranker-4B
Опубликована
7 июн 2025

Qwen3-Reranker-4B-W4A16-G128

Генерация текстаТекст → текст8 профессий

Qwen3-Reranker-4B-W4A16-G128 — GPTQ-квантизированная версия модели Qwen3-Reranker-4B, разработанной командой Qwen.

159 тыс.скачиваний за 30 дней2лайкавеса обновлены7 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для переранжирования результатов поиска и других задач классификации текста, где требуется оценить релевантность текстовых пар или запросов и документов. Она может использоваться в системах семантического поиска, retrieval-augmented generation и других сценариях, в которых исходную выдачу нужно упорядочить по релевантности.

Модель основана на архитектуре Qwen3-Reranker-4B и использует 4-битное квантование GPTQ с конфигурацией W4A16-G128. Для калибровки применялись наборы данных Ultrachat, THUIR/T2Ranking и m-a-p/COIG-CQIA. По данным карточки, квантование снижает заявленное потребление VRAM примерно с 17 430 до 11 000 МБ без FA2, однако автор оценивает возможное падение точности менее чем в 5%; окончательная оценка на момент публикации ещё проводилась. Языки, размер контекста и точный перечень поддерживаемых модальностей в карточке не указаны; по описанию модель является текстовой.

Модель распространяется по лицензии Apache-2.0. Для запуска требуется установить соответствующие инструменты, включая compressed-tensors, optimum и один из пакетов auto-gptq или gptqmodel, после чего использовать официальный пример для Qwen3-Reranker. Ключевое преимущество — уменьшенное потребление видеопамяти при сохранении назначения исходной модели, а основное ограничение — потенциальная потеря качества после квантования и отсутствие подробных результатов независимой оценки.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3ForCausalLM
Ревизия весов
84d3701

0 моделей