/ Модель
Каталог

Характеристики

Опубликована
14 мар 2025

Ссылки

Hugging Face

lightblue_-_reranker_0.5_bin_filt-gguf

RichardErkhov
Ранжирование текстаТекст → score8 профессий

reranker_0.5_bin_filt — это текстовая reranker-модель для ранжирования и переранжирования найденных документов или других текстовых кандидатов по их релевантности запросу.

919скачиваний за 30 дней0лайковвеса обновлены2 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходная модель разработана пользователем lightblue и дообучена на базе Qwen/Qwen2.5-0.5B-Instruct; GGUF-квантизацию выполнил Richard Erkhov.

Модель предназначена для сценариев поиска, retrieval-augmented generation и фильтрации результатов, где требуется выбрать или упорядочить наиболее подходящие тексты. Она доступна в формате GGUF с вариантами квантизации Q2_K, IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8; размер файлов составляет примерно 0,39–0,63 ГБ. Указано, что базовая модель имеет размер 0,5B параметров, однако сведения о точной архитектуре reranker, поддерживаемых языках, модальностях и длине контекста отсутствуют.

К сильным сторонам относятся небольшой размер и возможность локального запуска благодаря GGUF-квантизации, а также специализация на задачах бинарного ранжирования. Ограничения связаны с отсутствием подробного описания датасета, сценариев применения, языковой поддержки и полноценных оценок качества: в карточке приведены только значения loss, включая 0,0526 на evaluation set. Лицензия указана как «other», без уточнения условий использования, поэтому перед применением необходимо проверить лицензионные ограничения исходной модели и производного артефакта.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quantization made by Richard Erkhov.

Github

Discord

Request more models

reranker_0.5_bin_filt - GGUF

NameQuant methodSize
reranker_0.5_bin_filt.Q2_K.ggufQ2_K0.39GB
reranker_0.5_bin_filt.IQ3_XS.ggufIQ3_XS0.39GB
reranker_0.5_bin_filt.IQ3_S.ggufIQ3_S0.39GB
reranker_0.5_bin_filt.Q3_K_S.ggufQ3_K_S0.39GB
reranker_0.5_bin_filt.IQ3_M.ggufIQ3_M0.39GB
reranker_0.5_bin_filt.Q3_K.ggufQ3_K0.4GB
reranker_0.5_bin_filt.Q3_K_M.ggufQ3_K_M0.4GB
reranker_0.5_bin_filt.Q3_K_L.ggufQ3_K_L0.42GB
reranker_0.5_bin_filt.IQ4_XS.ggufIQ4_XS0.4GB
reranker_0.5_bin_filt.Q4_0.ggufQ4_00.4GB
reranker_0.5_bin_filt.IQ4_NL.ggufIQ4_NL0.4GB
reranker_0.5_bin_filt.Q4_K_S.ggufQ4_K_S0.45GB
reranker_0.5_bin_filt.Q4_K.ggufQ4_K0.46GB
reranker_0.5_bin_filt.Q4_K_M.ggufQ4_K_M0.46GB
reranker_0.5_bin_filt.Q4_1.ggufQ4_10.43GB
reranker_0.5_bin_filt.Q5_0.ggufQ5_00.46GB
reranker_0.5_bin_filt.Q5_K_S.ggufQ5_K_S0.48GB
reranker_0.5_bin_filt.Q5_K.ggufQ5_K0.49GB
reranker_0.5_bin_filt.Q5_K_M.ggufQ5_K_M0.49GB
reranker_0.5_bin_filt.Q5_1.ggufQ5_10.49GB
reranker_0.5_bin_filt.Q6_K.ggufQ6_K0.61GB
reranker_0.5_bin_filt.Q8_0.ggufQ8_00.63GB

Original model description:

library_name: transformers license: other base_model: Qwen/Qwen2.5-0.5B-Instruct tags:

  • llama-factory
  • full
  • generated_from_trainer model-index:
  • name: reranker_binary_filt_train results: []

reranker_binary_filt_train

This model is a fine-tuned version of Qwen/Qwen2.5-0.5B-Instruct on the reranker_binary_filt_train dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0526

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 1
  • eval_batch_size: 1
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • total_train_batch_size: 8
  • total_eval_batch_size: 8
  • optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.01
  • num_epochs: 1.0

Training results

Training LossEpochStepValidation Loss
0.05170.100019370.0871
0.1140.200138740.0835
0.10330.300158110.0735
0.05440.400177480.0663
0.11690.500196850.0623
0.050.6002116220.0599
0.09510.7002135590.0566
0.04970.8002154960.0551
0.10020.9002174330.0532

Framework versions

  • Transformers 4.46.1
  • Pytorch 2.4.0+cu121
  • Datasets 3.1.0
  • Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
ef110dd

0 моделей

    Создать бенчмарк