Характеристики

Контекст: 32 768 токенов
Параметры: 494 млн
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2-0.5B-Instruct
Библиотека: transformers
Опубликована: 5 сен 2024

Ссылки

Hugging Face

Qwen2-0.5B-Reward

trl-lib

Классификация текстаТекст → label3 профессии

Дообученный классификатор Qwen2 для оценки текста, предназначенный в том числе для использования как reward-модель.

144скачиваний за 30 дней1лайквеса обновлены5 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen2-0.5B-Reward — дообученная командой TRL модель на базе Qwen/Qwen2-0.5B-Instruct, представленная как классификатор последовательностей с 494 млн параметров. Она предназначена для классификации текста; название указывает на применение в качестве reward-модели для оценки текстовых ответов, однако README не описывает схему оценивания и набор данных.

Модель построена на архитектуре Qwen2, использует библиотеку Transformers и принимает текст, выдавая классификационные оценки. Длина контекста — до 32 768 токенов. В README приведены результаты оценки: loss 0,5182 и accuracy 0,728.

Лицензия Apache-2.0. README не раскрывает обучающие данные, методику оценки и ограничения применимости; приведённые метрики не позволяют судить о качестве на других данных.

Сценарии применения

оценка качества текстовых ответов
ранжирование ответов по предпочтительности
классификация текстовых примеров
оценка ответов в конвейере обучения с подкреплением

Ограничения

В README не описаны обучающие данные и методика оценки, поэтому метрики loss 0,5182 и accuracy 0,728 нельзя уверенно переносить на другие наборы данных. Не приведены сведения о калибровке оценок и конкретной схеме использования в качестве reward-модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen2-0.5B-Reward

This model is a fine-tuned version of Qwen/Qwen2-0.5B-Instruct on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.5182
Accuracy: 0.728

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
distributed_type: multi-GPU
num_devices: 8
total_train_batch_size: 64
total_eval_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.6444	0.0516	50	0.6037	0.672
0.5825	0.1032	100	0.5859	0.682
0.5732	0.1548	150	0.5751	0.704
0.5494	0.2064	200	0.5514	0.701
0.5654	0.2580	250	0.5427	0.709
0.5514	0.3096	300	0.5309	0.723
0.537	0.3612	350	0.5259	0.735
0.5236	0.4128	400	0.5368	0.714
0.536	0.4644	450	0.5451	0.726
0.5236	0.5160	500	0.5371	0.727
0.526	0.5676	550	0.5293	0.729
0.5197	0.6192	600	0.5239	0.727
0.525	0.6708	650	0.5227	0.732
0.5123	0.7224	700	0.5206	0.723
0.5171	0.7740	750	0.5237	0.718
0.5156	0.8256	800	0.5245	0.722
0.5115	0.8772	850	0.5234	0.723
0.5007	0.9288	900	0.5207	0.729
0.5018	0.9804	950	0.5182	0.728

Framework versions

Transformers 4.44.2
Pytorch 2.4.0+cu121
Datasets 2.21.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForSequenceClassification
Ревизия весов: 80fb188