Характеристики

Контекст: 32 768 токенов
Параметры: 3,1 млрд
Размер весов: 6,8 ГБ
Лицензия: Своя лицензия
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-3B-Instruct
Библиотека: peft
Опубликована: 4 ноя 2024

Ссылки

Hugging Face

pancho-v1-qw25-3B-UNAMGS

fblgit

Генерация текстаТекст → текст

Дообученная на данных Magpie компактная чат-модель Qwen2.5-3B для диалогов и генерации текста по инструкциям.

0скачиваний за 30 дней3лайкавеса обновлены6 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MUSR
MUSR Raw · выше — лучше
Результат
0,4027
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,5361
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,4926
Open LLM v2 · архив
Публичная таблицадругая ревизия
GPQA
GPQA Raw · выше — лучше
Результат
0,297
Open LLM v2 · архив
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,3766
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,1571
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Pancho-v1-qw25-3B-UNAMGS — дообученная fblgit модель на базе Qwen/Qwen2.5-3B-Instruct. Это плотная причинно-авторегрессионная модель семейства Qwen2, предназначенная для диалогов и генерации текста по инструкциям. В обучении использованы наборы Magpie-Align/Magpie-Llama-3.1-Pro-MT-300K-Filtered и Magpie-Align/Magpie-Pro-MT-300K-v0.1; в карточке также указаны изменения UNA на MLP-слоях 4, 10, 16, 22 и 28 и MGS в трёх масштабах.

Модель содержит 3,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка приводит значение loss 0,6555 на оценочном наборе, но не описывает протокол оценки и сравнительные результаты. Репозиторий содержит веса в формате safetensors и интерфейс для вызова инструментов. Указана лицензия other; её конкретные условия следует проверять в карточке модели и у базовой модели.

Сценарии применения

ответы на пользовательские вопросы в чате
генерация текста по инструкциям
создание структурированных текстовых ответов
прототипирование чат-бота с вызовом инструментов

Ограничения

В карточке приведено только одно значение loss без описания методики оценки, поэтому качество на практических задачах по нему определить нельзя. Для лицензии с обозначением other следует отдельно проверить применимые условия использования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

pancho-v1-qw25-3B-UNAMGS

This model is a fine-tuned version of Qwen/Qwen2.5-3B-Instruct: It achieves the following results on the evaluation set:

Loss: 0.6555

Model description

Trained with MagPie:

Magpie-Align/Magpie-Llama-3.1-Pro-MT-300K-Filtered
Magpie-Align/Magpie-Pro-MT-300K-v0.1

UNA on MLPs 4, 10, 16, 22, 28

MGS on 3 Scales.

Following https://arxiv.org/abs//2410.21228 facts.

License & Derivatives

Any derivative (sft, merges, etc) using ANY layer from this model MUST include either UNA or MGS or PANCHO in their model name in order to obtain a LICENSE for derivatives of this model.

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
seed: 42
distributed_type: multi-GPU
num_devices: 8
total_train_batch_size: 256
total_eval_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
1.2127	0.0015	1	0.8711
0.9905	0.0509	35	0.7338
0.9685	0.1019	70	0.7114
0.9554	0.1528	105	0.6994
0.9077	0.2037	140	0.6915
0.9149	0.2547	175	0.6859
0.9363	0.3056	210	0.6795
0.8975	0.3566	245	0.6745
0.9095	0.4075	280	0.6709
0.9216	0.4584	315	0.6681
0.9143	0.5094	350	0.6666
0.8879	0.5603	385	0.6645
0.9194	0.6112	420	0.6625
0.9123	0.6622	455	0.6615
0.9056	0.7131	490	0.6591
0.9172	0.7641	525	0.6578
0.886	0.8150	560	0.6566
0.9155	0.8659	595	0.6568
0.9029	0.9169	630	0.6560
0.8942	0.9678	665	0.6555

Framework versions

PEFT 0.13.2
Transformers 4.45.2
Pytorch 2.3.0+cu121
Datasets 3.0.1
Tokenizers 0.20.1#

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 3807db7