Характеристики

Параметры: 291 млн
Лицензия: Apache 2.0
Архитектура: mt5 · dense
Базовая модель: mt5-base
Опубликована: 16 мар 2024

Ссылки

Hugging Face

ALL_mt5-base_15_wikiSQL_sch

e22vvb

Языковая модель

Дообученная многоязычная модель MT5 для преобразования текста в текст, с нераскрытым прикладным назначением.

7скачиваний за 30 дней0лайковвеса обновлены17 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ALLmt5-base15wikiSQLsch — дообученная модель на базе google/mt5-base, построенная на архитектуре MT5ForConditionalGeneration и содержащая около 291,2 млн параметров. Базовая модель Google преобразует текст в текст и поддерживает множество языков. Модель опубликована в формате safetensors под лицензией Apache-2.0.

В карточке приведены метрики оценки: Loss 0,0585 и Rouge2 F-measure 0,8358. Название указывает на возможное применение к WikiSQL, однако описание, обучающий набор данных и назначение в README не раскрыты, поэтому конкретные сценарии работы и качество на SQL-задачах подтвердить нельзя.

Сценарии применения

генерация текста по текстовому запросу
адаптация к прикладным NLP-задачам
экспериментальная проверка генерации ответов для WikiSQL

Ограничения

README не описывает назначение модели, обучающие данные или ограничения; связь с WikiSQL следует только из названия и не подтверждена описанием. Приведённые метрики не сопровождаются сведениями о наборе оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ALL_mt5-base_15_wikiSQL_sch

This model is a fine-tuned version of google/mt5-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0585
Rouge2 Precision: 0.8836
Rouge2 Recall: 0.8038
Rouge2 Fmeasure: 0.8358

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 15
eval_batch_size: 15
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge2 Precision	Rouge2 Recall	Rouge2 Fmeasure
0.0796	1.0	8637	0.0675	0.8604	0.78	0.8122
0.0683	2.0	17274	0.0617	0.8681	0.7878	0.8199
0.0587	3.0	25911	0.0593	0.8733	0.7924	0.8248
0.0527	4.0	34548	0.0579	0.8776	0.795	0.8282
0.0478	5.0	43185	0.0573	0.8788	0.7981	0.8305
0.0453	6.0	51822	0.0571	0.8806	0.7999	0.8323
0.043	7.0	60459	0.0571	0.8816	0.8008	0.8333
0.0399	8.0	69096	0.0570	0.881	0.8006	0.8329
0.0389	9.0	77733	0.0573	0.8823	0.8019	0.8343
0.0363	10.0	86370	0.0573	0.8828	0.8025	0.8347
0.0366	11.0	95007	0.0580	0.8835	0.8028	0.8352
0.0333	12.0	103644	0.0579	0.8836	0.8032	0.8355
0.0325	13.0	112281	0.0581	0.8833	0.8036	0.8356
0.0327	14.0	120918	0.0585	0.8839	0.8039	0.836
0.0306	15.0	129555	0.0585	0.8836	0.8038	0.8358

Framework versions

Transformers 4.37.2
Pytorch 2.2.0
Datasets 2.16.1
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MT5ForConditionalGeneration
Ревизия весов: 79d3ad0