Характеристики

Параметры: 157 млн
Лицензия: Apache 2.0
Архитектура: mt5 · dense
Базовая модель: md_mt5_1911_v16_deneme
Опубликована: 20 ноя 2023

Ссылки

md_mt5_1911_v18_retrain

Дообученная модель mT5 с 157,4 млн параметров для преобразования текста в текст, чья целевая задача в карточке не описана.

11скачиваний за 30 дней0лайковвеса обновлены20 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Buseak разработал эту модель как дообученную версию Buseak/md_mt5_1911_v16_deneme на базе архитектуры mT5 для преобразования текста в текст. Модель содержит 157,4 млн параметров и опубликована в формате safetensors; лицензия — Apache-2.0.

Карточка сообщает результаты оценки: Loss 0,1754, BLEU 0,7623 и средняя длина генерации 18,7866 токена. Целевая задача, обучающие данные, поддерживаемые языки и конкретные сценарии применения не описаны, поэтому по этим метрикам нельзя надёжно определить назначение модели.

Ограничения

Целевая задача и языки модели не указаны; метрики оценки приведены без описания датасета и протокола.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

md_mt5_1911_v18_retrain

This model is a fine-tuned version of Buseak/md_mt5_1911_v16_deneme on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1754
Bleu: 0.7623
Gen Len: 18.7866

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.6365	1.0	1250	0.3435	0.6788	18.7694
0.5732	2.0	2500	0.3064	0.7037	18.7644
0.5375	3.0	3750	0.2819	0.7114	18.7706
0.4912	4.0	5000	0.2549	0.7237	18.77
0.4648	5.0	6250	0.2394	0.7354	18.772
0.4321	6.0	7500	0.2245	0.7335	18.7762
0.4159	7.0	8750	0.2131	0.7446	18.778
0.4044	8.0	10000	0.2030	0.7478	18.7776
0.3889	9.0	11250	0.1963	0.7496	18.7852
0.3798	10.0	12500	0.1896	0.7524	18.7834
0.3733	11.0	13750	0.1836	0.757	18.7854
0.3623	12.0	15000	0.1803	0.7596	18.7852
0.3583	13.0	16250	0.1775	0.7618	18.7878
0.3643	14.0	17500	0.1758	0.7616	18.7828
0.3609	15.0	18750	0.1754	0.7623	18.7866

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu118
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MT5ForConditionalGeneration
Ревизия весов: 7864cc6