Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Опубликована: 30 апр 2024

Ссылки

Hugging Face

translation_model

drewcurran

Языковая модель3 профессии

Небольшая модель T5, обученная с нуля для перевода текста.

9скачиваний за 30 дней0лайковвеса обновлены7 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

translation_model — текстовая модель семейства T5 с архитектурой T5ForConditionalGeneration и 38,5 млн параметров. Согласно карточке, её обучили с нуля на неизвестном наборе данных; в метаданных указаны Transformers и формат safetensors. Контекст составляет 512 токенов.

Модель предназначена для перевода текста. В карточке приведены результаты оценки: loss 1,8172, BLEU 1,4433 и средняя длина генерации 18,005 токена. Данных о языковых парах, качестве на конкретных языках и подходящих сценариях применения нет, поэтому практическую пригодность следует проверять на собственных примерах. Лицензия не указана.

Сценарии применения

экспериментальный перевод коротких текстов
оценка базовой модели перевода на собственном наборе примеров
прототипирование системы машинного перевода

Ограничения

Обучающий датасет и языковые пары не указаны; приведённый BLEU равен 1,4433, поэтому качество перевода может быть низким. Лицензия и подробные ограничения применения не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

translation_model

This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.8172
Bleu: 1.4433
Gen Len: 18.005

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Epoch	Step	Training Loss	Validation Loss	Bleu	Gen Len
1.0	4674	2.5538	2.2471	0.7389	18.1428
2.0	9348	2.4606	2.1615	0.8787	18.1105
3.0	14022	2.3877	2.0981	0.9630	18.0917
4.0	18696	2.3433	2.0538	1.0353	18.0855
5.0	23370	2.2914	2.0186	1.0902	18.0692
6.0	28044	2.2565	1.9939	1.1566	18.0789
7.0	32718	2.2539	1.9756	1.1935	18.0686
8.0	37392	2.2262	1.9628	1.1998	18.0759
9.0	42066	2.2097	1.9556	1.2209	18.0706
10.0	46740	2.2021	1.9529	1.2244	18.0659
11.0	51414	2.1283	1.8698	1.3343	18.024
12.0	56088	2.1211	1.8516	1.3656	18.0194
13.0	60762	2.1063	1.8461	1.3828	18.0112
14.0	65436	2.0545	1.8267	1.4183	18.0116
15.0	70110	2.0645	1.8172	1.4433	18.005

Framework versions

Transformers 4.40.1
Pytorch 2.2.1+cu121
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: e5b1051