Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Базовая модель: Simple_Translation-model-for-GPT-v12
Опубликована: 9 июн 2024

Ссылки

Hugging Face

Simple_Translation-model-for-GPT-v13

Dhahlan2000

Языковая модель

Дообученная модель T5 для перевода текста, основанная на версии Dhahlan2000/Simple_Translation-model-for-GPT-v12.

7скачиваний за 30 дней0лайковвеса обновлены9 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000/Simple_Translation-model-for-GPT-v13 — дообученная модель семейства T5 на 38,5 млн параметров, созданная на основе Dhahlan2000/Simple_Translation-model-for-GPT-v12. Она предназначена для перевода текста; в карточке приведены результаты оценки: BLEU 17,09, loss 0,2668 и средняя длина генерации 18,59 токена.

Модель принимает текст и генерирует текст. Использует архитектуру T5ForConditionalGeneration, формат весов Safetensors и контекст длиной до 512 токенов. Данные обучения и поддерживаемые языки не описаны, поэтому конкретные языковые пары определить нельзя. Лицензия в предоставленных данных не указана.

Сценарии применения

перевод текста между языками
экспериментальная оценка качества машинного перевода
генерация переводов в приложениях на базе Transformers

Ограничения

Языки и пары перевода, а также данные обучения не описаны. В приведённой оценке BLEU составляет 17,09; лицензия не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Simple_Translation-model-for-GPT-v13

This model is a fine-tuned version of Dhahlan2000/Simple_Translation-model-for-GPT-v12 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2668
Bleu: 17.0937
Gen Len: 18.5927

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.3914	1.0	9282	0.2714	16.9453	18.5893
0.3774	2.0	18564	0.2668	17.0937	18.5927

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: cf5e8fe