Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Базовая модель: Simple_Translation-model-for-GPT-v2
Опубликована: 27 мая 2024

Ссылки

Hugging Face

Simple_Translation-model-for-GPT-v3

Dhahlan2000

Языковая модель

Компактная дообученная модель T5 для задач перевода текста.

7скачиваний за 30 дней0лайковвеса обновлены27 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000 выпустил Simple_Translation-model-for-GPT-v3 — дообученную версию Dhahlan2000/Simple_Translation-model-for-GPT-v2. Это компактная модель семейства T5 с 38,5 млн параметров для генерации текста по текстовому запросу; базовая модель предназначена для перевода текста. Модель опубликована в формате safetensors и рассчитана на контекст до 512 токенов.

В карточке приведены результаты оценки: BLEU 30,5908 и loss 0,4882; набор данных и языковые пары не описаны. Модель можно рассматривать для экспериментов с переводом коротких текстов, однако этих сведений недостаточно, чтобы оценить качество для конкретной языковой пары или сценария. Условия лицензии в предоставленных источниках не приведены.

Сценарии применения

перевод коротких текстовых фрагментов
эксперименты с машинным переводом
генерация переведённого текста по входному тексту

Ограничения

В карточке не указаны языки и языковые пары, обучающий датасет и подробные ограничения; приведённые метрики не позволяют оценить качество для конкретного применения. Лицензия в предоставленных источниках не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Simple_Translation-model-for-GPT-v3

This model is a fine-tuned version of Dhahlan2000/Simple_Translation-model-for-GPT-v2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4882
Bleu: 30.5908
Gen Len: 15.3476

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.7494	1.0	4571	0.5369	28.6585	15.3298
0.6735	2.0	9142	0.4882	30.5908	15.3476

Framework versions

Transformers 4.41.0
Pytorch 2.3.0+cu121
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: afb748a