Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Базовая модель: Simple_Translation-model-for-GPT-v9
Опубликована: 8 июн 2024

Ссылки

Hugging Face

Simple_Translation-model-for-GPT-v10

Dhahlan2000

Языковая модель

Небольшая дообученная модель T5 для перевода текста.

7скачиваний за 30 дней0лайковвеса обновлены8 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000/Simple_Translation-model-for-GPT-v10 — дообученная автором модель семейства T5 для перевода текста. Она содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает контекст длиной до 512 токенов. Модель сохранена в формате safetensors.

В README приведены результаты оценки: loss 0,4387, BLEU 12,1037 и средняя длина генерации 18,54 токена. Языковые пары и область применения не описаны, поэтому качество перевода для конкретных языков или текстов по этим данным оценить нельзя. Лицензия в предоставленных сведениях не указана.

Сценарии применения

перевод коротких текстовых фрагментов
машинный перевод предложений
эксперименты с компактной моделью перевода

Ограничения

Языки и направления перевода не описаны. В README приведена оценка BLEU 12,1037, но без сведений о наборе данных её нельзя переносить на конкретные сценарии.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Simple_Translation-model-for-GPT-v10

This model is a fine-tuned version of Dhahlan2000/Simple_Translation-model-for-GPT-v9 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4387
Bleu: 12.1037
Gen Len: 18.5413

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.6215	1.0	9282	0.4529	11.9063	18.5393
0.5971	2.0	18564	0.4387	12.1037	18.5413

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 775f074