Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Базовая модель: Simple_Translation-model-for-GPT-v4
Опубликована: 27 мая 2024

Ссылки

Hugging Face

Simple_Translation-model-for-GPT-v5

Dhahlan2000

Языковая модель

Компактная дообученная модель T5 для перевода текста.

8скачиваний за 30 дней0лайковвеса обновлены27 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000 разработал Simple_Translation-model-for-GPT-v5 как дообученную версию Dhahlan2000/Simple_Translation-model-for-GPT-v4. Это компактная модель семейства T5 с 38,5 млн параметров для генерации текста по текстовому запросу; её назначение — перевод. Модель рассчитана на контекст до 512 токенов и распространяется в формате safetensors.

В карточке приведены результаты оценки: loss 0,4102 и BLEU 34,7472. Языковые пары, обучающие данные и подробные ограничения не описаны, поэтому качество перевода для конкретных языков и типов текстов по этим результатам определить нельзя. Лицензия в предоставленных метаданных и README не указана.

Сценарии применения

перевод коротких текстов
черновой перевод предложений
перевод текста в рамках контекста до 512 токенов

Ограничения

Языковые пары, обучающие данные и лицензия в предоставленных сведениях не описаны. Приведённая оценка BLEU не уточняет языковую пару и условия тестирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Simple_Translation-model-for-GPT-v5

This model is a fine-tuned version of Dhahlan2000/Simple_Translation-model-for-GPT-v4 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4102
Bleu: 34.7472
Gen Len: 15.3646

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.6105	1.0	4571	0.4355	33.6572	15.3556
0.5775	2.0	9142	0.4102	34.7472	15.3646

Framework versions

Transformers 4.41.0
Pytorch 2.3.0+cu121
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 9e1bca1