Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Архитектура: t5 · dense
Базовая модель: Simple_Translation-model-for-GPT-v11
Опубликована: 9 июн 2024

Ссылки

Hugging Face

Simple_Translation-model-for-GPT-v12

Dhahlan2000

Языковая модель

T5 негізіндегі, алдыңғы нұсқадан дообученный 38,5 млн параметрлі мәтін аудару моделі.

7скачиваний за 30 дней0лайковвеса обновлены9 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000 әзірлеген Simple_Translation-model-for-GPT-v12 — T5 архитектурасындағы мәтін аударуға арналған модель. Ол Dhahlan2000/Simple_Translation-model-for-GPT-v11 моделін белгісіз деректер жиынында қосымша оқыту арқылы алынған; параметрлер саны 38,5 млн, контекст ұзындығы 512 токенге дейін, салмақтары safetensors пішімінде жарияланған.

Модель мәтінді бір тілден екінші тілге аударуға арналған. Карточкада бағалау жиыны үшін Loss 0,3112 және BLEU 16,4275 нәтижелері берілген. Қолдау көрсетілетін тіл жұптары мен қолдану шектеулері нақтыланбаған. Лицензия туралы мәлімет берілмеген.

Сценарии применения

мәтіндерді бір тілден екінші тілге аудару
қысқа сөйлемдерді аудару
аударма сапасын BLEU метрикасымен бағалау

Ограничения

Қолдау көрсетілетін тілдер, тіл жұптары және қолдану шектеулері көрсетілмеген; жарияланған BLEU көрсеткіші 16,4275. Лицензия мен деректер жиыны туралы мәлімет жоқ.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Simple_Translation-model-for-GPT-v12

This model is a fine-tuned version of Dhahlan2000/Simple_Translation-model-for-GPT-v11 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.3112
Bleu: 16.4275
Gen Len: 18.492

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.4289	1.0	9282	0.3202	16.1676	18.4873
0.4045	2.0	18564	0.3112	16.4275	18.492

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: d2b6e97