Характеристики

Контекст: 1 024 токена
Параметры: 333 млн
Лицензия: MIT
Архитектура: m2m_100 · dense
Базовая модель: m2m100_418M
Библиотека: transformers
Опубликована: 18 окт 2024

Ссылки

Hugging Face

en-ru_mtmodel

sophiebui

Языковая модель

Дообученная M2M100-модель для перевода текстов между английским и русским языками.

11скачиваний за 30 дней0лайковвеса обновлены18 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sophiebui/en-ru_mtmodel — дообученная модель перевода на основе facebook/m2m100_418M, опубликованная Sophie Bui. Архитектура M2M100 encoder-decoder; в репозитории указано 332,5 млн параметров и контекст до 1024 токенов. Модель предназначена для перевода между английским и русским языками.

В README приведены результаты оценки: BLEU 55,33, loss 0,3704 и средняя длина генерации 12,17 токена; подробности набора данных и методики оценки не описаны. Модель работает через Transformers и распространяется в формате safetensors по лицензии MIT.

Сценарии применения

перевод текста с английского на русский
перевод текста с русского на английский
машинный перевод коротких фраз и предложений

Ограничения

README не описывает обучающие данные и методику оценки, поэтому приведённый BLEU трудно интерпретировать. Заявленный контекст составляет 1024 токена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

en-ru_mtmodel

This model is a fine-tuned version of facebook/m2m100_418M on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.3704
Bleu: 55.3333
Gen Len: 12.1661

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.4985	1.0	30777	0.4535	51.6282	12.1057
0.3926	2.0	61554	0.3924	54.2743	12.1628
0.3088	3.0	92331	0.3704	55.3333	12.1661

Framework versions

Transformers 4.45.2
Pytorch 2.4.1+cu121
Datasets 3.0.1
Tokenizers 0.20.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: M2M100ForConditionalGeneration
Ревизия весов: f62e0db