Характеристики

Контекст: 1 024 токена
Параметры: 457 млн
Лицензия: MIT
Архитектура: mbart · dense
Базовая модель: mbart-large-50
Библиотека: transformers
Опубликована: 5 сен 2024

Ссылки

Hugging Face

mbart-sci-ft

aparajitha

Языковая модель

Дообученная многоязычная Seq2Seq-модель mBART для преобразования текста.

18скачиваний за 30 дней0лайковвеса обновлены5 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

aparajitha/mbart-sci-ft — дообученная модель aparajitha на основе facebook/mbart-large-50. Это Seq2Seq-модель архитектуры mBART с 457,4 млн параметров, предназначенная для преобразования текста; в репозитории хранятся веса Safetensors, модель работает через Transformers и имеет контекст до 1024 токенов.

Карточка сообщает о дообучении на неизвестном наборе данных и приводит значение Loss 2,5818 на оценочной выборке. Специализированное назначение, поддерживаемые языки и конкретные сценарии применения не описаны, поэтому возможные задачи можно определить только в общих пределах преобразования текста. Лицензия — MIT.

Сценарии применения

преобразование текста в задачах Seq2Seq
эксперименты с дообучением многоязычной mBART
оценка качества модели на собственном наборе данных

Ограничения

Данные для дообучения не названы, а описание назначения, языков и ограничений в карточке отсутствует. Приведённое значение Loss 2,5818 без описания оценочного набора и метрики сравнения не позволяет судить о качестве для конкретной задачи.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

legpeg-ft-sci

This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.5818

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 6

Training results

Training Loss	Epoch	Step	Validation Loss
3.196	1.0	726	2.7445
2.7527	2.0	1452	2.7006
2.5357	3.0	2178	2.6124
2.4072	4.0	2904	2.6081
2.3133	5.0	3630	2.5898
2.2176	6.0	4356	2.5818

Framework versions

Transformers 4.44.2
Pytorch 2.3.1.post300
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MBartForConditionalGeneration
Ревизия весов: 808c743