Характеристики

Контекст: 1 024 токена
Параметры: 242 млн
Лицензия: MIT
Архитектура: mbart · dense
Базовая модель: BARTBana_v3
Библиотека: transformers
Опубликована: 21 янв 2025

Ссылки

Hugging Face

BARTBana_v4

IAmSkyDra

Языковая модель

Дообученная модель mBART для условной генерации текста, пригодность которой для конкретных сценариев не описана.

7скачиваний за 30 дней0лайковвеса обновлены22 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BARTBana_v4 — дообученная модель семейства mBART, созданная IAmSkyDra на основе IAmSkyDra/BARTBana_v3. Это модель условной генерации текста на базе Transformers с 242,3 млн параметров и контекстом до 1024 токенов; веса опубликованы в формате Safetensors.

Карточка сообщает о дообучении и приводит значение loss 0,9365 на оценочном наборе, но не описывает датасет, целевые сценарии, языки или ограничения. Поэтому модель можно рассматривать для экспериментов с генерацией и преобразованием текста, однако её пригодность для конкретной задачи по имеющимся сведениям оценить нельзя. Лицензия — MIT.

Сценарии применения

эксперименты с генерацией текста по входному тексту
тестирование условной генерации в архитектуре mBART
оценка дообученной модели на собственных текстовых данных

Ограничения

Датасет, предполагаемые сценарии и поддерживаемые языки не описаны; приведено только значение loss 0,9365 без деталей протокола оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BARTBana_v4

This model is a fine-tuned version of IAmSkyDra/BARTBana_v3 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.9365

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 5
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
1.1191	1.0	6519	1.1595
1.0149	2.0	13038	1.0606
0.9759	3.0	19557	1.0451
0.9603	4.0	26076	0.9603
1.0066	5.0	32595	0.9281

Framework versions

Transformers 4.48.1
Pytorch 2.5.1+cu124
Datasets 3.2.0
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MBartForConditionalGeneration
Ревизия весов: 05eabf0