Характеристики

Контекст: 1 026 токенов
Параметры: 79,7 млн
Лицензия: MIT
Архитектура: bart · dense
Базовая модель: kobart-base-v2
Опубликована: 10 июн 2024

Ссылки

Hugging Face

Jeolla_encoder

yomilimi

Языковая модель

Дообученная корейская модель BART для генерации текста, чья конкретная задача в карточке не раскрыта.

12скачиваний за 30 дней0лайковвеса обновлены10 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Jeolla_encoder — модель BART, дообученная yomilimi на базе gogamza/kobart-base-v2. Веса содержат 79,7 млн параметров и опубликованы в формате safetensors; модель рассчитана на контекст до 1026 токенов. Репозиторий указывает задачу text2text-generation, однако карточка не описывает назначение модели и обучающие данные. На оценочном наборе приведены Loss 0,0132, BLEU 89,0781 и средняя длина генерации 14,0615 токена, но без описания набора и протокола эти результаты трудно интерпретировать. Лицензия — MIT.

Сценарии применения

генерация короткого текста на корейском языке
эксперименты с задачами преобразования текста в текст
оценка генерации текста по метрике BLEU

Ограничения

Назначение, состав обучающих данных и сценарии применения не описаны. Метрики оценки приведены без сведений о тестовом наборе и протоколе.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Jeolla_encoder

This model is a fine-tuned version of gogamza/kobart-base-v2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0132
Bleu: 89.0781
Gen Len: 14.0615

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
0.0168	1.0	15477	0.0157	88.8862	14.0583
0.0143	2.0	30954	0.0136	89.0198	14.0637
0.0123	3.0	46431	0.0132	89.0781	14.0615

Framework versions

Transformers 4.42.0.dev0
Pytorch 2.2.1+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: 4b3accb