/ Модель

Характеристики

Контекст
1 024 токена
Параметры
87,3 млн
Лицензия
MIT
Архитектура
mbart · dense
Опубликована
2 мар 2022

indobart-v2

Языковая модель4 профессии

IndoBART-v2 — предварительно обученная модель на базе BART для генерации и преобразования индонезийского текста.

2 171скачиваний за 30 дней14лайковвеса обновлены21 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndoBART-v2 — предварительно обученная языковая модель для индонезийского языка, разработанная командой авторов IndoBART и основанная на архитектуре BART. Модель обучена на текстовом корпусе Indo4B-Plus объёмом 26 ГБ с использованием стандартной для BART задачи предобучения. В метаданных указаны архитектура mBART, класс MBartForConditionalGeneration, 87,3 млн параметров и контекст до 1024 токенов.

Модель предназначена для задач преобразования текста, в частности для генерации и обработки индонезийского текста в сценариях text-to-text; её можно дообучать под конкретные задачи. Репозиторий содержит веса PyTorch. Лицензия — MIT. README приводит иное число параметров — 132 млн, поэтому размер модели в источниках расходится.

Сценарии применения

  • генерация индонезийского текста
  • дообучение для суммаризации текстов на индонезийском языке
  • дообучение для перефразирования индонезийских текстов

Ограничения

README и метаданные расходятся в числе параметров: README указывает 132 млн, а метаданные — 87,3 млн. Модель обучена для индонезийского языка; качество на других языках не заявлено.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoBART-v2 Model

IndoBART-v2 is a state-of-the-art language model for Indonesian based on the BART model. The pretrained model is trained using the BART training objective.

All Pre-trained Models

Model#paramsTraining data
indobenchmark/indobart-v2132MIndo4B-Plus (26 GB of text)

Authors

IndoBART was trained and evaluated by Samuel Cahyawijaya*, Genta Indra Winata*, Bryan Wilie*, Karissa Vincentio*, Xiaohong Li*, Adhiguna Kuncoro*, Sebastian Ruder, Zhi Yuan Lim, Syafri Bahar, Masayu Leylia Khodra, Ayu Purwarianti, Pascale Fung

Citation

If you use our work, please cite:

@article{cahyawijaya2021indonlg,
  title={IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation},
  author={Cahyawijaya, Samuel and Winata, Genta Indra and Wilie, Bryan and Vincentio, Karissa and Li, Xiaohong and Kuncoro, Adhiguna and Ruder, Sebastian and Lim, Zhi Yuan and Bahar, Syafri and Khodra, Masayu Leylia and others},
  journal={arXiv preprint arXiv:2104.08200},
  year={2021}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
MBartForConditionalGeneration
Ревизия весов
7192ee7

0 моделей