/ Модель

Характеристики

Контекст
1 024 токена
Параметры
87,3 млн
Лицензия
MIT
Архитектура
mbart · dense
Опубликована
2 мар 2022

indobart

Языковая модель3 профессии

Предварительно обученная модель на основе BART для генерации и преобразования текстов на индонезийском языке.

63скачиваний за 30 дней2лайкавеса обновлены21 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IndoBART — предварительно обученная языковая модель для индонезийского языка, разработанная авторами проекта IndoBenchmark. Она основана на архитектуре BART и обучена на корпусе Indo4B-Plus объёмом 23,79 ГБ с использованием стандартной для BART схемы предварительного обучения. Модель предназначена для задач преобразования текста, включая генерацию и суммаризацию на индонезийском языке.

В метаданных указаны архитектура mBART, класс MBartForConditionalGeneration, 87,3 млн параметров и контекст до 1024 токенов; README приводит другое число параметров — 132 млн. Доступны веса PyTorch. Лицензия MIT.

Сценарии применения

  • суммаризация индонезийских текстов
  • генерация продолжения индонезийского текста
  • перефразирование на индонезийском языке

Ограничения

README и метаданные приводят разные значения числа параметров: 132 млн и 87,3 млн соответственно. Поддержка других языков помимо индонезийского не заявлена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndoBART Model

IndoBART is a state-of-the-art language model for Indonesian based on the BART model. The pretrained model is trained using the BART training objective.

All Pre-trained Models

Model#paramsTraining data
indobenchmark/indobart132MIndo4B-Plus (23.79 GB of text)

Authors

IndoBART was trained and evaluated by Samuel Cahyawijaya*, Genta Indra Winata*, Bryan Wilie*, Karissa Vincentio*, Xiaohong Li*, Adhiguna Kuncoro*, Sebastian Ruder, Zhi Yuan Lim, Syafri Bahar, Masayu Leylia Khodra, Ayu Purwarianti, Pascale Fung

Citation

If you use our work, please cite:

@article{cahyawijaya2021indonlg,
  title={IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation},
  author={Cahyawijaya, Samuel and Winata, Genta Indra and Wilie, Bryan and Vincentio, Karissa and Li, Xiaohong and Kuncoro, Adhiguna and Ruder, Sebastian and Lim, Zhi Yuan and Bahar, Syafri and Khodra, Masayu Leylia and others},
  journal={arXiv preprint arXiv:2104.08200},
  year={2021}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
MBartForConditionalGeneration
Ревизия весов
73bead2

0 моделей