Характеристики

Контекст: 514 токенов
Параметры: 138 млн
Архитектура: roberta · dense
Опубликована: 7 сен 2022

Ссылки

Hugging Face

roberta-base-bahasa-cased

mesolitica

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная RoBERTa для малайского языка, предсказывающая пропущенные слова и фрагменты текста.

165скачиваний за 30 дней1лайквеса обновлены7 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mesolitica/roberta-base-bahasa-cased — предварительно обученная языковая модель RoBERTa base для малайского языка, разработанная Mesolitica. Она предназначена для заполнения пропусков в тексте: модель предсказывает подходящие токены вместо маскированного фрагмента. Её можно применять для языкового моделирования и анализа малайских текстов.

Модель имеет архитектуру RoBERTa с головой Masked Language Modeling, содержит 137,8 млн параметров и обрабатывает последовательности длиной до 514 токенов. При предварительном обучении использовался корпус примерно из 400 миллионов слов, включающий малайские новости, парламентские стенограммы, научные статьи, Wikipedia и публикации из социальных сетей и Wattpad.

Модель принимает текст и выдаёт текстовые предсказания для пропусков. README не сообщает лицензию или конкретные ограничения применения; корпус обучения включает материалы из социальных сетей и других веб-источников, поэтому предсказания могут отражать их особенности и смещения.

Сценарии применения

заполнение пропусков в малайских предложениях
подбор вероятного слова в малайском тексте
языковое моделирование малайских текстов

Ограничения

Модель обучена на малайском корпусе и предназначена для предсказания маскированных фрагментов, а не для свободного диалога. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roberta-base-bahasa-cased

Pretrained RoBERTa base language model for Malay.

Pretraining Corpus

roberta-base-bahasa-cased model was pretrained on ~400 miliion words. Below is list of data we trained on,

IIUM confession, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
local Instagram, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
local news, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
local parliament hansards, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
local research papers related to kebudayaan, keagaaman and etnik, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
local twitter, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
Malay Wattpad, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean
Malay Wikipedia, https://github.com/huseinzol05/malay-dataset/tree/master/dumping/clean

Pretraining details

All steps can reproduce from https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/roberta.

Example using AutoModelWithLMHead

from transformers import AutoTokenizer, AutoModelForMaskedLM, pipeline

model = AutoModelForMaskedLM.from_pretrained('mesolitica/roberta-base-bahasa-cased')
tokenizer = AutoTokenizer.from_pretrained(
    'mesolitica/roberta-base-bahasa-cased',
    do_lower_case = False,
)
fill_mask = pipeline('fill-mask', model=model, tokenizer=tokenizer)
fill_mask('Permohonan Najib, anak untuk dengar isu perlembagaan <mask> .')

Output is,

[{'score': 0.3368818759918213,
  'token': 746,
  'token_str': ' negara',
  'sequence': 'Permohonan Najib, anak untuk dengar isu perlembagaan negara.'},
 {'score': 0.09646568447351456,
  'token': 598,
  'token_str': ' Malaysia',
  'sequence': 'Permohonan Najib, anak untuk dengar isu perlembagaan Malaysia.'},
 {'score': 0.029483484104275703,
  'token': 3265,
  'token_str': ' UMNO',
  'sequence': 'Permohonan Najib, anak untuk dengar isu perlembagaan UMNO.'},
 {'score': 0.026470622047781944,
  'token': 2562,
  'token_str': ' parti',
  'sequence': 'Permohonan Najib, anak untuk dengar isu perlembagaan parti.'},
 {'score': 0.023237623274326324,
  'token': 391,
  'token_str': ' ini',
  'sequence': 'Permohonan Najib, anak untuk dengar isu perlembagaan ini.'}]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 7dac026