/ Модель
Каталог

Характеристики

Контекст
514 токенов
Параметры
137 млн
Лицензия
Apache 2.0
Архитектура
roberta · dense
Опубликована
25 июл 2022

Ссылки

Hugging Face

MyanBERTa

UCSYNLP
Заполнение пропусковТекст → текст3 профессии

Предварительно обученная RoBERTa-модель для бирманского языка, предназначенная прежде всего для предсказания пропущенных токенов и адаптации к NLP-задачам.

150скачиваний за 30 дней6лайковвеса обновлены29 ноя 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MyanBERTa — предварительно обученная языковая модель на основе RoBERTa для бирманского языка, опубликованная авторами Aye Mya Hlaing и Win Pa Pa. Модель обучалась 528 тысяч шагов на сегментированном по словам корпусе из 5 992 299 предложений и 136 млн слов. Для токенизации используется byte-level BPE с 30 522 подсловными единицами.

Модель предназначена для задач языкового моделирования с заполнением пропусков и может служить основой для дальнейших NLP-приложений на бирманском языке. В репозитории указаны архитектура RoBERTa и размер 136,7 млн параметров; максимальный контекст составляет 514 токенов. Доступны веса PyTorch.

Модель распространяется по лицензии Apache-2.0. Карточка описывает предобучение, но не приводит результатов оценки качества на прикладных задачах; практическая точность зависит от данных и сценария использования.

Сценарии применения

  • предсказание пропущенного слова в бирманском тексте
  • подбор вероятных продолжений для замаскированного фрагмента
  • извлечение контекстных представлений бирманских слов для последующего дообучения

Ограничения

Модель обучена для бирманского языка и сегментированного по словам корпуса, поэтому качество на других языках и отличающихся схемах сегментации может быть ограничено. В карточке не приведены оценки качества на прикладных задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model description

This model is a BERT based Myanmar pre-trained language model. MyanBERTa was pre-trained for 528K steps on a word segmented Myanmar dataset consisting of 5,992,299 sentences (136M words). As the tokenizer, byte-leve BPE tokenizer of 30,522 subword units which is learned after word segmentation is applied.

Cite this work as:

Aye Mya Hlaing, Win Pa Pa, "MyanBERTa: A Pre-trained Language Model For
Myanmar", In Proceedings of 2022 International Conference on Communication and Computer Research (ICCR2022), November 2022, Seoul, Republic of Korea

Download Paper

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
93af5c8

0 моделей

    Создать бенчмарк