This repository contains the pre-trained language model in the Nepali language. Our work has been accepted as "The 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing, 2022". More details on the paper will be posted after the publishment of the article.
Характеристики
- Контекст
- 512 токенов
- Параметры
- 137 млн
- Лицензия
- CC BY-NC-SA 4.0
- Архитектура
- bert · dense
- Опубликована
- 9 окт 2022
Ссылки
NepBERTa
Предобученная BERT-модель для непальского языка, предназначенная прежде всего для предсказания замаскированных слов.
332скачиваний за 30 дней11лайковвеса обновлены15 окт 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
NepBERTa — предварительно обученная языковая модель для непальского языка, опубликованная авторами проекта NepBERTa. Работа о модели принята на конференцию AACL-IJCNLP 2022. По метаданным это плотная BERT-модель класса BertForMaskedLM с 136,7 млн параметров и контекстом до 512 токенов; репозиторий содержит веса в формате TensorFlow.
Модель предназначена для заполнения пропусков в тексте: она предсказывает замаскированные токены с учётом окружающего контекста. Это позволяет применять её как основу для задач понимания непальского текста, если нужный сценарий поддерживает masked language model.
Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных материалов на тех же условиях и некоммерческое использование. Карточка не приводит подробностей о данных предобучения или оценках качества.
Сценарии применения
- восстановление пропущенных слов в непальском тексте
- оценка вероятных вариантов слова в контексте
- подготовка основы для задач понимания непальского языка
Ограничения
Контекст ограничен 512 токенами. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование; в карточке не приведены оценки качества и сведения о данных предобучения.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
В репозитории нет весов в формате PyTorch/safetensors.
- Класс архитектуры
- BertForMaskedLM
- Ревизия весов
- 1b8293f