/ Модель

Характеристики

Контекст
514 токенов
Параметры
456 млн
Лицензия
MIT
Архитектура
roberta · dense
Опубликована
2 мар 2022

am-roberta

Заполнение пропусковТекст → текст3 профессии

Am-RoBERTa — модель RoBERTa для предсказания пропущенных токенов в амхарском тексте.

135скачиваний за 30 дней7лайковвеса обновлены27 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Am-RoBERTa — языковая модель на архитектуре RoBERTa, разработанная для задач обработки амхарского языка в рамках проекта по созданию наборов данных и моделей для амхарского NLP. Это трансформерный masked language model для заполнения пропусков в тексте: он предсказывает подходящие токены на месте маски и подходит для экспериментов с амхарским текстом и задач лингвистического анализа.

Модель содержит 456 млн параметров, принимает текст и поддерживает контекст длиной до 514 токенов. Она опубликована в форматах PyTorch и Safetensors и обучена на корпусе Amharic_corpus_from_LT_group_UHH. Лицензия — MIT. Карточка ссылается на исследование семантических моделей для амхарского языка и их оценивание на нескольких задачах и наборах данных.

Сценарии применения

  • подстановка пропущенного слова в амхарском предложении
  • оценка вероятных продолжений амхарского текста
  • лингвистические эксперименты с амхарскими текстами

Ограничения

Модель предназначена для амхарского языка; качество на других языках и прикладных задачах в карточке не заявлено. Контекст ограничен 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

This is the Amharic RoBERTa transformer-based LM. It is part of the effort to build benchmark datasets and models for Amharic NLP.

Examples

If you want to test the model in the Hosted inference API, copy the following texts to the box (right side)

Example 1:

አበበ <mask> በላ ።

Example 2:

የአገሪቱ አጠቃላይ የስንዴ አቅርቦት ሶስት አራተኛው የሚመረተው በአገር <mask> ነው።

The example shows possible words for the fill in the blank -- mask task

Resources and publication

More resource regarding Amharic NLP is available here If you use the model in your work, please cite the following paper

@Article{fi13110275,
AUTHOR = {Yimam, Seid Muhie and Ayele, Abinew Ali and Venkatesh, Gopalakrishnan and Gashaw, Ibrahim and Biemann, Chris},
TITLE = {Introducing Various Semantic Models for Amharic: Experimentation and Evaluation with Multiple Tasks and Datasets},
JOURNAL = {Future Internet},
VOLUME = {13},
YEAR = {2021},
NUMBER = {11},
ARTICLE-NUMBER = {275},
URL = {https://www.mdpi.com/1999-5903/13/11/275},
ISSN = {1999-5903},
DOI = {10.3390/fi13110275}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
4cbcbc7

0 моделей