RoBERTa для непальского языка, предсказывающая пропущенные токены в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель amitness/roberta-base-ne — языковая модель RoBERTa, обученная с нуля на 12 миллионах предложений из непальской части набора CC-100. Она предназначена для заполнения пропусков в непальском тексте: модель предсказывает подходящий токен вместо маскированного фрагмента. Модель содержит 96,6 млн параметров, имеет контекст длиной до 514 токенов и доступна в форматах PyTorch, Flax и Safetensors.
Модель подходит для подстановки пропущенных слов и токенов в непальских фразах и для экспериментов с маскированным языковым моделированием. Лицензия MIT разрешает свободное использование и распространение с соблюдением её условий. Обучение на одном языковом корпусе ограничивает применение непальским текстом; качество для других языков и задач не заявлено.
Обучена на непальском корпусе CC-100; качество для других языков и задач не заявлено.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Roberta trained from scratch on the Nepali CC-100 dataset with 12 million sentences.
from transformers import pipeline
pipe = pipeline(
"fill-mask",
model="amitness/nepbert",
tokenizer="amitness/nepbert"
)
print(pipe(u"तिमीलाई कस्तो <mask>?"))
The data was taken from the nepali language subset of CC-100 dataset.
The model was trained on Google Colab using 1x Tesla V100.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…