This is SinBERT-small model. SinBERT models are pretrained on a large Sinhala monolingual corpus (sin-cc-15M) using RoBERTa. If you use this model, please cite BERTifying Sinhala - A Comprehensive Analysis of Pre-trained Language Models for Sinhala Text Classification, LREC 2022
Характеристики
- Контекст
- 514 токенов
- Параметры
- 79,7 млн
- Лицензия
- MIT
- Архитектура
- roberta · dense
- Опубликована
- 2 мар 2022
Ссылки
SinBERT-small
Компактная модель RoBERTa, предварительно обученная на синхальских текстах для предсказания замаскированных слов.
222скачиваний за 30 дней5лайковвеса обновлены29 апр 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SinBERT-small — языковая модель, разработанная для синхальского языка и предварительно обученная на крупном одноязычном корпусе sin-cc-15M. Модель использует архитектуру RoBERTa и предназначена для заполнения пропусков в тексте с помощью предсказания замаскированных токенов.
Модель содержит 79,7 млн параметров, принимает текст с маскированными токенами и выдаёт вероятные варианты для их заполнения. Длина контекста составляет 514 токенов. Доступны веса в формате PyTorch; лицензия — MIT. Карточка рекомендует цитировать исследование «BERTifying Sinhala - A Comprehensive Analysis of Pre-trained Language Models for Sinhala Text Classification, LREC 2022».
Сценарии применения
- восстановление пропущенных слов в синхальском тексте
- подбор вероятного слова по контексту на сингальском
- анализ контекстных вариантов токена в синхальском тексте
Ограничения
Модель ориентирована на синхальский язык и задачу заполнения масок; карточка не описывает её пригодность для других языков или задач.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- f0eaaed