/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
136 млн
Архитектура
bert · dense
Опубликована
13 апр 2022

Ссылки

Hugging Face

bert-base-buddhist-sanskrit

Matej
Заполнение пропусковТекст → текст

BERT-модель для заполнения пропусков и получения контекстных представлений в текстах на буддийском санскрите.

146скачиваний за 30 дней3лайкавеса обновлены15 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Matej/bert-base-buddhist-sanskrit — модель семейства BERT, разработанная для работы с буддийским санскритом. Она предварительно обучена с нуля как masked language model на справочном корпусе санскрита, а затем дообучена на меньшем корпусе буддийского санскрита. В статье «Embeddings models for Buddhist Sanskrit», опубликованной на LREC 2022, авторы называют её лучшей по результатам своей оценки.

Модель предназначена для заполнения пропусков в текстах и получения контекстных представлений санскритских слов. Она содержит 136,3 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате PyTorch. Лицензия MIT; авторы не заявляют известных ограничений.

Сценарии применения

  • подстановка пропущенного слова в санскритском тексте
  • анализ контекста слова в буддийском санскрите
  • получение представлений санскритских текстов для исследовательских задач

Ограничения

Авторы не заявляют ограничений; модель обучена на справочном корпусе санскрита и меньшем корпусе буддийского санскрита, поэтому её применение к другим языкам и предметным областям не подтверждено.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-buddhist-sanskrit

The best performing model of the research described in the paper 'Embeddings models for Buddhist Sanskrit' published at LREC 2022 (Link to the paper will be added after the publication of conference proceedings).

Model description

The model has the bert-base architecture and configuration and was pretrained from scratch as a masked language model on the Sanskrit reference corpus, and fine-tuned on the smaller corpus of Buddhist Sanskrit.

How to use it

model = AutoModelForMaskedLM.from_pretrained("Matej/bert-base-buddhist-sanskrit")
tokenizer = AutoTokenizer.from_pretrained("Matej/bert-base-buddhist-sanskrit", use_fast=True)

Intended uses & limitations

MIT license, no limitations

Training and evaluation data

See the paper 'Embeddings models for Buddhist Sanskrit' for details on the corpora and the evaluation procedure.

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 28
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 300.0

Framework versions

  • Transformers 4.11.2
  • Pytorch 1.7.0
  • Datasets 1.12.1
  • Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
0cc5dbd

0 моделей

    Создать бенчмарк