/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
20 ноя 2022

bengali-bert

Заполнение пропусковТекст → текст3 профессии

BengaliBERT — бенгалоязычная модель BERT для восстановления скрытых токенов и построения систем понимания текста.

180скачиваний за 30 дней3лайкавеса обновлены17 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BengaliBERT — модель семейства BERT от L3Cube-Pune, предварительно обученная на общедоступных монолингвальных корпусах бенгальского языка. Она предназначена для восстановления скрытых токенов в тексте и может служить основой для задач понимания бенгальского языка.

Модель использует архитектуру BertForMaskedLM, содержит 264,8 млн параметров и поддерживает контекст до 512 токенов. Доступны веса PyTorch и Safetensors. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).

Сценарии применения

  • восстановление пропущенных слов в бенгальском тексте
  • подбор вероятных продолжений для маскированной фразы
  • создание языковых представлений для последующей адаптации под задачи бенгальского языка

Ограничения

Модель рассчитана на бенгальский язык и контекст длиной до 512 токенов; сведения о качестве на конкретных прикладных задачах в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BengaliBERT

BengaliBERT is a Bengali BERT model trained on publicly available Bengali monolingual datasets.

Preliminary details on the dataset, models, and baseline results can be found in our [ paper ] .

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
d49f412

0 моделей