/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
19 авг 2022

hindi-bert-v2

Заполнение пропусковТекст → текст3 профессии

HindBERT — дообученная на одноязычных данных хинди модель BERT для предсказания скрытых токенов в текстах на хинди.

363скачиваний за 30 дней3лайкавеса обновлены30 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HindBERT — модель семейства BERT от L3Cube-Pune для работы с текстом на хинди. Она создана дообучением google/muril-base-cased на общедоступных одноязычных наборах данных на хинди. Модель имеет архитектуру BertForMaskedLM, содержит около 264,8 млн параметров и поддерживает контекст до 512 токенов.

Основная задача модели — предсказание скрытых токенов в тексте на хинди. Это подходит для восстановления пропусков и изучения контекстных представлений слов; карточка также приводит исследовательскую статью с базовыми результатами для моделей хинди и маратхи. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY 4.0.

Сценарии применения

  • восстановление пропущенных слов в тексте на хинди
  • предсказание маскированных токенов на хинди
  • получение контекстных представлений слов на хинди

Ограничения

Модель предназначена для хинди и задачи предсказания маскированных токенов; карточка не заявляет о поддержке генерации диалога или других задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HindBERT

HindBERT is a Hindi BERT model. It is a multilingual BERT (google/muril-base-cased) model fine-tuned on publicly available Hindi monolingual datasets. [project link] (https://github.com/l3cube-pune/MarathiNLP)

More details on the dataset, models, and baseline results can be found in our [ paper ]

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
e2c49b5

0 моделей