/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
20 ноя 2022

gujarati-bert

Заполнение пропусковТекст → текст3 профессии

Монолингвальная Gujarati BERT от L3Cube-Pune для заполнения маскированных токенов и языковых задач на гуджарати.

72скачиваний за 30 дней4лайкавеса обновлены11 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GujaratiBERT — монолингвальная модель на основе BERT, разработанная L3Cube-Pune и обученная на общедоступных корпусах текстов на гуджарати. Она предназначена для задач языкового понимания на гуджарати; основной сценарий использования по метаданным — восстановление скрытых токенов в тексте (fill-mask), а также подготовка представлений для последующих NLP-задач.

Модель имеет архитектуру BertForMaskedLM и содержит 264,8 млн параметров. Она принимает текстовые последовательности с маскированными токенами и предсказывает их заполнение; максимальный контекст составляет 512 токенов. Опубликованные форматы — PyTorch и Safetensors.

Модель распространяется по лицензии CC BY 4.0. README называет сведения о корпусах и результатах предварительными и отсылает к статье, поэтому конкретные показатели качества здесь не приводятся.

Сценарии применения

  • предсказание пропущенного слова в предложении на гуджарати
  • создание контекстных представлений гуджаратского текста
  • подготовка текстовой модели для классификации предложений на гуджарати
  • использование как основы для последующего дообучения под NLP-задачи на гуджарати

Ограничения

README описывает сведения о данных и результатах как предварительные и не приводит метрики качества. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GujaratiBERT

GujaratiBERT is a Gujarati BERT model trained on publicly available Gujarati monolingual datasets.

Preliminary details on the dataset, models, and baseline results can be found in our [ paper ] .

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
2ae3810

0 моделей