/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
20 ноя 2022

assamese-bert

Заполнение пропусковТекст → текст3 профессии

AssameseBERT — одноязычная модель BERT для предсказания замаскированных слов и языковых задач на ассамском языке.

41скачиваний за 30 дней2лайкавеса обновлены17 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AssameseBERT — модель семейства BERT от L3Cube-Pune, обученная на общедоступных одноязычных корпусах на ассамском языке. Она предназначена для задач языкового моделирования с маскированными токенами: модель предсказывает пропущенное слово или фрагмент текста по окружающему контексту и может применяться как основа для других задач обработки ассамского языка.

Модель использует архитектуру BERT с головой BertForMaskedLM и содержит около 264,8 млн параметров. Она принимает текст, поддерживает контекст до 512 токенов и выдаёт предсказания токенов для заполнения маски. Веса доступны в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0.

Карточка ссылается на предварительные сведения о данных и базовых результатах в статье, но не приводит здесь численных оценок качества. Модель ориентирована на ассамский язык; её качество за пределами этого языка не подтверждено в карточке.

Сценарии применения

  • заполнение пропусков в ассамских текстах
  • предсказание пропущенных слов по контексту
  • создание основы для классификаторов ассамского языка

Ограничения

Карточка не приводит численных оценок качества. Модель обучалась на ассамских текстах, поэтому её пригодность для других языков не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AssameseBERT

AssameseBERT is an Assamese BERT model trained on publicly available Assamese monolingual datasets.

Preliminary details on the dataset, models, and baseline results can be found in our [ paper ] .

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
ebe7592

0 моделей