/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
20 ноя 2022

kannada-bert

Заполнение пропусковТекст → текст3 профессии

Одноязычная модель BERT для каннада, предсказывающая пропущенные токены в тексте и подходящая как основа для задач обработки языка.

423скачиваний за 30 дней2лайкавеса обновлены17 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KannadaBERT — модель семейства BERT от L3Cube-Pune, предварительно обученная на общедоступных одноязычных наборах данных на каннада. Она предназначена для обработки текста на каннада и заполнения пропусков в тексте: модель предсказывает скрытые токены по окружающему контексту.

Модель имеет архитектуру BERT с 264,8 млн параметров и контекстным окном до 512 токенов. Для работы доступны веса в форматах PyTorch и Safetensors. Карточка ссылается на предварительные сведения о данных и результатах в исследовательской статье.

Модель подходит для маскированного языкового моделирования и как предварительно обученная основа для задач обработки текста на каннада. Она не предназначена для генерации связных ответов в формате диалога; качество может зависеть от предметной области и текста на входе. Лицензия — CC BY 4.0.

Сценарии применения

  • предсказание пропущенных слов в предложении на каннада
  • подготовка языковых признаков для приложений на каннада
  • предварительное обучение моделей для задач обработки текста на каннада

Ограничения

Модель обучена на общедоступных одноязычных данных на каннада, поэтому её пригодность для других языков и узких предметных областей не установлена. Контекст ограничен 512 токенами; модель не является диалоговой генеративной системой.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KannadaBERT

KannadaBERT is a Kannada BERT model trained on publicly available Kannada monolingual datasets.

Preliminary details on the dataset, models, and baseline results can be found in our [ paper ] .

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
1e191f1

0 моделей