/ Модель

Характеристики

Контекст
512 токенов
Параметры
265 млн
Лицензия
CC BY 4.0
Архитектура
bert · dense
Опубликована
20 ноя 2022

tamil-bert

Заполнение пропусковТекст → текст3 профессии

TamilBERT — тамильская модель BERT для предсказания замаскированных слов в контексте.

723скачиваний за 30 дней3лайкавеса обновлены17 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TamilBERT — монолингвальная модель семейства BERT, разработанная L3Cube-Pune и обученная на общедоступных корпусах текстов на тамильском языке. Она предназначена для заполнения пропусков в тексте: модель предсказывает замаскированные слова с учётом окружающего контекста и может использоваться как базовый чекпойнт для языковых задач на тамильском.

Модель содержит 264,8 млн параметров, использует архитектуру BertForMaskedLM и принимает контекст длиной до 512 токенов. Репозиторий предоставляет веса в форматах PyTorch и Safetensors. Модель рассчитана на тамильский язык и задачу fill-mask; карточка также ссылается на публикацию с предварительными сведениями о данных и базовых результатах.

Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0). Заполнение масок не является генерацией связного текста или диалоговым режимом; применимость к конкретным задачам требует отдельной проверки.

Сценарии применения

  • предсказание пропущенного слова в тамильском предложении
  • восстановление замаскированных фрагментов тамильского текста
  • получение контекстных языковых оценок для тамильских предложений

Ограничения

Модель рассчитана на тамильский язык и заполнение масок; она не предназначена сама по себе для диалога или свободной генерации текста. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TamilBERT

TamilBERT is a Tamil BERT model trained on publicly available Tamil monolingual datasets.

Preliminary details on the dataset, models, and baseline results can be found in our [ paper ] .

Citing:

@article{joshi2022l3cubehind,
  title={L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages},
  author={Joshi, Raviraj},
  journal={arXiv preprint arXiv:2211.11418},
  year={2022}
}

Other Monolingual Indic BERT models are listed below: Marathi BERT Marathi RoBERTa Marathi AlBERT

Hindi BERT Hindi RoBERTa Hindi AlBERT

Dev BERT Dev RoBERTa Dev AlBERT

Kannada BERT Telugu BERT Malayalam BERT Tamil BERT Gujarati BERT Oriya BERT Bengali BERT Punjabi BERT Assamese BERT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
7f8d7b9

0 моделей