Предварительно обученная BERT-модель для курдских языков, предназначенная прежде всего для предсказания замаскированных токенов.
141скачиваний за 30 дней1лайквеса обновлены1 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
KurdBERT — предварительно обученная языковая модель на архитектуре BERT, разработанная language-ml-lab для курдских языков сорни и курманджи. Модель содержит 136,7 млн параметров, использует класс BertForMaskedLM и доступна в формате PyTorch; длина контекста составляет 64 токена.
Основная задача модели — заполнение пропусков в тексте: она предсказывает замаскированные токены с учётом окружающего контекста. Это подходит для языковых экспериментов и построения NLP-систем для курдского текста; в README также упомянуты классификация текста и распознавание именованных сущностей, но примеров или результатов для этих задач не приведено. Условия лицензии в предоставленных данных не описаны.
Сценарии применения
восстановление замаскированных слов в курдском тексте
предсказание пропущенных токенов на сорни
предсказание пропущенных токенов на курманджи
языковые эксперименты с курдским текстом
Ограничения
Контекст ограничен 64 токенами. В README не приведены метрики качества или подробности о применении модели для классификации и распознавания именованных сущностей; лицензия в предоставленных данных не указана.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Description: KurdBERT is a pre-trained language model specifically tailored for the Kurdish languages (Sorani and Kurmanji). It can be used for various NLP tasks, including text classification, named entity recognition, and more.
How to use
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("fill-mask", model="language-ml-lab/KurdBert")
# Load model directly
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("language-ml-lab/KurdBert")
model = AutoModelForMaskedLM.from_pretrained("language-ml-lab/KurdBert")
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров