BERT-модель для тибетского языка, предсказывающая замаскированные токены и пригодная для дообучения под языковые задачи.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka подготовил эту модель BERT для тибетского языка на основе Tibetan-BERT-wwm, уточнив токенизатор для использования с PyTorch. Модель содержит 136,2 млн параметров, принимает последовательности длиной до 512 токенов и обучена на тибетских текстах.
Основная задача модели — предсказывать замаскированные токены в тексте. Её можно дообучать для последующей разметки частей речи, синтаксического анализа зависимостей и других задач обработки тибетского языка. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
Для прикладных задач, таких как разметка частей речи и синтаксический анализ, модель требуется дообучить. Максимальная длина контекста — 512 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a BERT model pre-trained on Tibetan texts, derived from Tibetan-BERT-wwm with the tokenizer refined for PyTorch. You can fine-tune bert-base-tibetan for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/bert-base-tibetan")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/bert-base-tibetan")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…