Японская DeBERTa V2 для заполнения пропусков и дообучения под задачи анализа текста.
244скачиваний за 30 дней0лайковвеса обновлены18 июн 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал DeBERTa V2, предварительно обученную на японских текстах из 青空文庫. Модель содержит 137,8 млн параметров, использует архитектуру DeBERTa V2 и токенизатор BertJapaneseTokenizer с UniDic; максимальная длина контекста — 512 токенов.
Модель предназначена для заполнения пропусков в японском тексте и как основа для дообучения под задачи разметки частей речи, синтаксического анализа зависимостей и других задач обработки японского языка. Для загрузки и токенизации требуются библиотеки fugashi и unidic-lite.
Модель распространяется по лицензии CC BY-SA 4.0. Карточка не приводит результатов оценивания качества; для прикладных задач потребуется дообучение.
Сценарии применения
восстановление пропущенных слов в японском тексте
дообучение для разметки частей речи на японском языке
дообучение для синтаксического анализа зависимостей
создание классификатора или разметчика японского текста на основе предобученной модели
Ограничения
Для downstream-задач модель необходимо дообучить; для работы токенизатора требуются fugashi и unidic-lite. В карточке не приведены результаты оценки качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a DeBERTa(V2) model pre-trained on 青空文庫 texts with BertJapaneseTokenizer. You can fine-tune deberta-base-japanese-unidic for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
How to Use
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/deberta-base-japanese-unidic")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/deberta-base-japanese-unidic")