Японская модель DeBERTa V2 для разметки частей речи и синтаксических зависимостей в формате Universal Dependencies.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель KoichiYasuoka/deberta-large-japanese-aozora-ud-goeswith разработана Koichi Yasuoka на основе DeBERTa V2 large и дополнительно обучена на текстах японской библиотеки 青空文庫 для разметки частей речи и синтаксического анализа зависимостей. Она использует метку goeswith для связи частей составных слов и выдаёт разметку токенов в формате Universal Dependencies.
Модель подходит для морфосинтаксического анализа японских текстов, в том числе литературных и учебных. Это плотная модель архитектуры DeBERTa V2 с 435,4 млн параметров и контекстом до 512 токенов; карточка указывает японский язык и задачу token-classification. Репозиторий содержит веса PyTorch, лицензия — CC BY-SA 4.0.
Контекст ограничен 512 токенами. Модель предназначена для японского языка и разметки в схеме Universal Dependencies; качество на других языках и схемах в карточке не описано.
README от автора на Hugging Face, как он его опубликовал
This is a DeBERTa(V2) model pretrained on 青空文庫 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from deberta-large-japanese-luw-upos and UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/deberta-large-japanese-aozora-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…