Дообученная DeBERTa V2 размечает части речи и синтаксические зависимости в японском тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал модель DeBERTa V2 для морфосинтаксического анализа японского текста. Она дообучена на корпусе UD_Japanese-GSDLUW на основе KoichiYasuoka/deberta-base-japanese-aozora, предварительно обученной на текстах японской цифровой библиотеки Aozora Bunko. Модель выполняет разметку частей речи и синтаксический анализ зависимостей; для обработки подслов используется отношение goeswith. В каталоге Hugging Face её основная задача обозначена как token-classification.
Модель содержит 137,8 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов. Она предназначена для анализа японских предложений и возвращает структурированные синтаксические метки. Распространяется по лицензии CC BY-SA 4.0. Для использования в Transformers в README указан pipeline universal-dependencies с trust_remote_code=True.
Контекст ограничен 512 токенами; модель ориентирована на японский язык и обучена на конкретном корпусе Universal Dependencies, поэтому качество на иных жанрах и схемах разметки может отличаться.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a DeBERTa(V2) model pretrained on 青空文庫 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from deberta-base-japanese-aozora and UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/deberta-base-japanese-aozora-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…