Японская RoBERTa для разметки частей речи и синтаксических зависимостей в тексте.
201скачиваний за 30 дней0лайковвеса обновлены29 янв 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал японскую RoBERTa, дообученную на разметке Universal Dependencies для морфосинтаксического анализа. Модель основана на nlp-waseda/roberta-base-japanese, предварительно обученной на японской Википедии и текстах CC-100, и использует архитектуру RoBERTa с головой классификации токенов; в репозитории около 137,8 млн параметров, контекст — 514 токенов.
Модель предназначена для определения частей речи и анализа зависимостей в японском тексте, включая обработку подслов с меткой goeswith. Её можно применять для автоматической грамматической разметки и подготовки данных для лингвистического анализа. Для работы через Transformers в README требуется fugashi. Лицензия — CC-BY-SA-4.0.
Сценарии применения
разметка частей речи в японских предложениях
анализ синтаксических зависимостей японского текста
морфосинтаксическая разметка японских корпусов
подготовка японских текстов для лингвистического анализа
Ограничения
Модель ориентирована на японский язык и на задачи POS-разметки и синтаксического анализа; для запуска через указанный в README пример требуется fugashi.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a RoBERTa model pretrained on Japanese Wikipedia and CC-100 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from roberta-base-japanese.
How to Use
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/roberta-base-japanese-juman-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))