Модель RoBERTa для разметки частей речи и синтаксических зависимостей в японском тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал эту модель на основе японской RoBERTa, предварительно обученной на текстах 青空文庫. Модель дообучена для морфосинтаксического анализа японского текста: она размечает части речи и зависимости между словами, используя схему goeswith для связи подслов.
Модель предназначена для анализа японских предложений в NLP-конвейерах. В карточке Hugging Face указаны архитектура RoBERTa, около 305,5 млн параметров и контекст до 512 токенов; модель доступна в формате PyTorch и использует датасет Universal Dependencies. Лицензия — CC BY-SA 4.0.
Модель рассчитана на японский язык и контекст до 512 токенов. README указывает на использование trust_remote_code при загрузке через Transformers.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a RoBERTa model pretrained on 青空文庫 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from roberta-base-japanese-aozora and UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/roberta-base-japanese-aozora-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…