Японская RoBERTa для разметки частей речи и синтаксических зависимостей в текстах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал эту модель на основе японской RoBERTa roberta-large-japanese-aozora, дообучив её на датасете UD_Japanese-GSDLUW для разметки частей речи и синтаксического анализа зависимостей с использованием связи goeswith для подслов. Модель обрабатывает японский текст и присваивает метки токенам; она предназначена для лингвистического анализа и построения синтаксических структур.
Это плотная модель RoBERTa для классификации токенов с 659 млн параметров и контекстом до 512 токенов. Она распространяется в формате PyTorch по лицензии CC BY-SA 4.0. Для использования через Transformers в README приведён pipeline с trust_remote_code=True и агрегацией меток; качество на других корпусах или языках в карточке не описано.
Контекст ограничен 512 токенами. Карточка не приводит оценок качества на других корпусах и не подтверждает поддержку языков помимо японского.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a RoBERTa model pretrained on 青空文庫 texts for POS-tagging and dependency-parsing (using goeswith for subwords), derived from roberta-large-japanese-aozora and UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/roberta-large-japanese-aozora-ud-goeswith",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…