Модель на базе японской GPT-2 размечает японский текст частями речи и синтаксическими зависимостями.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka подготовил эту модель на базе rinna/japanese-gpt2-small для морфосинтаксического анализа японского текста. GPT-2 дообучена на корпусе UD_Japanese-GSDLUW и предназначена для определения частей речи и зависимостей между словами; в Hugging Face она классифицирована как модель разметки токенов. Модель принимает японский текст и выдаёт токенизированную разметку, включая грамматические теги и зависимости. Архитектура — GPT-2 с плотными слоями, формат весов — PyTorch, размер контекста — 1024 токена. Лицензия — MIT.
Модель ориентирована на японский язык и обучена на UD_Japanese-GSDLUW; её качество на других языках и жанрах не подтверждено. Для запуска README использует trust_remote_code=True.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a GPT-2 model pretrained for POS-tagging and dependency-parsing, derived from japanese-gpt2-small refined for UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/rinna-gpt2-small-japanese-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…