Компактная японская GPT-2 для автоматической разметки частей речи и синтаксических зависимостей в формате Universal Dependencies.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka подготовил компактную GPT-2 модель на основе rinna/japanese-gpt2-xsmall для морфосинтаксического анализа японского текста. Она дообучена на корпусе UD_Japanese-GSDLUW и предназначена для определения частей речи и синтаксических зависимостей между словами; результат можно использовать в конвейерах разметки Universal Dependencies. Модель принимает текст и возвращает токенную разметку.
Архитектура — GPT-2 для классификации токенов, формат весов — PyTorch, контекст — до 1024 токенов. Поддерживается японский язык. Лицензия — MIT. Для загрузки через Transformers в README используется trust_remote_code=True.
Модель специализирована на японской разметке Universal Dependencies и не предназначена для анализа других языков. Использование Transformers из README требует trust_remote_code=True.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a GPT-2 model pretrained for POS-tagging and dependency-parsing, derived from japanese-gpt2-xsmall refined for UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/rinna-gpt2-xsmall-japanese-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…