Японская GPT-2 модель для разметки частей речи и синтаксических зависимостей в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал GPT-2 модель для морфосинтаксического анализа японского текста. Она дообучена на базе goldfish-models/jpn_jpan_100mb для набора UD_Japanese-GSDLUW и предназначена для определения частей речи и зависимостей между словами. Модель принимает текст и выдаёт токеновую разметку; её архитектура — GPT2ForTokenClassification, а контекст составляет 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Модель предназначена для японского языка и обучена для UD_Japanese-GSDLUW; её контекст ограничен 512 токенами.
README от автора на Hugging Face, как он его опубликовал
This is a GPT-2 model pretrained for POS-tagging and dependency-parsing, derived from jpn_jpan_100mb refined for UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/goldfish-gpt2-japanese-100mb-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…