Японская GPT-2-модель для разметки частей речи и синтаксических зависимостей в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал японскую GPT-2-модель для морфосинтаксического анализа текста. Она дообучена на основе KoichiYasuoka/gpt2-base-japanese-upos с использованием UD_Japanese-GSDLUW и размечает части речи и синтаксические зависимости; метаданные указывают задачу token-classification и архитектуру GPT2ForTokenClassification.
Модель принимает японский текст и возвращает токенную разметку для анализа грамматической структуры. Контекст составляет 1024 токена. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В README для запуска через Transformers указан pipeline universal-dependencies с trust_remote_code=True.
Модель предназначена для японского текста и имеет контекстное окно 1024 токена. Для запуска указан pipeline universal-dependencies с trust_remote_code=True.
README от автора на Hugging Face, как он его опубликовал
This is a GPT-2 model pretrained for POS-tagging and dependency-parsing, derived from gpt2-base-japanese-upos and UD_Japanese-GSDLUW.
from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/gpt2-base-japanese-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))
安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…