Характеристики

Контекст: 1 024 токена
Лицензия: MIT
Архитектура: gpt2 · dense
Базовая модель: gpt2-large-japanese
Опубликована: 8 сен 2024

Ссылки

Hugging Face

abeja-gpt2-large-japanese-ud-causal

KoichiYasuoka

Разметка токеновТекст → label3 профессии

Модель GPT-2 для разметки частей речи и синтаксических зависимостей в японском тексте.

135скачиваний за 30 дней0лайковвеса обновлены21 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал японскую модель GPT-2 для разметки частей речи и синтаксических зависимостей. Она дообучена на основе abeja/gpt2-large-japanese и уточнена на UD_Japanese-GSDLUW. Архитектура — плотная GPT-2 с головой классификации токенов; модель принимает японский текст и выдаёт метки для его токенов. Контекст составляет 1024 токена, формат весов — PyTorch.

Модель подходит для морфологического анализа японских предложений, присвоения тегов частей речи и построения синтаксических зависимостей. В карточке указан pipeline_tag token-classification; пример использования задаёт задачу universal-dependencies. Лицензия — MIT. Известное ограничение: модель специализирована на японском языке и данных UD_Japanese-GSDLUW.

Сценарии применения

разметка частей речи в японских предложениях
анализ синтаксических зависимостей японского текста
морфосинтаксическая разметка японских корпусов

Ограничения

Модель ориентирована на японский язык и уточнена на UD_Japanese-GSDLUW; для других языков её назначение не заявлено. Контекст ограничен 1024 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

abeja-gpt2-large-japanese-ud-causal

Model Description

This is a GPT-2 model pretrained for POS-tagging and dependency-parsing, derived from gpt2-large-japanese-upos refined for UD_Japanese-GSDLUW.

How to Use

from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/abeja-gpt2-large-japanese-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))

Reference

安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2ForTokenClassification
Ревизия весов: 46555c9