Характеристики

Контекст: 1 024 токена
Параметры: 1,7 млрд
Размер весов: 5,2 ГБ
Лицензия: MIT
Архитектура: gpt_neox · dense
Базовая модель: gpt-neox-japanese-1.4b
Опубликована: 15 окт 2024

Ссылки

stockmark-gpt-neox-1.4b-japanese-ud-causal

Разметка токеновТекст → label

Дообученная японская GPT-NeoX для POS-тегирования и разбора синтаксических зависимостей в формате Universal Dependencies.

105скачиваний за 30 дней0лайковвеса обновлены21 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka представил GPT-NeoX, дообученную на базе stockmark/gpt-neox-japanese-1.4b для морфосинтаксического анализа японского текста. Модель размечает токены частями речи и строит зависимости между ними в формате Universal Dependencies, на данных UD_Japanese-GSDLUW.

Модель содержит 1,7 млрд параметров, использует архитектуру GPT-NeoX и принимает текст. Её можно применять для автоматического POS-тегирования и синтаксического разбора японских предложений. Указанный родной контекст — 1024 токена. Лицензия MIT.

Сценарии применения

разметка частей речи в японских текстах
построение синтаксических зависимостей японских предложений
лингвистический анализ японского корпуса
подготовка разметки Universal Dependencies для японского текста

Ограничения

Модель специализирована на японском синтаксическом анализе и обучена на UD_Japanese-GSDLUW, поэтому её разметка может не соответствовать другим языкам и схемам аннотации. Контекст ограничен 1024 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

stockmark-gpt-neox-1.4b-japanese-ud-causal

Model Description

This is a GPT-NeoX model pretrained for POS-tagging and dependency-parsing, derived from gpt-neox-japanese-1.4b refined for UD_Japanese-GSDLUW.

How to Use

from transformers import pipeline
nlp=pipeline("universal-dependencies","KoichiYasuoka/stockmark-gpt-neox-1.4b-japanese-ud-causal",trust_remote_code=True)
print(nlp("全学年にわたって小学校の国語の教科書に挿し絵が用いられている"))

Reference

安岡孝一: GPT系言語モデルによる国語研長単位係り受け解析, 人文科学とコンピュータシンポジウム「じんもんこん2024」論文集 (2024年12月), pp.83-90.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: GPTNeoXForTokenClassification
Ревизия весов: c7fa0a1