/ Модель

Характеристики

Контекст
8 192 токена
Параметры
410 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
modernbert-large-japanese-wikipedia
Опубликована
21 янв 2025

modernbert-large-japanese-wikipedia-luw-upos

Разметка токеновТекст → label3 профессии

Дообученная японская ModernBERT Large для разметки частей речи и морфологических признаков, а также анализа зависимостей.

71скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал эту ModernBERT Large для морфологического анализа японского текста. Модель дообучена на базе KoichiYasuoka/modernbert-large-japanese-wikipedia и размечает длинные единицы слов тегами UPOS и FEATS; карточка также указывает назначение для синтаксического анализа зависимостей.

Модель принимает японский текст и выдаёт разметку токенов. Архитектура ModernBERT, около 409,7 млн параметров, контекст до 8192 токенов. Базовая модель предварительно обучена на японской Википедии и текстах Aozora Bunko. Лицензия — Apache-2.0.

Сценарии применения

  • разметка частей речи в японских текстах
  • определение морфологических признаков японских слов
  • предварительная разметка японского текста для синтаксического анализа
  • анализ предложений на японском языке

Ограничения

Предназначена для японского языка и задач разметки токенов; качество на других языках и задачах карточкой не подтверждено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-large-japanese-wikipedia-luw-upos

Model Description

This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts for POS-tagging and dependency-parsing, derived from modernbert-large-japanese-wikipedia. Every long-unit-word is tagged by UPOS (Universal Part-Of-Speech) and FEATS.

How to Use

from transformers import pipeline
nlp=pipeline("upos","KoichiYasuoka/modernbert-large-japanese-wikipedia-luw-upos",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

or

import esupar
nlp=esupar.load("KoichiYasuoka/modernbert-large-japanese-wikipedia-luw-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

See Also

esupar: Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa/GPT models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForTokenClassification
Ревизия весов
4ebfad3

0 моделей