/ Модель

Характеристики

Контекст
8 192 токена
Параметры
160 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
modernbert-base-japanese-aozora
Опубликована
8 янв 2025

modernbert-base-japanese-aozora-upos

Разметка токеновТекст → label3 профессии

Дообученная японская ModernBERT для разметки частей речи и морфологических признаков, а также синтаксического анализа зависимостей.

58скачиваний за 30 дней1лайквеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KoichiYasuoka/modernbert-base-japanese-aozora-upos — дообученная модель ModernBERT, созданная Koichi Yasuoka на основе modernbert-base-japanese-aozora. Она размечает японский текст по коротким словесным единицам, назначая каждой тег части речи UPOS и признаки FEATS; карточка также указывает применение для синтаксического разбора зависимостей. Модель подходит для анализа японских предложений и подготовки лингвистически размеченных корпусов.

Модель имеет плотную архитектуру ModernBERT и 160,2 млн параметров, принимает текст и выдаёт метки токенов. Нативная длина контекста — 8192 токена. Весы доступны в формате PyTorch, лицензия — Apache-2.0. Карточка демонстрирует использование через Transformers pipeline с пользовательским кодом.

Сценарии применения

  • разметка частей речи в японских предложениях
  • назначение морфологических признаков FEATS японским словам
  • анализ синтаксических зависимостей в японском тексте
  • подготовка лингвистически размеченных японских корпусов

Ограничения

Модель ориентирована на японский язык и разметку UPOS/FEATS; качество для других языков и задач не подтверждено карточкой.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-base-japanese-aozora-upos

Model Description

This is a ModernBERT model pre-trained on 青空文庫 texts for POS-tagging and dependency-parsing, derived from modernbert-base-japanese-aozora. Every short-unit-word is tagged by UPOS (Universal Part-Of-Speech) and FEATS.

How to Use

from transformers import pipeline
nlp=pipeline("upos","KoichiYasuoka/modernbert-base-japanese-aozora-upos",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

or

import esupar
nlp=esupar.load("KoichiYasuoka/modernbert-base-japanese-aozora-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

See Also

esupar: Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa/GPT models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForTokenClassification
Ревизия весов
736249a

0 моделей