/ Модель

Характеристики

Контекст
8 192 токена
Параметры
410 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
modernbert-large-japanese-aozora
Опубликована
12 янв 2025

modernbert-large-japanese-aozora-luw-upos

Разметка токеновТекст → label3 профессии

Дообученная японская ModernBERT-модель для присвоения словам частей речи и морфологических признаков.

71скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT-large-japanese-aozora-luw-upos — модель семейства ModernBERT для разметки японского текста. Она дообучена на основе KoichiYasuoka/modernbert-large-japanese-aozora и предварительно обучалась на текстах 青空文庫; размер модели — 409,7 млн параметров, контекст — до 8192 токенов.

Модель присваивает каждому длинному слову части речи по схеме UPOS и признаки FEATS. Она предназначена для морфологической разметки японских текстов и может применяться в обработке корпуса, лингвистическом анализе и подготовке данных для синтаксического разбора. В карточке также заявлен dependency parsing, но пример использования показывает pipeline для UPOS-разметки.

Модель принимает текст и выдаёт метки токенов. Поддерживается японский язык. Лицензия — Apache-2.0. Качество разметки и ограничения на конкретных жанрах или типах текста в карточке не описаны.

Сценарии применения

  • разметка японских слов частями речи по UPOS
  • извлечение морфологических признаков FEATS из японского текста
  • подготовка японских корпусов для лингвистического анализа
  • предварительная разметка текста для синтаксического разбора

Ограничения

Карточка не приводит оценки качества и не уточняет точность на современных текстах и жанрах, отличных от обучающих данных. Dependency parsing упомянут в описании, но пример демонстрирует только разметку UPOS и FEATS.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-large-japanese-aozora-luw-upos

Model Description

This is a ModernBERT model pre-trained on 青空文庫 texts for POS-tagging and dependency-parsing, derived from modernbert-large-japanese-aozora. Every long-unit-word is tagged by UPOS (Universal Part-Of-Speech) and FEATS.

How to Use

from transformers import pipeline
nlp=pipeline("upos","KoichiYasuoka/modernbert-large-japanese-aozora-luw-upos",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

or

import esupar
nlp=esupar.load("KoichiYasuoka/modernbert-large-japanese-aozora-luw-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

See Also

esupar: Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa/GPT models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForTokenClassification
Ревизия весов
ce6e28d

0 моделей