/ Модель

Характеристики

Контекст
8 192 токена
Параметры
410 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
modernbert-large-japanese-wikipedia
Опубликована
22 янв 2025

modernbert-large-japanese-wikipedia-upos

Разметка токеновТекст → label3 профессии

Дообученная японская ModernBERT Large размечает слова в тексте тегами частей речи UPOS и морфологическими признаками FEATS.

75скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT Large, дообученную на японской Википедии и текстах 青空文庫 для разметки частей речи и морфологических признаков. Модель присваивает каждому короткому слову теги UPOS и FEATS; её архитектура — ModernBERT для классификации токенов, размер — 409,7 млн параметров, контекст — до 8192 токенов. Базовая модель — KoichiYasuoka/modernbert-large-japanese-wikipedia.

Модель предназначена для автоматического анализа японских текстов, в частности для извлечения грамматической структуры и подготовки данных для последующей лингвистической обработки. Она принимает японский текст и возвращает последовательность токенов с разметкой. Распространяется по лицензии Apache-2.0. Карточка демонстрирует использование через Transformers с пользовательским кодом.

Сценарии применения

  • разметка частей речи в японских текстах
  • извлечение морфологических признаков японских слов
  • подготовка японских корпусов для лингвистического анализа

Ограничения

Модель предназначена для японского языка и выдаёт разметку токенов, а не готовый синтаксический разбор зависимостей. Для работы в показанном примере требуется Transformers с trust_remote_code=true.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-large-japanese-wikipedia-upos

Model Description

This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts for POS-tagging and dependency-parsing, derived from modernbert-large-japanese-wikipedia. Every short-unit-word is tagged by UPOS (Universal Part-Of-Speech) and FEATS.

How to Use

from transformers import pipeline
nlp=pipeline("upos","KoichiYasuoka/modernbert-large-japanese-wikipedia-upos",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

or

import esupar
nlp=esupar.load("KoichiYasuoka/modernbert-large-japanese-wikipedia-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

See Also

esupar: Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa/GPT models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForTokenClassification
Ревизия весов
dc2977e

0 моделей