/ Модель

Характеристики

Контекст
8 192 токена
Параметры
160 млн
Лицензия
Apache 2.0
Архитектура
modernbert · dense
Базовая модель
modernbert-base-japanese-wikipedia
Опубликована
12 янв 2025

modernbert-base-japanese-wikipedia-upos

Разметка токеновТекст → label3 профессии

Японская модель ModernBERT для определения частей речи и морфологических признаков слов в тексте.

66скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал эту модель ModernBERT для разметки японского текста. Она дообучена на основе KoichiYasuoka/modernbert-base-japanese-wikipedia и предварительно обучена на японской Википедии и текстах Aozora Bunko. Для каждого короткого слова модель предсказывает универсальную часть речи UPOS и признаки FEATS; карточка также указывает задачу синтаксического разбора зависимостей.

Модель содержит 160,2 млн параметров, принимает текст и имеет контекст до 8192 токенов. Лицензия — Apache-2.0. Модель рассчитана на японский язык; качество на других языках не заявлено.

Сценарии применения

  • разметка частей речи в японском тексте
  • определение морфологических признаков японских слов
  • подготовка японских текстов для лингвистического анализа

Ограничения

Модель предназначена для японского языка; качество на других языках не заявлено. README упоминает разбор зависимостей, однако отдельная задача или метрики качества для него не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-base-japanese-wikipedia-upos

Model Description

This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts for POS-tagging and dependency-parsing, derived from modernbert-base-japanese-wikipedia. Every short-unit-word is tagged by UPOS (Universal Part-Of-Speech) and FEATS.

How to Use

from transformers import pipeline
nlp=pipeline("upos","KoichiYasuoka/modernbert-base-japanese-wikipedia-upos",trust_remote_code=True,aggregation_strategy="simple")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

or

import esupar
nlp=esupar.load("KoichiYasuoka/modernbert-base-japanese-wikipedia-upos")
print(nlp("国境の長いトンネルを抜けると雪国であった。"))

See Also

esupar: Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa/GPT models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
ModernBertForTokenClassification
Ревизия весов
e999087

0 моделей