Характеристики

Контекст: 8 192 токена
Параметры: 160 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 11 янв 2025

Ссылки

Hugging Face

modernbert-base-japanese-wikipedia

KoichiYasuoka

Заполнение пропусковТекст → текст3 профессии

Японская модель ModernBERT для заполнения маскированных токенов и дообучения на задачи анализа текста.

139скачиваний за 30 дней5лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал эту модель на архитектуре ModernBERT и предварительно обучил её на японской Википедии и текстах «Аодзора бунко». Это языковая модель с маскированными токенами, предназначенная для заполнения пропусков в японском тексте; её также можно дообучить для разметки частей речи, синтаксического анализа зависимостей и других задач обработки японского языка.

Модель содержит 160,2 млн параметров, принимает текст и поддерживает контекст длиной до 8192 токенов. Она распространяется в формате PyTorch по лицензии Apache-2.0. Для применения через Transformers в README показана загрузка с параметром trust_remote_code=True. Качество на перечисленных задачах после дообучения зависит от обучающих данных и настройки.

Сценарии применения

восстановление пропущенных слов в японском тексте
дообучение для разметки частей речи на японском языке
дообучение для синтаксического анализа зависимостей
использование как основы для других задач обработки японского текста

Ограничения

Для разметки частей речи, синтаксического анализа и других downstream-задач модель требуется дообучить. В README для загрузки через Transformers указан параметр trust_remote_code=True.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-base-japanese-wikipedia

Model Description

This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 56 hours 49 minutes for training. You can fine-tune modernbert-base-japanese-wikipedia for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-base-japanese-wikipedia")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-base-japanese-wikipedia",trust_remote_code=True)

Reference

安岡孝一: 青空文庫ModernBERTモデルによる国語研長単位係り受け解析, 情報処理学会研究報告, Vol.2025-CH-137『人文科学とコンピュータ』, No.10 (2025年2月8日), pp.1-7.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: 5445ce0