Характеристики

Контекст: 8 192 токена
Параметры: 160 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 2 янв 2025

Ссылки

Hugging Face

modernbert-base-japanese-aozora

KoichiYasuoka

Заполнение пропусковТекст → текст3 профессии

Японская ModernBERT-модель для заполнения пропусков и дообучения под задачи обработки текста.

113скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT-base для японского языка, предварительно обученную на текстах 青空文庫. Модель содержит 160,2 млн параметров, использует архитектуру ModernBERT для masked language modeling и имеет контекстное окно до 8192 токенов.

Модель предназначена для заполнения пропусков в японском тексте и как основа для дообучения под задачи разметки частей речи, синтаксического анализа зависимостей и другие задачи обработки японского языка. Для загрузки используются Transformers и PyTorch.

Модель распространяется по лицензии Apache-2.0. Качество в перечисленных downstream-задачах зависит от дообучения; в README приведены сведения о предобучении на литературном корпусе, но нет оценок качества на прикладных тестах.

Сценарии применения

восстановление пропущенных слов в японском тексте
дообучение для разметки частей речи на японском языке
дообучение для синтаксического анализа зависимостей
создание японских языковых классификаторов на основе предобученного энкодера

Ограничения

Предобучение выполнено на текстах 青空文庫, поэтому модель может хуже подходить для современных разговорных, специализированных или иных жанров японского языка. Для задач разметки частей речи и синтаксического анализа требуется дообучение.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-base-japanese-aozora

Model Description

This is a ModernBERT model pre-trained on 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 5 hours 55 minutes for training. You can fine-tune modernbert-base-japanese-aozora for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-base-japanese-aozora")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-base-japanese-aozora",trust_remote_code=True)

Reference

安岡孝一: 青空文庫ModernBERTモデルによる国語研長単位係り受け解析, 情報処理学会研究報告, Vol.2025-CH-137『人文科学とコンピュータ』, No.10 (2025年2月8日), pp.1-7.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: b3a6915