Характеристики

Контекст: 8 192 токена
Параметры: 410 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 7 янв 2025

Ссылки

modernbert-large-japanese-aozora

Заполнение пропусковТекст → текст3 профессии

Предварительно обученная японская ModernBERT-модель для заполнения пропусков и дообучения на задачи обработки японского текста.

126скачиваний за 30 дней1лайквеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT-large, предварительно обученную на японских текстах 青空文庫 (Aozora Bunko). Модель содержит 409,7 млн параметров, использует архитектуру ModernBERT и работает с контекстом до 8192 токенов. Доступны веса PyTorch; лицензия — Apache-2.0.

Модель предназначена для заполнения пропусков в тексте и как основа для дообучения на японские задачи, включая разметку частей речи и синтаксический анализ зависимостей. Она принимает текст и предсказывает замаскированные фрагменты. Обучение проводилось на восьми NVIDIA A100-SXM4-40GB примерно за 10 часов.

Модель ориентирована на японский язык и корпус Aozora Bunko; README не сообщает об оценках качества или проверке на других доменах. Для специализированных задач потребуется дообучение.

Сценарии применения

предсказание пропущенных слов в японском тексте
дообучение для разметки частей речи на японском
дообучение для синтаксического анализа зависимостей
создание японской модели понимания текста на основе корпуса Aozora Bunko

Ограничения

Предварительное обучение выполнено на текстах Aozora Bunko, поэтому применимость к другим жанрам и современным доменам не установлена. Для разметки частей речи и синтаксического анализа требуется дообучение.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-large-japanese-aozora

Model Description

This is a ModernBERT model pre-trained on 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 10 hours 5 minutes for training. You can fine-tune modernbert-large-japanese-aozora for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-large-japanese-aozora")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-large-japanese-aozora",trust_remote_code=True)

Reference

安岡孝一: 青空文庫ModernBERTモデルによる国語研長単位係り受け解析, 情報処理学会研究報告, Vol.2025-CH-137『人文科学とコンピュータ』, No.10 (2025年2月8日), pp.1-7.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: aba2476