Характеристики

Контекст: 8 192 токена
Параметры: 30,3 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 6 фев 2025

Ссылки

modernbert-small-japanese-aozora

Заполнение пропусковТекст → текст

Компактная ModernBERT, обученная на японских текстах «Аодзора Бунко», для заполнения пропусков и дообучения на задачах анализа японского языка.

114скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT, предварительно обученную на текстах японской цифровой библиотеки «Аодзора Бунко». Модель содержит 30,3 млн параметров, использует архитектуру ModernBERT и принимает контекст длиной до 8192 токенов. Она предназначена для предсказания пропущенных токенов, а также для дообучения под задачи разметки частей речи и синтаксического анализа зависимостей японского текста.

Модель подойдёт для языковых экспериментов и создания систем анализа японских текстов, особенно близких по стилю к литературным текстам обучающего корпуса. Доступны веса PyTorch; лицензия — Apache-2.0. Для загрузки в примере README используется параметр trust_remote_code=True.

Сценарии применения

предсказание пропущенных слов в японском тексте
дообучение разметчика частей речи для японского языка
дообучение парсера синтаксических зависимостей японского языка

Ограничения

Предварительное обучение выполнено на текстах «Аодзора Бунко», поэтому стиль и тематика корпуса могут ограничивать перенос на современные жанры и предметные области. Для разметки частей речи и синтаксических зависимостей модель необходимо дообучить.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-small-japanese-aozora

Model Description

This is a ModernBERT model pre-trained on 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 3 hours 1 minute for training. You can fine-tune modernbert-small-japanese-aozora for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-small-japanese-aozora")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-small-japanese-aozora",trust_remote_code=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: 9699616