Предварительно обученная ModernBERT-модель для заполнения пропусков в японском тексте и дообучения под задачи его разметки и синтаксического анализа.
112скачиваний за 30 дней0лайковвеса обновлены31 авг 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka разработал ModernBERT-large для японского языка и предварительно обучил модель на японской Википедии и текстах библиотеки «Аодзора Бунко». Это плотная трансформерная модель с архитектурой ModernBERT и примерно 367,1 млн параметров; она принимает последовательности текста и предсказывает замаскированные токены. Максимальная длина контекста — 8192 токена.
Модель предназначена для заполнения пропусков в японском тексте и как основа для дообучения под задачи разметки частей речи, синтаксического разбора зависимостей и другие задачи обработки японского языка. Доступны веса PyTorch; для загрузки в Transformers в README приведён пример с AutoTokenizer и AutoModelForMaskedLM, использующий trust_remote_code=True. Лицензия — Apache-2.0.
Качество для конкретных задач зависит от дополнительного дообучения и оценки на целевых данных. В README не приведены результаты бенчмарков.
Сценарии применения
Заполнение пропусков в японских текстах
Дообучение для разметки частей речи на японском языке
Дообучение для синтаксического разбора зависимостей японских предложений
Ограничения
README не приводит результатов бенчмарков; для задач разметки и синтаксического анализа требуется дообучение и проверка на целевых данных.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 116 hours 46 minutes for training. You can fine-tune modernbert-large-japanese-char for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
How to Use
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-large-japanese-char")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-large-japanese-char",trust_remote_code=True)
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров