Характеристики

Контекст: 8 192 токена
Параметры: 19,6 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 15 фев 2025

Ссылки

modernbert-small-japanese-char

Заполнение пропусковТекст → текст3 профессии

Компактная японская ModernBERT-модель для заполнения пропусков и дообучения под задачи разметки и синтаксического анализа.

117скачиваний за 30 дней0лайковвеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka подготовил компактную модель ModernBERT, предварительно обученную на японской Википедии и текстах библиотеки 青空文庫. Это плотный трансформер с архитектурой ModernBertForMaskedLM, содержащий 19,6 млн параметров и поддерживающий контекст до 8192 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под задачи обработки японского языка, например разметку частей речи и синтаксический анализ зависимостей.

Модель принимает текст и предсказывает замаскированные фрагменты; её можно загрузить через Transformers как AutoModelForMaskedLM. Веса опубликованы в формате PyTorch. Лицензия Apache-2.0 разрешает использование и модификацию в соответствии с её условиями.

Сценарии применения

восстановление пропущенных слов в японском тексте
предобученная основа для разметки частей речи на японском
дообучение для синтаксического анализа зависимостей японского языка

Ограничения

Для прикладных задач, кроме заполнения пропусков, модель нужно дообучить. Карточка не приводит оценок качества на бенчмарках.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-small-japanese-char

Model Description

This is a ModernBERT model pre-trained on Japanese Wikipedia and 青空文庫 texts. NVIDIA A100-SXM4-40GB×8 took 33 hours 20 minutes for training. You can fine-tune modernbert-small-japanese-char for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-small-japanese-char")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-small-japanese-char",trust_remote_code=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: 9214a74