Компактная японская BERT-модель для быстрого предсказания пропущенных символов и токенов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
bluolightning/bert-tiny-japanese-char — компактная японская BERT-модель, разработанная bluolightning и оптимизированная для быстрого заполнения пропусков в тексте. Она использует символьный японский токенизатор и предназначена для задач masked language modeling.
Модель имеет 4 слоя, размер скрытого состояния 256, 4 головы внимания и FFN размером 1024; в метаданных указано 5,8 млн параметров и контекст 128 токенов. Это дистилляция модели, дообученной на основе tohoku-nlp/bert-base-japanese-char-v2; карточка сообщает, что студенческая модель была инициализирована случайно. Поддержка японского языка подтверждается карточкой и тегами.
Модель подходит для быстрого запуска локальных экспериментов и заполнения маскированных токенов в японском тексте. Лицензия Apache-2.0.
Контекст ограничен 128 токенами, а компактный размер модели может снижать качество по сравнению с полноразмерными японскими BERT-моделями. Карточка не приводит оценок качества или результатов бенчмарков.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a tiny Japanese BERT model with 4 layers, optimized for speed.
tohoku-nlp/bert-base-japanese-char-v2.На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Подбираем GPU…