2020/12/21時点のWikipediaを用いて事前学習した日本語RoBERTaです。
janome(MeCabのPythonラッパー)とBPEを使用してトークナイズしています。
Характеристики
- Контекст
- 514 токенов
- Параметры
- 138 млн
- Лицензия
- cc-by-sa-3.0
- Архитектура
- roberta · dense
- Опубликована
- 7 сен 2022
Ссылки
japanese-roberta-base-20201221
Японская RoBERTa для восстановления пропущенных токенов в тексте, предварительно обученная на Википедии.
415скачиваний за 30 дней0лайковвеса обновлены7 сен 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это японская модель RoBERTa, предварительно обученная разработчиком на Википедии по состоянию на 21 декабря 2020 года. Она предназначена для подстановки пропущенных токенов в японском тексте и может использоваться как базовая модель для экспериментов с задачами языкового понимания.
Модель содержит 137,8 млн параметров, использует архитектуру RobertaForMaskedLM и принимает контекст длиной до 514 токенов. Для токенизации применяются Janome (обёртка Python для MeCab) и BPE. Доступны веса PyTorch; лицензия — CC BY-SA 3.0.
Сценарии применения
- подстановка пропущенных слов в японском тексте
- восстановление замаскированных токенов
- получение контекстных представлений японских слов для языковых экспериментов
Ограничения
Карточка описывает предварительное обучение на Википедии, поэтому модель может хуже работать с текстами и областями, не представленными в этом корпусе. Контекст ограничен 514 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- 73fae94