- ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
- データセット：llm-book/wrime-sentiment
- オプティマイザ: adafactor
- Optunaでハイパーパラメータ探索
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
- 学習率(learning rate): 1e-6 ~ 1e-4
- バッチサイズ(per_device_train_batch_size): 16,32,64,128,256
- 正則化(weight_decay): 1e-6 ~ 1e-1
Характеристики
- Контекст
- 512 токенов
- Параметры
- 138 млн
- Архитектура
- bert · dense
- Опубликована
- 29 сен 2023
Ссылки
bert-base-japanese-v3-wrime-v1
Дообученная японская BERT-модель для классификации эмоциональной окраски текста по датасету WRIME.
130скачиваний за 30 дней0лайковвеса обновлены25 окт 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
A-Funakoshi/bert-base-japanese-v3-wrime-v1 — японская модель классификации текста на базе cl-tohoku/bert-base-japanese-whole-word-masking. Она дообучена на датасете llm-book/wrime-sentiment с использованием оптимизатора Adafactor; гиперпараметры подбирались с помощью Optuna. Модель предназначена для классификации японских текстов по эмоциональным категориям WRIME. Архитектура — BERT для классификации последовательностей, около 137,8 млн параметров; максимальная длина контекста — 512 токенов. Доступны веса в формате PyTorch. Лицензия в предоставленных данных не указана.
Сценарии применения
- определение эмоциональной окраски японского сообщения
- классификация японских отзывов по эмоциональным категориям
- анализ эмоций в коротких японских текстах
Ограничения
Модель рассчитана на японский язык и классификацию в рамках разметки WRIME; её применение к другим языкам или задачам не подтверждено. Контекст ограничен 512 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594моделиIII.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- BertForSequenceClassification
- Ревизия весов
- e2ae0de