Модель ModernBERT для классификации японских сообщений как безопасных или небезопасных при модерации чатов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
text-toxdet — модель SB Intuitions, дообученная на японских данных о токсичности на базе sbintuitions/modernbert-ja-70m. Она классифицирует текст по двум меткам: safe и unsafe, чтобы модерировать неподобающие сообщения в чатах. Модель использует архитектуру ModernBERT для классификации последовательностей, содержит 70 млн параметров и поддерживает контекст до 8192 токенов.
В карточке приведены результаты оценки: F1 для класса unsafe достиг 0,782, ROC-AUC — 0,920. Модель ориентирована на японский язык; качество на других языках не подтверждено. Репозиторий содержит веса в форматах Safetensors и ONNX. Лицензия — MIT.
Оценки приведены для класса unsafe на данных карточки; перенос качества на другие наборы данных и языки не подтверждён. Предназначение и обучение ориентированы на японские данные.
README от автора на Hugging Face, как он его опубликовал
WIP
sbintuitions/modernbert-ja-70m を
日本語の有害性データでファインチューニングしたsafe / unsafe の二値分類モデルです。
チャットにおける不適切な発言のモデレーションを目的としています。
| 項目 | 値 |
|---|---|
| ベースモデル | sbintuitions/modernbert-ja-70m |
| エポック数 | 5 |
| 学習率 | 5e-6 (warmup ratio 0.1) |
| バッチサイズ | 32 |
| オプティマイザ | AdamW (weight decay 0.01) |
| 最大トークン長 | 512 |
| 損失関数 | class-weighted CrossEntropyLoss |
| エポック | eval loss | F1 (unsafe) | ROC-AUC |
|---|---|---|---|
| 1 | 0.485 | 0.725 | 0.859 |
| 2 | 0.420 | 0.773 | 0.903 |
| 3 | 0.469 | 0.782 | 0.920 |
| 4 | 0.416 | 0.808 | 0.921 |
| 5 | 0.406 | 0.807 | 0.924 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · text-classification
Подбираем GPU…