hourai3-ja-toxicity-90m-v1
zenz v3フォーマット 文章加害性評価分類モデル
注意してほしい事。
文章加害性を評価するモデルです。
暴言、性的なコンテンツ、違法性、個人、企業への攻撃が含まれています。
./training_codes内のjsonlは使用したデータセットであり、トレーニングコードも公開しています。
意図しない閲覧を避けるため、注意してください。
使用したデータセットLLM-jp Toxicity Datasetより、使用上の注意、禁止事項。
## Intended Use
The dataset is intended to provide a foundation for developing models to detect toxic language in Japanese texts,
enabling researchers and companies to train, validate, and benchmark their models.
This dataset should only be used for ethical and constructive purposes.
Any malicious use,
including but not limited to the creation of harmful or discriminatory content,
is strictly prohibited.
## 日本語訳
使用時に気を付けてほしい事
このデータセットは、日本語テキスト中の有害表現を検出するモデル開発の基盤を提供することを目的としており、
研究者や企業がモデルのトレーニング、検証、ベンチマークを行うことを可能にします。
このデータセットは、倫理的かつ建設的な目的でのみ使用してください。
有害または差別的なコンテンツの作成を含む、いかなる悪意のある使用も固く禁じられています。
architecture:
- lfm2moe
tarined by:
- rtx3060 * 10m training code in ./training_codes
tokenizer from ku-nlp/gpt2-small-japanese-char
+(unused qwen3 special toknes from base model)
+(<nontoxic>トークン、<\toxic>トークン)
加害性が確認された場合は<toxic>、加害性がない、もしくは判定できなかった場合は<nontoxic>を出力します。
<toxic>のあとに加害性タグ
<obscene>, <discriminatory>, <violent>, <illegal>, <personal>, <corporate>, <others>
を出力します。
モデルの出力には誤検知(擬陽性、偽陰性)をする可能性があり、人間の判断を代替するものではないことに、
注意してください。
dataset:
- github ids-cv/wrime use wikipedia part 500 rows 8 epoch
入力例
以下をクリックすると、差別的、暴力的、性的表現の含まれる入力例が表示されます。
input_text "キチガイの外国人は殺せ"
output_text "<toxic><discriminatory>"
input_text "エッチな電話、ぴちぴち70 代と今すぐ合おう"
output_text "<toxic><obscene>"
入力テキストのフォーマット = f"<s>\uEE00{input_text}\uEE01"
感情トークン( <objective>か<subjective>) を出力します。