Miyashita-Lab LLM 300M Base
FineWeb2 Edu Japanese sample_10BTでscratch事前学習した299M parameterの
decoder-only Baseモデルを、ブラウザ推論用のQ4 ONNXへ変換したものです。
Model
- Architecture: Llama-compatible decoder-only Transformer
- Parameters: 299,157,376
- Layers: 28
- Hidden size: 896
- Attention heads: 14 query / 7 KV
- Context length: 4,096
- Vocabulary: 32,768 SentencePiece Unigram tokens
- Training tokens: 10,641,604,608
- Quantization: Q4 weights with FP32 activations
これはBaseモデルです。質問応答や指示追従ではなく、文章補完として使用してください。
Transformers.js
import { pipeline } from "@huggingface/transformers";
const generator = await pipeline(
"text-generation",
"hmwri/japanese-300m-base-onnx",
{ device: "webgpu", dtype: "q4" },
);
const result = await generator("人工知能とは、", { max_new_tokens: 96 });
Training data
事前学習にはhotchpotch/fineweb-2-edu-japaneseのsample_10BT subsetを使用しました。
trainは13,488,028 documents / 10.642B tokens、validationは7,720 documents / 6.16M
tokensです。
model_q4f16.onnxも収録していますが、GPUやdriverによって生成が不安定になる場合が
あるため、ブラウザではq4を推奨します。
Limitations
約3億parameterのBaseモデルであり、事実性、安全性、指示追従を保証しません。生成結果は 不正確または不適切な場合があります。