Miyashita-Lab LLM MoE 900M
宮下研究室の公開情報に関する日本語QAを対象にした、実験用の小規模MoEモデルです。 Dense 300Mモデルを4 experts / top-2のMoEに変換し、層別の負荷分散補助lossを使用して 全パラメータを3 epoch更新しました。Baseモデルではなく、チャット形式のSFTモデルです。 研究室の公式見解・最新情報を保証する案内システムではありません。
Architecture
- Native Transformers
MixtralForCausalLM; custom code / trust_remote_code不要 - Total parameters: 906,186,624 (約906M。900Mは丸めたモデル名)
- 28 layers, hidden size 896, intermediate size 2,688
- 4 FFN experts per layer, top-2 token routing
- 14 attention heads / 7 KV heads; shared attention
- 32,768 vocabulary; tied embeddings; context configuration 4,096 tokens
- SFT sequence length: 2,048 tokens; BF16 weights
- この最終学習ではattention・埋め込み・正規化も更新しています。
Training History and Data
- 299,157,376-parameter Denseモデルをscratchから事前学習。
hotchpotch/fineweb-2-edu-japaneseのsample_10BTを使用し、約10.642B tokensで学習。 - 一般Instruction SFT:
llm-jp/magpie-sft-v1.0とkunishou/oasst1-chat-44k-ja。準備済みtrainは計23,809例。 - 研究室の公開ページ・ニュース・論文由来の合成QAでSFTし、研究室の30の基本事項を 集中学習したDense checkpointからMoEを初期化。 基本事項QAは一般常識QAではなく、研究室固有の知識です。
- DenseのFFNを4個に複製し、routerを初期化。研究室QA12,243例と基本事項の replay3,061例、計15,304例でMoEを全層更新。 研究室QAには資料なし・資料付き、資料横断・個別論文などを含みます。 合成QAはローカルのQwen teacherを用いた生成パイプラインで作成しました。
本リポジトリには元の論文PDF・抽出本文・学習会話データを含めていません。 学習例数には同一会話からの派生例やreplayを含み、独立した論文数や会話数ではありません。
Final Run
- Seed: 20260930; 2,870 optimizer steps (約3 epochs)
- Microbatch 2, gradient accumulation 8, effective batch 16
- LR: 1e-5 for non-router parameters, 1e-4 for routers
- Warmup 30 steps, then constant LR
- Auxiliary loss: 0.01 * mean(per-layer load-balancing losses), excluding padding
- Final checkpoint: 2870; training completed 2026-10-02 (JST)
固定の研究室validation128例、および基本事項validation120例でのassistant-token loss:
| Model | Lab validation | Core QA validation |
|---|---|---|
| Initial MoE | 3.535121 | 0.067417 |
| Shared layers frozen, layerwise loss, 3 epochs | 2.381652 | 0.245047 |
| This model: full update, layerwise loss, 3 epochs | 2.358875 | 0.242095 |
補助lossは検証値に含みません。基本事項validationは既知の事実への異なる質問表現であり、 未知の知識への汎化指標ではありません。loss改善は回答の正確性改善を保証しません。
Usage
検証環境: Python / PyTorch 2.12.1 / Transformers 5.15.0。 古いTransformersや別の推論エンジンとの互換性は未検証です。
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "hmwri/Miyashita-Lab-LLM-MoE-900M"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo, dtype=torch.bfloat16, attn_implementation="sdpa"
).to("cuda").eval()
with open(hf_hub_download(repo, "system_prompt.txt"), encoding="utf-8") as f:
system = f.read().strip()
messages = [
{"role": "system", "content": system},
{"role": "user", "content": "宮下研究室はどのような研究をしていますか？"},
]
inputs = tokenizer.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True,
return_dict=True, return_tensors="pt",
).to(model.device)
with torch.inference_mode():
result = model.generate(**inputs, max_new_tokens=128, do_sample=False, use_cache=True)
print(tokenizer.decode(result[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
必要なら質問に参考資料を添えてください。モデル自身に検索機能はありません。
Actual Generation Examples
以下は公開した最終重みから2026-10-02に実際に生成した出力です。
付属system_prompt.txt、BF16、SDPA、greedy (do_sample=False)、最大128 tokens、
repetition_penalty=1.0で、各質問を独立した新規会話として実行しました。
回答は改変しておらず、生成上限には達していません。
ローカルで6候補を生成して内容を確認し、根拠資料と整合した研究室概要の1例を選んでいます。
無作為な評価ではなく、うまく回答できた例の選別です。モデル全体の正答率や、
他の質問への回答品質を示すものではありません。
研究室概要は集中学習した内容であり、未知の知識への性能実証ではありません。
Spaceの質問候補も、この確認済みの質問に限定しています。
研究室概要
質問: 宮下研究室はどのような研究をしていますか？
宮下研究室は、人間の表現能力をコンピュータで拡張する研究室です。音楽や映像、ゲーム、VRなどを表現として捉え、新しい表現を支える道具を研究しています。
Limitations and Licensing
- 反復、不自然な日本語、資料にない数値・名称・日時の生成が起こり得ます。
- 未確認情報への適切な回答拒否、算数、一般的な指示追従を保証しません。
- 小規模な研究実験用です。重要な判断には原資料の確認が必要です。
- モデル重みの利用ライセンスは現時点で未指定です。公開ダウンロード可能であることは、 無制限の再利用・商用利用の許諾を意味しません。
- 学習に使った外部データ・論文にはそれぞれの権利・利用条件があります。 包括的な権利確認を済ませた、という主張はしていません。
公開用にはoptimizer状態を除外し、generation_configのuse_cacheをtrueに変更しています。 学習済みモデル重みは最終checkpointのままです。