Apertus-v1.5-8B (MLX bf16, text LM, reference-verified)

スイスAIイニシアチブの Apertus-v1.5-8B（Apache-2.0・多言語・xIELU活性/QK-norm/llama3型RoPEスケーリングの独自アーキテクチャ）からテキストLM部分を抽出してMLX変換したものです。

このMLX版の価値: 上流モデルはリリース版transformers/vLLMでは動かず、swiss-ai専用フォークが必要ですが、この変換はmlx-lm標準でそのまま動きます（pip install mlx-lmのみ）。

スコープ: 元モデルは画像・音声入力対応のomniモデルですが、本repoはテキスト専用の抽出です（vision/audioトークナイザは含みません。埋め込みはテキスト出力語彙131,072行に切り詰め済み — テキスト対話のトークンIDはすべてこの範囲内であることを確認しています）。

使い方

pip install mlx-lm
python -m mlx_lm generate --model tokimoa/apertus-v1.5-8b-mlx-bf16   --prompt "富士山の標高を教えてください。" --max-tokens 200 --temp 0.0

Deliberation（思考モード）に注意: chat templateに思考モードのフラグがあり、mlx-lm経由の既定では有効（<|inner_prefix|>で内部推論を出力してから回答）、Hugging Face transformersの既定では無効になります。無効にしたい場合はapply_chat_templateにenable_thinking=Falseを渡してください。

変換品質の検証（tokimoa）

transformers公式実装（swiss-aiフォーク・CPU bf16）との突き合わせ検証:

• 同一入力でのprefillロジット比較: 日本語ビジネスプローブ5種すべてでtop-1トークン一致（cos類似度0.9997〜0.9999・top-10重複10/10）
• bf16版は反復実行で出力完全一致（決定論的）
• 検証時の発見: 参照フォークはMPS上では出力が破綻します（縮退ループ）。参照はCPUで実行しました（変換品質とは無関係の上流問題）

実測速度（M4 Max 36GB）

• 生成: 約23 tok/s / ピークメモリ: 16.2GB（重み15GB）

変換情報

• 変換元: swiss-ai/Apertus-v1.5-8B（公式BF16、commit a411d83）からテキストLM抽出（model.language_model.*→model.*・lm_head保持・embed切り詰め）
• 変換: mlx-lm 0.31.3 convert（bf16）
• 兄弟repo: 8bit（推奨・8GB・約44 tok/s）/ 4bit（4.3GB・約75 tok/s）
• 変換者: tokimoa

ライセンス

Apache-2.0（元モデルに準拠）。上流の利用ポリシー（AUP）も参照してください。