llm-jp-4-vl-9b-GGUF-v0.1

• 更新履歴
  • [2026-09-03] 複数ターンの会話で HTTP 500 になる問題を修正
  • [2026-09-03] 複数画像入力時のタイル数上限が元実装と異なる問題を修正
  • [2026-09-03] analysis 途中の <|end|> 出力で HTTP 500 になる問題を修正

• llm-jp/llm-jp-4-vl-9b を GGUF 形式に変換したものです。
• 現状、パッチ 適用済みの llama.cpp を用いて実行する必要があります。

[!Warning] 当リポジトリに含まれる GGUF およびパッチは非公式のものです。 不具合を発見された場合は、LLM-jp ではなく、当リポジトリの Discussions にて報告をお願いいたします。

パッチ適用

git clone --branch v0.3.0 --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
wget https://huggingface.co/tokinasin/llm-jp-4-vl-9b-GGUF-v0.1/resolve/main/llama.cpp-llmjpvl.patch
git apply --check llama.cpp-llmjpvl.patch && git apply llama.cpp-llmjpvl.patch

# パッチ適用後、お好みの方法でビルドしてください

使用例

llama-server \
  -m llm-jp-4-vl-9b-Q8_0.gguf \
  --mmproj mmproj-llm-jp-4-vl-9b-F16.gguf \
  --chat-template-kwargs '{"reasoning_effort":"low"}' \
  --jinja -c 8192

• Q4_K_M では reasoning がスキップされることが多いため、Q6_K 以上のモデルの使用を推奨いたします。

License

• llama.cpp-llmjpvl.patch: MIT License
  • パッチのうち画像タイル前処理（tools/mtmd/mtmd-image.cpp の mtmd_image_preprocessor_llmjpvl）は llm-jp/llm-jp-4-vl-9b の processing_llmjpvl.py （Copyright (c) 2026 LLM-jp, Apache License 2.0）の dynamic_preprocess を C++ に移植したものです。
  • Harmony 制御トークン直後のスペース除去は https://github.com/llm-jp/llama.cpp (MIT License) の実装を参考にしています。
• *.gguf: Apache License 2.0
• imatrix 較正用のテキストとして TFMC/imatrix-dataset-for-japanese-llm を使用させていただきました。