LLM-jp-4-8B-thinking — Imabari & Standard Japanese v5 GRPO

日本語の説明は下にあります。
Japanese description is available below.

[!WARNING] Experimental release: The results of this GRPO training run were not satisfactory, and no clear overall improvement over v4 was confirmed. This model is not presented as a recommended replacement for v4.

Overview

This model is a fully merged model created by applying GRPO training to the following supervised fine-tuned model:

• Immediate base model: ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_v4
• Upstream base model: llm-jp/llm-jp-4-8b-thinking

The immediate base model was fine-tuned on QA data containing both Imabari dialect and standard Japanese reasoning and answers. This v5 model applies additional GRPO training intended to:

1. Improve compliance with the expected reasoning-to-final-answer channel format
2. Reduce repetitive output
3. Preserve support for standard Japanese and Imabari-dialect channels
4. Preserve the low, medium, and high reasoning-effort conditions

The GRPO reward used in this training run does not evaluate factual correctness, answer relevance, or dialect naturalness. It evaluates output structure and repetition only.

Changes from v4 and Training Outcome

v4 could occasionally produce repetitive text, including with reasoning_effort="medium" or "high".

For v5, GRPO training was performed with a reward function that:

• rewards completion of the expected reasoning and final-answer channel structure;
• penalizes malformed channel transitions;
• penalizes missing or empty final answers;
• penalizes repeated character sequences and repeated short phrases;
• includes truncated and repetitive generations in training rather than masking them.

Training outcome

Evaluation now! The results of this GRPO training run were not satisfactory. The training did not produce a clear overall improvement over v4, and the intended reduction in repetitive output was not achieved consistently. Depending on the prompt and generation condition, repetition, malformed channel transitions, excessively long output, or degradation in answer quality may still occur. The reward used for this run evaluates only output structure and repetition. It does not evaluate factual correctness, relevance, reasoning quality, or dialect naturalness. Optimizing this limited reward may therefore fail to improve overall response quality and may adversely affect behaviors that are not represented in the reward. This model should be regarded as an experimental training result, rather than a confirmed improvement or a recommended replacement for v4. Users should compare v4 and v5 for their own use cases before selecting a model. No numerical evaluation results establishing an improvement over v4 are included in this card.

What This Repository Contains

This repository contains the merged full model, not only a LoRA adapter.

You do not need to load the v4 base model separately during inference.

• Model type: Causal language model
• Training method: GRPO with LoRA, followed by merged-model export
• Model weights: Safetensors
• Training and merge dtype: BF16
• Tokenizer: Inherited from the v4 model, including its custom chat template
• Immediate base model: ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_v4
• Upstream base-model license: Apache License 2.0
• Training-data terms: See License

Training Data

GRPO dataset

GRPO training used:

• ikedachin/imabari_wiki_rl_v3

Only the question field was used. Fields such as choices, correct answers, and existing message data were not used by the GRPO training script. Within each split, duplicate questions were removed after:

1. Unicode NFKC normalization
2. Removal of whitespace

Questions present in the validation split were also removed from the training split.

The original train and validation split assignments were otherwise preserved.

Upstream SFT datasets

The immediate v4 base model was trained with the following datasets:

Refer to the immediate base model card and the dataset cards for their complete attribution and modification history.

Data Sampling and Output Conditions

For training, one of the following six output conditions was sampled uniformly for each candidate group:

Four candidate completions were generated for the same question under the same sampled condition. The condition was selected again when a question was generated in another training pass. Therefore, conditions were not permanently assigned to individual questions. For evaluation, every validation question was expanded into all six conditions instead of selecting one randomly.

Dataset Limits Used in This Run

These values are upper limits. The actual number can be lower after duplicate removal, train-validation overlap removal, and prompt-length filtering.

GRPO Reward

The reward function focuses on output structure and repetition.

Expected structure

Generation starts inside either analysis or analysis_imabari. A valid completion must then transition to the corresponding final channel:

• Standard Japanese: analysis → final
• Imabari dialect: analysis_imabari → final_imabari

The completion must:

• contain nonempty reasoning text;
• transition to the expected final channel;
• contain a nonempty final answer;
• end with <|return|>;
• contain no unexpected special-token marker inside the reasoning or answer text.

A structurally valid completion receives a base reward of +1. An invalid completion receives -1.

Repetition penalty

Repetition is evaluated separately for the reasoning and final-answer sections. The larger penalty is used. The detector checks:

• repeated 8-character sequences;
• repeated 16-character sequences;
• repeated 32-character sequences;
• consecutive repetition of short strings between 1 and 64 characters.

The final reward is calculated as:

$$ \text{reward} = \text{format reward} - 3 \times \text{repetition score} $$

The resulting reward is approximately bounded between -4 and +1.

What the reward does not evaluate

The reward function does not directly evaluate:

• factual correctness;
• relevance to the question;
• completeness of the answer;
• quality of reasoning;
• naturalness of Imabari dialect;
• whether standard Japanese and Imabari dialect are separated consistently;
• safety or harmful content.

A correctly formatted but factually incorrect answer may therefore receive a high reward.

Training Method

The model was created through the following process:

1. Load the v4 merged SFT model in BF16
2. Load questions from ikedachin/imabari_wiki_rl_v3
3. Remove duplicate and overlapping questions
4. Sample language-style and reasoning-effort conditions
5. Generate four candidate completions per question
6. Score candidates using format and repetition rewards
7. Perform GRPO training with a LoRA adapter
8. Merge the trained LoRA adapter into the v4 base model
9. Save the merged model and tokenizer in Safetensors format

Training Configuration

The number of epochs or maximum training steps was not explicitly overridden in the provided training configuration. The behavior therefore depends on the defaults of the installed TRL and Transformers versions.

LoRA Configuration

Training Environment

• Frameworks: PyTorch / Transformers / TRL / PEFT / Datasets
• Experiment tracking: Weights & Biases
• Hardware mode: Single CUDA GPU and single process
• Required precision: BF16
• Model loading dtype: torch.bfloat16
• Model export: Merged Safetensors

Evaluation

Evaluation was performed before and after training using the reward function described above.

For final evaluation:

• up to 8 validation questions were used;
• all six language-style and reasoning-effort conditions were applied;
• four completions were generated per prompt.

Intermediate evaluation used up to four validation questions with all six conditions.

No numerical results are included in this card. Consequently, this card does not establish a measured improvement in:

• factual accuracy;
• answer quality;
• dialect naturalness;
• dialect controllability;
• reasoning quality;
• repetition rate on an external benchmark.

Overall assessment

The observed training outcome was not satisfactory, and no clear overall advantage over v4 was confirmed. The before/after evaluation implemented by the training script uses the same limited reward employed during training and should not be interpreted as a comprehensive measure of model quality. In particular, a higher reward does not necessarily indicate better factual accuracy, relevance, reasoning, dialect quality, or usefulness. This release is provided primarily for experimentation, reproducibility, and analysis of the GRPO training attempt.

Usage

Installation

pip install transformers torch accelerate

Load the model

The following repository ID is inferred from the merged-model directory used by the training script. Replace it if the model is published under a different ID.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_grpo_v5"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()

Always use the tokenizer distributed with this model. It contains the custom chat template inherited from the v4 model.

Imabari-dialect generation

import torch

messages = [
    {
        "role": "user",
        "content": "今治の特産品について教えてください。",
    }
]

chat_kwargs = {
    "reasoning_effort": "medium",
    "valid_channels": [
        "analysis_imabari",
        "final_imabari",
        "commentary",
    ],
    "generate_thinking": True,
    "thinking_channel": "analysis_imabari",
    "channel": "final_imabari",
    "add_generation_prompt": True,
}

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    return_dict=True,
    **chat_kwargs,
)
inputs = {key: value.to(model.device) for key, value in inputs.items()}

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=1024,
        do_sample=False,
        pad_token_id=tokenizer.eos_token_id,
    )

input_length = inputs["input_ids"].shape[1]
generated_ids = output_ids[0, input_length:]

print(
    tokenizer.decode(
        generated_ids,
        skip_special_tokens=False,
    )
)

Standard Japanese generation

chat_kwargs = {
    "reasoning_effort": "medium",
    "valid_channels": [
        "analysis",
        "final",
        "commentary",
    ],
    "generate_thinking": True,
    "thinking_channel": "analysis",
    "channel": "final",
    "add_generation_prompt": True,
}

Start directly in the final-answer channel

To omit the explicit reasoning start and begin directly in an answer channel, use:

chat_kwargs = {
    "reasoning_effort": "medium",
    "valid_channels": [
        "analysis_imabari",
        "final_imabari",
        "commentary",
    ],
    "generate_thinking": False,
    "channel": "final_imabari",
    "add_generation_prompt": True,
}

The channel settings affect prompt formatting. They do not guarantee that the generated text will consistently use the requested language style.

Custom Chat Template

This model inherits the custom chat template included with the v4 model.

It supports:

The expected channel combinations are:

valid_channels changes the channel declaration in the prompt. It is not a hard decoding constraint.

When generate_thinking=True, the initial header is selected using thinking_channel. The channel value does not force the later channel transition. The model generates that transition itself.

Limitations

• The model may generate factually incorrect or unsupported information.
• GRPO training did not use correctness-based rewards.
• The model may produce a valid channel structure while answering incorrectly.
• Repetitive output may still occur, especially for long generations.
• The model may fail to transition to the expected final channel.
• Imabari-dialect expressions may be unnatural, inconsistent, or mixed with standard Japanese.
• Standard channels may still produce dialect expressions.
• Imabari channels may still produce standard Japanese.
• reasoning_effort="high" can produce long outputs and may increase the risk of reaching the generation limit.
• The maximum completion length of 8,192 tokens was a training setting, not a recommendation for every inference request.
• The custom template is simplified for QA and does not reproduce all features of the official LLM-jp-4 template.
• The custom template inherited from v4 may contain a fixed current-date string rather than the actual inference date.
• No systematic safety evaluation or external benchmark evaluation is reported.
• This GRPO training run did not demonstrate a clear overall improvement over v4.
• The intended reduction in repetitive output was not achieved consistently.
• Some prompts or conditions may produce output quality that is comparable to or worse than v4.
• Reward improvements, if observed, should not be interpreted as improvements in overall model quality.
• This model is experimental and is not presented as a recommended replacement for v4.

Users should set a suitable max_new_tokens value and stop generation if repetition is observed.

Japanese Description / 日本語説明

[!WARNING] 実験的なモデルです: 今回のGRPO学習結果は芳しいものではなく、v4に対する総合的で明確な改善は確認できませんでした。本モデルはv4の代替として推奨するものではありません。

概要

本モデルは、SFT済みの以下のモデルに対して、追加でGRPO学習を行ったマージ済みモデルです。

• 直接のベースモデル: ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_v4
• 上流のベースモデル: llm-jp/llm-jp-4-8b-thinking

直接のベースモデルであるv4は、今治弁と標準語の思考文・回答を含むQAデータでSFTされています。

v5では、次の点を目的としてGRPO学習を追加しました。

1. 思考チャネルから回答チャネルへ移行する出力形式の改善
2. 同じ文字列や文章が繰り返される出力の抑制
3. 標準語と今治弁の各チャネルへの対応維持
4. low・medium・high のreasoning effort条件への対応維持

今回のGRPO報酬は、回答の正しさ、質問との関連性、今治弁の自然さを評価していません。出力形式と反復の少なさだけを評価しています。

v4からの変更点と学習結果

v4では、reasoning_effort="medium" や "high" のときに、同一の文章や語句が繰り返し生成される場合がありました。 v5では、次のような出力に対して報酬またはペナルティを与えるGRPO学習を実施しています。

• 正しい思考チャネルから回答チャネルへ移行した場合に加点
• 回答が <|return|> で終了した場合に加点
• チャネル遷移が不正な場合に減点
• 思考文または回答が空の場合に減点
• 文字列や短い語句が繰り返される場合に減点
• 上限まで生成された候補も除外せず学習対象に含める

学習結果

現在評価中です。 今回のGRPO学習の結果は、芳しいものではありませんでした。v4と比較して総合的に明確な改善は確認できず、主な目的であった反復出力の抑制についても、一貫した改善には至っていません。プロンプトや生成条件によっては、反復、チャネル遷移の失敗、過度に長い出力、回答品質の低下などが引き続き発生する可能性があります。 今回使用した報酬は、出力形式と反復の少なさだけを評価しています。回答の事実性、質問との関連性、推論品質、今治弁の自然さなどは評価していません。そのため、限定的な報酬の最適化によって総合的な回答品質が改善しない、または報酬に含まれない能力へ悪影響が生じる可能性があります。 本モデルは、v4からの改善を確認済みのモデルや、v4の代替として推奨するモデルではなく、実験的な学習結果として位置付けています。利用にあたっては、用途ごとにv4とv5の出力を比較したうえでモデルを選択してください。 本カードには、v4に対する改善を裏付ける数値評価結果を掲載していません。

このリポジトリに含まれるもの

このリポジトリには、LoRAアダプタだけではなく、ベースモデルにLoRAをマージしたモデル本体が含まれています。

推論時にv4モデルを別途読み込む必要はありません。

• モデル形式: Causal Language Model
• 学習方法: LoRAを用いたGRPO学習後にマージ
• 保存形式: Safetensors
• 学習・マージ時の精度: BF16
• Tokenizer: v4モデルの独自チャットテンプレートを継承
• 直接のベースモデル: ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_v4
• 上流ベースモデルのライセンス: Apache License 2.0

GRPO学習データ

GRPO学習には、次のデータセットを使用しています。

• ikedachin/imabari_wiki_rl_v3

学習コードでは question 列だけを使用しています。選択肢、正解、既存の messages などは使用していません。 各split内では、次の処理を行った質問文字列をキーとして重複を除去しています。

1. Unicode NFKC正規化
2. 空白文字の除去

また、validation側と同じ質問がtrain側に存在する場合は、train側から除外しています。

学習時の出力条件

学習時には、候補グループごとに以下の6条件から1つを一様ランダムに選択しています。

同じ質問に対して生成する4候補には、同じ文体とreasoning effortを設定します。 条件はデータセット作成時に固定せず、学習中に候補を生成する直前に選択します。そのため、同じ質問が別の学習機会に使われた場合は、異なる条件が選ばれる可能性があります。 評価時はランダムに選ばず、各質問に6条件をすべて設定します。

使用件数の上限

重複除去、学習・評価間の重複除去、プロンプト長による除外があるため、実際の件数は上限より少ない場合があります。

報酬関数

出力形式

生成は analysis または analysis_imabari の途中から開始します。

期待されるチャネル遷移は次のとおりです。

有効な出力と判定されるには、次の条件を満たす必要があります。

• 思考文が空ではない
• 指定された回答チャネルへ移行する
• 最終回答が空ではない
• 出力が <|return|> で終了する
• 思考文や回答本文の中に予期しない特殊トークンが含まれない

有効な形式には +1、無効な形式には -1 の基本報酬を与えます。

反復ペナルティ

思考文と最終回答を別々に採点し、大きい方の反復スコアを使用します。思考内容を最終回答で要約したことによる重複は、直接のペナルティ対象にしません。

次の反復を検出します。

• 8文字列の反復
• 16文字列の反復
• 32文字列の反復
• 1～64文字の短い文字列が連続して4回以上現れる反復

最終報酬は次の式で計算します。

$$ \text{報酬} = \text{形式報酬} - 3 \times \text{反復スコア} $$

報酬の範囲は、おおむね -4 から +1 です。

評価していない内容

今回の報酬関数は、次の項目を直接評価していません。

• 回答の事実性
• 質問との関連性
• 回答の十分性
• 思考内容の品質
• 今治弁の自然さ
• 標準語と今治弁の切り替え精度
• 安全性

そのため、形式が正しく反復が少ないだけで、誤った回答に高い報酬が与えられる可能性があります。

学習設定

提示された設定では、エポック数と最大ステップ数は明示的に上書きされていません。そのため、実際の値は使用したTRLおよびTransformersのデフォルト設定に依存します。

LoRA設定

評価

学習前と学習後に、前述の報酬関数を用いた評価を実施する構成です。

最終評価では、最大8問のvalidation質問に対して6条件をすべて適用し、各プロンプトから4候補を生成します。

途中評価では、最大4問に6条件を適用します。

本カードには具体的な評価値を掲載していません。そのため、次の項目について定量的な改善を示すものではありません。

• 事実性
• 回答品質
• 今治弁の自然さ
• 文体切り替え精度
• 推論品質
• 外部評価セットでの反復率

総合評価

実際の学習結果は芳しいものではなく、v4に対する総合的な優位性は確認できませんでした。学習コードで実施する学習前後の評価には、学習時と同じ限定的な報酬関数を使用しています。この評価値は、モデル全体の品質を総合的に測定するものではありません。 特に、報酬値が改善した場合でも、事実性、関連性、推論品質、方言の自然さ、実用性が改善したことを意味するとは限りません。本モデルは、GRPO学習の試行結果について、実験、再現、および分析を行うことを主な目的として公開しています。

注意事項

• 生成内容には事実誤認が含まれる可能性があります。
• GRPO学習では回答の正しさを報酬に含めていません。
• 正しい形式であっても、内容が誤っている可能性があります。
• 長い生成では、引き続き反復が発生する場合があります。
• 指定された回答チャネルへの遷移に失敗する場合があります。
• 今治弁に不自然な表現や標準語との混在が生じる場合があります。
• 標準チャネルを指定しても今治弁が生成される場合があります。
• 今治弁チャネルを指定しても標準語が生成される場合があります。
• reasoning_effort="high" は生成が長くなり、最大トークン数に達する可能性があります。
• 学習時の最大生成長8,192トークンは、すべての推論で推奨される値ではありません。
• 独自チャットテンプレートはQA向けに簡略化されており、LLM-jp-4公式テンプレートの全機能を再現するものではありません。
• v4から継承したチャットテンプレートの日付が固定値の場合、推論時の日付には自動更新されません。
• 体系的な安全性評価および外部ベンチマーク評価は実施していません。 今回のGRPO学習では、v4に対する総合的で明確な改善を確認できませんでした。
• 目的としていた反復出力の抑制は、一貫して達成できていません。
• プロンプトや生成条件によっては、v4と同程度またはv4より低い品質の出力になる可能性があります。
• 報酬値の改善が確認された場合でも、モデルの総合的な品質が改善したとは限りません。
• 本モデルは実験的な学習結果であり、v4の後継または代替として推奨するものではありません。

License

This repository provides a GRPO-trained and merged model based on:

• ikedachin/llm-jp-4-8b-thinking_imabari_qa_v4_reasoning_effort_v4
• llm-jp/llm-jp-4-8b-thinking

Base model

The upstream llm-jp/llm-jp-4-8b-thinking model is provided by llm-jp under the Apache License 2.0.

SFT training-data notice

The immediate v4 base model was trained using datasets provided by ikedachin under CC BY-SA 4.0:

• Imabari dialect: ikedachin/imabari_wiki_qa_v4_reasoning_effort_llmjp4
• Standard Japanese: ikedachin/std_lang_wiki_qa_v4_validated_w_reasoning_effort_llmjp4

GRPO training-data notice

Additional GRPO training used questions from:

• ikedachin/imabari_wiki_rl_v3

The training script uses only the question text from this dataset. Refer to its dataset card for source attribution, modification history, and applicable terms.

Practical interpretation

For transparency, this model card uses license: other and describes the applicable components separately.

Users should review:

• the Apache-2.0 terms applicable to the upstream base model;
• the terms of the immediate v4 model;
• the attribution and ShareAlike obligations associated with the SFT datasets;
• the terms and source notices associated with the GRPO dataset.

Creative Commons' guidance on AI training distinguishes a conservative approach to ShareAlike compliance from the legal question of whether copyright permission is required. Applicable obligations can depend on the use, distribution, and jurisdiction.

The dataset licenses are not presented here as a definitive legal determination of the license governing the resulting model weights.

Redistribution notice

If you redistribute this model, merge it into another model, publish derivatives, continue training, or use it commercially, review the applicable obligations of the upstream base model, the immediate base model, and all training datasets.

再配布、追加学習、別モデルへのマージ、派生モデルの公開、商用利用を行う場合は、上流ベースモデル、直接のベースモデル、および各学習データセットの条件を確認してください。必要に応じて、著作権表示、ライセンス表示、変更表示、出典表示を行ってください。

This section is provided for transparency and is not legal advice.
この記載は法的助言ではなく、公開時の透明性を高めるための説明です。