LLaMA-3-8B-GRPO-Finance-Math-TR
Metin/LLaMA-3-8B-GRPO-Finance-Math-TR is a RL trained version of ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1. It is trained on finance math questions using GRPO method.
Training Info
-
Base Model: Turkish-Llama-8b-DPO-v0.1
-
Training Data: 442 open-ended finance math word problems. No proprietary data was included.
-
Training Time: 6 hours on a single L40S
-
LoRA Configs:
- lora_r: 32
- lora_alpha: 32
- lora_dropout: 0.05
- lora_target_linear: true
The goal was to train a model that can reason before generating the answer. It uses the below template:
<matematik>
...
</matematik>
<cevap>
</cevap>
It should be noted that the model will still generate incorrect or nonsensical outputs, so please verify the outputs before using them.
Output Examples:
Question:
Ezgi, biriktirdiği 7.000 lira ile üç yıllık mevduat hesabı açtırmıştır. Faiz oranı %10 ise süre sonunda Ezgi’nin birikimi kaç liraya ulaşır?
Output:
<matematik>
Ezgi'nin başlangıçta 7.000 lira ile 3 yıl boyunca %10 faiz oranıyla biriktirdiği parayı hesaplamak için, ilk olarak faiz oranını ondalık olarak 0,10 olarak yazalım. Daha sonra, faiz formülünü uygulayalım:
Mevcut Bakiye = Başlangıç Bakiyesi + (Başlangıç Bakiyesi * Faiz Oranı * Süre)
Bu formülü kullanarak:
Mevcut Bakiye = 7.000 + (7.000 * 0,10 * 3)
Öncelikle 7.000 ile 0,10'lık çarpımı yapalım:
7.000 * 0,10 = 700
Şimdi bu sonucu 3 ile çarpalım:
700 * 3 = 2.100
Son olarak 7.000 ile 2.100'ü ekleyelim:
7.000 + 2.100 = 9.100
</matematik>
<cevap>9.100</cevap>
Question:
6000 lira yıllık %5 bileşik faizle bankaya yatırılmıştır. 2. yılın sonunda değeri ne kadar olur?
Output:
<matematik>
1. Yıllık %5 bileşik faizle, ilk yılın sonunda 6000 lira tutarındaki paranın faizini hesaplayalım.
Faiz = Anapara × Oran × Zaman
Faiz = 6000 × 0,05 × 1 = 300 lira
Yani ilk yılın sonunda 6000 + 300 = 6300 lira olur.
2. Şimdi 2. yılın sonunda paranın değerini bulalım. 2. yılda bileşik faizle faiz hesaplanır.
İlk yılın sonunda kalan tutar = 6300 lira
İkinci yıl için faiz = 6300 × 0,05 × 1 = 315 lira
2. yılın sonunda toplam tutar = 6300 + 315 = 6615 lira
</matematik>
<cevap>6615</cevap>
How to use
- Install vLLM
pip install vllm
from vllm import LLM, SamplingParams
import json
llm = LLM(model="Metin/LLaMA-3-8B-GRPO-Finance-Math-TR")
sampling_params = SamplingParams(temperature=0.5)
SYSTEM_PROMPT = """
Aşağıdaki formatta cevap ver.
<matematik> etiketlerinin arasında soru için yaptığın akıl yürütme aşamalarına ve işlemlere yer ver.
<cevap> etiketlerinin arasında yalnızca rakam, nokta ve virgül kullanarak cevap ver.
<matematik>
...
</matematik>
<cevap>
...
</cevap>
"""
conversation = [
{
"role": "system",
"content": SYSTEM_PROMPT
}
{
"role": "user",
"content": "6000 lira yıllık %5 bileşik faizle bankaya yatırılmıştır. 2. yılın sonunda değeri ne kadar olur?"
}
]
outputs = llm.chat(
conversation,
sampling_params=sampling_params,
use_tqdm=False
)
result = json.loads(outputs[0].outputs[0].text)
print(result)
Citation
@article{Metin,
title={Metin/LLaMA-3-8B-GRPO-Finance-Math-TR},
author={Metin Usta},
year={2024},
url={https://huggingface.co/Metin/LLaMA-3-8B-GRPO-Finance-Math-TR}
}