Experimenting with pre-training Arabic language + finetuning on instructions using the quantized model mistralai/Mistral-7B-v0.3 from unsloth. First time trying pre-training, expect issues and low quality outputs. The repo contains the merged, quantized model and a GGUF format.
See spaces demo example.
Example usage
llama-cpp-python
from llama_cpp import Llama
inference_prompt = """فيما يلي تعليمات تصف مهمة. اكتب استجابة تكمل الطلب بشكل مناسب.
### تعليمات:
{}
### إجابة:
"""
llm = Llama.from_pretrained(
repo_id="nazimali/mistral-7b-v0.3-instruct-arabic",
filename="Q4_K_M.gguf",
)
llm.create_chat_completion(
messages = [
{
"role": "user",
"content": inference_prompt.format("السلام عليكم كيف حالك؟")
}
]
)
llama.cpp
./llama-cli \
--hf-repo "nazimali/mistral-7b-v0.3-instruct-arabic" \
--hf-file Q4_K_M.gguf \
-p "السلام عليكم كيف حالك؟" \
--conversation
Training
Pre-training data:
wikimedia/wikipedia20231101.ar- Used 6,096 rows, 0.05% of the total data
Finetuning data:
FreedomIntelligence/alpaca-gpt4-arabic- Used 49,969 rows, 100% of all the data
Finetuning instruction format:
finetune_prompt = """فيما يلي تعليمات تصف مهمة. اكتب استجابة تكمل الطلب بشكل مناسب.
### تعليمات:
{}
### إجابة:
"""