Model Description
This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
- Developed by: Umar Igan
- Model type: LLama-2-7B-chat
- Language(s) (NLP): Turkish
- Finetuned from model: Trendyol-LLM-7b-chat-v0.1
How to Get Started with the Model
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("text-generation", model="umarigan/Trendyol-LLM-7b-chat-v0.1-DPO")
# Generate text
sequences = pipe(
"büyük dil modellerinin finans alanındaki kullanımları nelerdir",
do_sample=True,
temperature=0.7,
top_p=0.9,
num_return_sequences=1,
max_length=200,
)
print(sequences[0]['generated_text'])
Question: büyük dil modellerinin finans alanındaki kullanımları nelerdir?
Answer: Çok büyük dil modelleri, özellikle de Transformer gibi, karmaşık dil görevlerinin üstesinden gelmek için tasarlanmışlardır. Bu, finansal piyasalardaki veri işleme, fiyat tahmini ve analizleri, finansal haberler ve raporlama gibi süreçleri içerir. Ayrıca, büyük dil modelleri, doğal dil işleme, metin sınıflandırma ve soru cevaplama gibi görevlerin yanı sıra, müşteri hizmetleri gibi insan etkileşimi gerektiren finansal hizmetlerde de kullanılmaktadır.
Training Details
Training Data
This model trained on falcon instruction dataset that translated to Turkis language Dataset: https://huggingface.co/datasets/umarigan/falcon_feedback_instraction_Turkish
Training Hyperparameters
Some training arguments are as follow:
max_prompt_length=1024,
max_length=1536,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
gradient_checkpointing=True,
learning_rate=5e-5,
lr_scheduler_type="cosine",
max_steps=200,
save_strategy="no",
logging_steps=1,
output_dir=new_model,
optim="paged_adamw_32bit",
warmup_steps=100,
fp16=True,
wandb results: https://api.wandb.ai/links/umar-i-gan/0hnrvrdq