Not: Bu modelin dokümantasyonu Türk yapay zeka topluluğuna katkı sağlamak amacıyla VeriPazarı tarafından Türkçeye çevrilmiştir. Orijinal model ytu-ce-cosmos tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.
🔗 Orijinal Kaynak: ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1 🔗 Derleyen Platform: VeriPazarı
Cosmos Turkish LLaMa 3 (8B) Instruct
Bu model, "meta-llama/Meta-Llama-3-8B-Instruct" modelinin 30GB boyutunda bir Türkçe veri seti ile tamamen fine-tune edilmiş versiyonudur.
Cosmos LLaMa Instruct, text-generation (metin üretimi) görevleri için tasarlanmış olup, verilen bir metin parçasını tutarlı ve bağlamsal olarak uygun bir şekilde devam ettirme yeteneği sunar. Eğitim verisinin web siteleri, kitaplar ve diğer metin kaynaklarını içeren çeşitli yapısı nedeniyle, bu model bazı önyargılar (bias) barındırabilir. Kullanıcıların bu önyargıların farkında olması ve modeli sorumlu bir şekilde kullanması önerilir.
Kullanım Örnekleri
Transformers pipeline ile Kullanım
import transformers
import torch
model_id = "ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "system", "content": "Sen bir yapay zeka asistanısın. Kullanıcı sana bir görev verecek. Amacın görevi olabildiğince sadık bir şekilde tamamlamak. Görevi yerine getirirken adım adım düşün ve adımlarını gerekçelendir."},
{"role": "user", "content": "Soru: Bir arabanın deposu 60 litre benzin alabiliyor. Araba her 100 kilometrede 8 litre benzin tüketiyor. Depo tamamen doluyken araba kaç kilometre yol alabilir?"},
]
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
messages,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][-1])
Transformers AutoModelForCausalLM ile Kullanım
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
messages = [
{"role": "system", "content": "Sen bir yapay zeka asistanısın. Kullanıcı sana bir görev verecek. Amacın görevi olabildiğince sadık bir şekilde tamamlamak. Görevi yerine getirirken adım adım düşün ve adımlarını gerekçelendir."},
{"role": "user", "content": "Soru: Bir arabanın deposu 60 litre benzin alabiliyor. Araba her 100 kilometrede 8 litre benzin tüketiyor. Depo tamamen doluyken araba kaç kilometre yol alabilir?"},
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = model.generate(
input_ids,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))
Teşekkürler / Destekler
- Hugging Face ekibine, modellerin S3 depolarından indirilmesini sağlayan cömert destekleri için teşekkürler 🤗
- Bu çalışmada kullanılan hesaplama kaynakları, 1016912023 ve 1018512024 numaralı hibe kapsamında Türkiye Ulusal Yüksek Başarım Hesaplama Merkezi (UHeM) tarafından sağlanmıştır.
- Araştırma, Google'ın TPU Araştırma Bulutu (TRC) tarafından sağlanan Cloud TPU'lar ile desteklenmiştir.
İletişim
COSMOS AI Research Group, Yıldız Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü https://cosmos.yildiz.edu.tr/ cosmos@yildiz.edu.tr
Atıf
@inproceedings{kesgin2024optimizing,
title={Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training},
author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and {\.I}nce, Elif and Erdem, Yusuf and Shbib, Osama and Zeer, Ahmed and Amasyali, M Fatih},
booktitle={2024 Innovations in Intelligent Systems and Applications Conference (ASYU)},
pages={1--6},
year={2024},
organization={IEEE}
}
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı kuralımız gereği lisans ve model isimleri korunmuştur.