llama-kaz-instruct-8B-1
Қазақша нұсқауларға бейімделген Llama моделі · Llama-модель для инструкций на казахском языке · Llama model adapted to Kazakh instructions
Қазақша
llama-kaz-instruct-8B-1 — Meta-Llama-3-8B негізінде қазақ мәтінімен жалғастыра оқытылып, кейін қазақша нұсқау деректерімен fine-tune жасалған, көлемі 16.07 ГБ тілдік модель. Репозиторийде төрт бөлікке бөлінген safetensors салмақтары, tokenizer және конфигурация файлдары бар.
Құрылымы
| Параметр | Мәні |
|---|---|
| Архитектура | LlamaForCausalLM |
| Жасырын қабат өлшемі | 4096 |
| Қабат саны | 32 |
| Attention басы | 32 |
| Сөздік көлемі | 128256 |
| Контекст ұзындығы | 8192 |
| Аралық қабат өлшемі | 14336 |
Модель қазақша мәтінмен жұмыс істеуге, мәтіндік сұрақтарға жауап беруге, пунктуация мен грамматиканы түзетуге және мәтінді ықшамдауға бейімделген.
Іске қосу
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")
prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Қолжетімділік
Модель карточкасы мен файлдар тізімі ашық көрінеді. Салмақтарды жүктеу үшін «Request access» арқылы өтінім жіберіп, TilQazyna командасының мақұлдауын алу керек.
Байланысты репозиторийлер
Қазақша нұсқауларға арналған кейінгі модель ретінде Til-2B-instruct көрсетілген.
Русский
llama-kaz-instruct-8B-1 — языковая модель объёмом 16.07 ГБ на основе Meta-Llama-3-8B, дополнительно обученная на казахских текстах и затем прошедшая fine-tune на инструкциях на казахском языке. Репозиторий содержит веса safetensors в четырёх частях, tokenizer и конфигурацию.
Устройство
| Параметр | Значение |
|---|---|
| Архитектура | LlamaForCausalLM |
| Размер скрытого слоя | 4096 |
| Слоёв | 32 |
| Голов attention | 32 |
| Размер словаря | 128256 |
| Длина контекста | 8192 |
| Размер промежуточного слоя | 14336 |
Модель адаптирована к работе с казахским текстом, ответам на текстовые вопросы, исправлению пунктуации и грамматики, а также суммаризации.
Как запустить
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")
prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Доступ
Карточка модели и список файлов видны без заявки. Для скачивания весов требуется одобрение команды TilQazyna после обращения через кнопку «Request access».
Связанные репозитории
В качестве более поздней модели для казахских инструкций указан Til-2B-instruct.
English
llama-kaz-instruct-8B-1 is a 16.07 GB language model based on Meta-Llama-3-8B, continued-pretrained on Kazakh text and subsequently fine-tuned on Kazakh instruction data. The repository contains four safetensors weight shards together with tokenizer and configuration files.
Architecture
| Property | Value |
|---|---|
| Architecture | LlamaForCausalLM |
| Hidden size | 4096 |
| Hidden layers | 32 |
| Attention heads | 32 |
| Vocabulary size | 128256 |
| Context length | 8192 |
| Intermediate size | 14336 |
The model is adapted for Kazakh text processing, text-based question answering, punctuation and grammar correction, and summarization.
Loading and inference
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/llama-kaz-instruct-8B-1"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, device_map="auto")
prompt = "Тапсырма: Келесі мәтіндегі пунктуацияларды және грамматикалық қателерді дұрыста.\n\nМәтін: Жаналыктар леби осиндай\n\nЖауабы:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Access
The model card and file listing can be viewed without applying. Downloading the weights requires approval from the TilQazyna team after submitting an application with the “Request access” button.
Related repositories
Til-2B-instruct is listed as a later model for Kazakh-language instruction following.
Лицензия · License: apache-2.0 · TilQazyna