Til-2B-instruct
Нұсқаулық орындайтын тілдік модель · Модель для выполнения инструкций · Instruction-tuned language model
Қазақша
Til-2B-instruct — қазақша сұрақ-жауап, мәтін жазу, қорытындылау және қайта жазуға бейімделген 1977M параметрлі модель. Репозиторий көлемі — 3.97 ГБ. Ол Til-2B негізінде Til-Instruct деректерімен fine-tune жасалған.
Құрылымы мен қолданылуы
| Сипаттама | Мәні |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Қабат саны | 30 |
| Контекст | 4096 токен |
| Формат | ChatML |
| Оқыту деректері | шамамен 345K instruction–response жұбы |
Деректердің шамамен 70% қазақ тілінде; орыс, ағылшын, код және математика тапсырмалары да бар. Модельде safety alignment және RLHF қолданылмаған, сондықтан фактілер мен сандық жауаптар тексеріледі.
Іске қосу
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "Денсаулықты сақтау үшін 3 кеңес бер."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Қолжетімділік
Карточка мен файлдар тізімі ашық. «Request access» өтінімін TilQazyna командасы мақұлдаған соң файлдар жүктеледі.
Байланысты репозиторийлер
Base-модель — Til-2B, оқыту деректері — Til-Instruct.
Русский
Til-2B-instruct — модель на 1977M параметров для вопросов и ответов, написания, суммаризации и перефразирования с приоритетом казахского языка. Объём репозитория — 3.97 ГБ. Это fine-tune Til-2B на Til-Instruct.
Устройство и применение
| Характеристика | Значение |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Слоёв | 30 |
| Контекст | 4096 токенов |
| Формат | ChatML |
| Данные обучения | около 345K пар instruction–response |
Около 70% данных — на казахском; также есть задания на русском, английском, коде и математике. Safety alignment и RLHF не применялись, поэтому факты и числовые ответы нужно проверять.
Как запустить
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "Денсаулықты сақтау үшін 3 кеңес бер."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Доступ
Карточка и файлы перечислены публично. Скачивание разрешается после рассмотрения командой TilQazyna заявки через «Request access».
Связанные репозитории
Базовая модель — Til-2B, данные обучения — Til-Instruct.
English
Til-2B-instruct is a 1977M-parameter model for Kazakh-first question answering, writing, summarization, and rewriting. The repository occupies 3.97 GB. It fine-tunes Til-2B on Til-Instruct.
Architecture and use
| Characteristic | Value |
|---|---|
| Architecture | DeepseekV3ForCausalLM, MLA |
| Layers | 30 |
| Context | 4096 tokens |
| Format | ChatML |
| Training data | about 345K instruction–response pairs |
About 70% of the data is Kazakh, alongside Russian, English, code, and mathematics tasks. The checkpoint has no safety alignment or RLHF, so factual and numerical outputs should be verified.
Usage
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "Денсаулықты сақтау үшін 3 кеңес бер."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Access
The card and file list are public. Downloads require a request through “Request access,” reviewed by the TilQazyna team.
Related repositories
The base checkpoint is Til-2B, and the training dataset is Til-Instruct.
Лицензия · License: apache-2.0 · TilQazyna