Til-2B
Көптілді base-модель · Многоязычная базовая модель · Multilingual base model
Қазақша
Til-2B — қазақ, орыс, ағылшын тілдерін, код пен математиканы қамтитын 1977.1M параметрлі base-модель. Репозиторий көлемі — 7.92 ГБ. Модель Til-Corpus корпусында нөлден оқытылған және мәтінді жалғастырады.
Құрылымы мен бағалауы
| Сипаттама | Мәні |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, dense decoder және MLA |
| Жасырын қабат / қабат саны | 2048 / 30 |
| Attention heads | 16 |
| Контекст | 4096 токен |
| Сөздік | 131 072 токен |
Оқыту корпусы 47.0B токеннен тұрады: ағылшын — 11.9B, код — 9.9B, қазақ — 9.7B, математика — 9.0B, орыс — 6.6B. Macro BPB — 0.6064; қазақ тіліндегі BPB — 0.4521. Base-модель чат нұсқауларын орындауға бейімделмеген.
Іске қосу
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo, dtype=torch.bfloat16, device_map="auto"
)
inputs = tokenizer("Абай Құнанбайұлы —", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=80)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Қолжетімділік
Карточка мен файлдар тізімі ашық. Жүктеу үшін «Request access» арқылы өтінім жіберіледі, шешімді TilQazyna командасы қабылдайды.
Байланысты репозиторийлер
Instruction нұсқасы — Til-2B-instruct, қате түзету нұсқасы — Til-2B-GEC.
Русский
Til-2B — базовая модель на 1977.1M параметров для казахского, русского, английского, кода и математики. Объём репозитория — 7.92 ГБ. Модель обучена с нуля на Til-Corpus и продолжает текст.
Устройство и оценка
| Характеристика | Значение |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, dense decoder и MLA |
| Скрытый слой / слои | 2048 / 30 |
| Attention heads | 16 |
| Контекст | 4096 токенов |
| Словарь | 131 072 токена |
Корпус содержит 47.0B токенов: английский — 11.9B, код — 9.9B, казахский — 9.7B, математика — 9.0B, русский — 6.6B. Macro BPB — 0.6064, BPB для казахского — 0.4521. Базовая модель не настроена на диалоговые инструкции.
Как запустить
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo, dtype=torch.bfloat16, device_map="auto"
)
inputs = tokenizer("Абай Құнанбайұлы —", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=80)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Доступ
Карточка и список файлов открыты. Для скачивания нужна одобренная заявка через «Request access»; её рассматривает команда TilQazyna.
Связанные репозитории
Версия для инструкций — Til-2B-instruct, версия для исправления ошибок — Til-2B-GEC.
English
Til-2B is a 1977.1M-parameter base model covering Kazakh, Russian, English, code, and mathematics. The repository occupies 7.92 GB. It was trained from scratch on Til-Corpus and generates text continuations.
Architecture and evaluation
| Characteristic | Value |
|---|---|
| Architecture | DeepseekV3ForCausalLM, dense decoder with MLA |
| Hidden size / layers | 2048 / 30 |
| Attention heads | 16 |
| Context | 4096 tokens |
| Vocabulary | 131,072 tokens |
The corpus contains 47.0B tokens: English contributes 11.9B, code 9.9B, Kazakh 9.7B, mathematics 9.0B, and Russian 6.6B. Macro BPB is 0.6064, while Kazakh BPB is 0.4521. This base checkpoint is not tuned for chat instructions.
Usage
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo, dtype=torch.bfloat16, device_map="auto"
)
inputs = tokenizer("Абай Құнанбайұлы —", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=80)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Access
The card and file list are publicly visible. Downloads require approval of a request submitted through “Request access”; the TilQazyna team reviews applications.
Related repositories
The instruction-tuned version is Til-2B-instruct, and the correction model is Til-2B-GEC.
Лицензия · License: apache-2.0 · TilQazyna