Til-2B-GEC
Қазақ мәтініндегі қатені түзету · Исправление ошибок в казахском тексте · Kazakh grammatical error correction
Қазақша
Til-2B-GEC — қазақ мәтініндегі грамматикалық, орфографиялық және пунктуациялық қателерді түзететін 1977M параметрлі модель. Репозиторий көлемі — 3.97 ГБ. Ол Til-2B негізінде Til-GEC деректерімен fine-tune жасалған.
Құрылымы мен міндеті
| Сипаттама | Мәні |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Қабат саны | 30 |
| Контекст | 4096 токен |
| Формат | ChatML |
| Оқыту деректері | шамамен 316K қазақша GEC жұбы |
Модель септік, жіктік, тәуелдік, көптік, шақ, болымсыздық, сөз тәртібі және емле қателері бар қысқа мәтіндерге арналған. Кейде сөйлемді аздап қайта құруы мүмкін.
Іске қосу
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-GEC"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"
prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Қолжетімділік
Карточка мен файлдар тізімі ашық. Жүктеу үшін «Request access» өтінімін TilQazyna командасы қарайды.
Байланысты репозиторийлер
Base-модель — Til-2B, оқыту деректері — Til-GEC.
Русский
Til-2B-GEC — модель на 1977M параметров для исправления грамматических, орфографических и пунктуационных ошибок в казахском тексте. Объём репозитория — 3.97 ГБ. Это fine-tune Til-2B на Til-GEC.
Устройство и задача
| Характеристика | Значение |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Слоёв | 30 |
| Контекст | 4096 токенов |
| Формат | ChatML |
| Данные обучения | около 316K казахских GEC-пар |
Модель работает с падежами, личными и притяжательными окончаниями, числом, временем, отрицанием, порядком слов и орфографией в коротких текстах. Иногда она слегка перефразирует исходную фразу.
Как запустить
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-GEC"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"
prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Доступ
Карточка и файлы перечислены публично. Скачивание открывается после рассмотрения командой TilQazyna заявки через «Request access».
Связанные репозитории
Базовая модель — Til-2B, данные обучения — Til-GEC.
English
Til-2B-GEC is a 1977M-parameter model for correcting grammatical, spelling, and punctuation errors in Kazakh text. The repository occupies 3.97 GB. It fine-tunes Til-2B on Til-GEC.
Architecture and task
| Characteristic | Value |
|---|---|
| Architecture | DeepseekV3ForCausalLM, MLA |
| Layers | 30 |
| Context | 4096 tokens |
| Format | ChatML |
| Training data | about 316K Kazakh GEC pairs |
The model covers case, personal and possessive endings, number, tense, negation, word order, and spelling in short texts. It may occasionally rephrase the input instead of making a minimal edit.
Usage
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "TilQazyna/Til-2B-GEC"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"
prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Access
The card and file list are public. Downloads require approval of a request submitted through “Request access” and reviewed by the TilQazyna team.
Related repositories
The base checkpoint is Til-2B, and the training dataset is Til-GEC.
Лицензия · License: apache-2.0 · TilQazyna