mT5-small fine-tuned для суммаризации казахского текста
Описание
Модель mT5-small дообученная на задачу монолингвальной суммаризации казахского текста (kk→kk). Обучена на корпусе из 257 470 казахских статей из трёх источников: Wikipedia, Tengrinews.kz, Turkestan.kz.
Результаты
| Метрика | Значение |
|---|---|
| ROUGE-1 | 0.778 |
| ROUGE-2 | 0.670 |
| ROUGE-L | 0.778 |
Тест-сет: 2 000 пар · Прирост ROUGE-1 в 58 раз по сравнению с zero-shot (0.013 → 0.778)
Использование
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("v-25/mt5-kaz-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("v-25/mt5-kaz-summarization")
text = "Қазақстанда... (казахская статья)"
inputs = tokenizer(
"summarize: " + text,
return_tensors="pt",
max_length=512,
truncation=True
)
output = model.generate(**inputs, max_new_tokens=84, num_beams=4)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Корпус
| Источник | Статей |
|---|---|
| Wikipedia (kk) | 164 007 |
| Tengrinews.kz | 50 858 |
| Turkestan.kz | 42 605 |
| Итого | 257 470 |
Параметры обучения
| Параметр | Значение |
|---|---|
| Базовая модель | google/mt5-small |
| Параметры | 300М |
| Learning rate | 5e-4 |
| Batch size | 8 |
| Epochs | 3 |
| Max input tokens | 512 |
| Max target tokens | 84 |
| GPU | NVIDIA RTX PRO 6000 Blackwell |
Live Demo
huggingface.co/spaces/v-25/kazakh-summarization-demo
Ссылки
- GitHub: Akn-bb/kazakh-summarization
- Модель mBART kk→ru: v-25/mbart-kaz-ru
- Модель mBART ru→kk: v-25/mbart-ru-kaz
Цитирование
@mastersthesis{kazakh-summarization-2026,
title={Исследование задачи суммаризации для казахского языка},
year={2026}
}