Экспериментальный пакет на базе Qwen3-1.7B для обучения и сравнения двух вариантов разреженного внимания в задачах длинного контекста.

Подходит для: воспроизведение эксперимента по разреженному вниманию · сравнение маршрутизации внимания по токенам и KV-головам · оценка качества и разреженности на задачах длинного контекста