Исследовательский вариант Llama 3.2 1B с обучаемыми sink-слотами внимания для генерации текста и изучения устойчивости архитектуры.
Подходит для: эксперименты с sink-слотами в механизме внимания · сравнение базовых вариантов attention sinks · анализ выбросов активаций в языковых моделях