Исследовательская дистиллированная языковая модель Arcee.ai с KDA во всех слоях для изучения линейного внимания и генерации текста.
Подходит для: сравнение линейного внимания KDA с полным вниманием · исследование дистилляции внимания в языковых моделях · генерация текста на длинных последовательностях