BabyKilat — компактная англоязычная MoE-модель для генерации текста и экспериментов с гибридным эффективным вниманием.

Подходит для: генерация черновиков на английском языке · эксперименты с компактными языковыми моделями · изучение архитектур MoE и гибридного внимания