Небольшой предобученный исследовательский чекпойнт Mini-K3 для экспериментов с заменой части последовательностных блоков на Mamba-2/SSD.
Подходит для: исследование влияния Mamba-2 на генерацию текста · сравнение микшеров последовательностей в архитектуре Mini-K3 · эксперименты с языковыми моделями MoE малого размера