Экспериментальная плотная языковая модель Block-MTP на 92 млн параметров для генерации текста блоками по три токена в контексте до 1 024 токенов.
Подходит для: эксперименты с генерацией текста блоками токенов · исследование обучения языковых моделей с блочной функцией потерь · сравнение блочной авторегрессионной генерации с обычной генерацией по одному токену