Контрольный чекпойнт плотной рекуррентной языковой модели LoopedLM для генерации текста и исследований архитектуры H/L.
Подходит для: генерация текста с рекуррентной языковой моделью · исследование архитектуры LoopedLM с разделением H/L · оценка чекпойнта на этапе обучения до 500 млрд токенов