Экспериментальный чекпойнт Gemma на 2,5 млрд параметров с рекуррентным локальным вниманием, созданный для генерации текста с заявленной поддержкой контекста до 10 млн токенов.

Подходит для: эксперименты с генерацией текста на длинном контексте · исследование рекуррентного локального внимания · прототипирование обработки очень длинных последовательностей