Англоязычная базовая языковая модель IBM на 2,1 млрд параметров для генерации текста и экспериментов с гибридным скользящим вниманием и attention sinks.
Подходит для: генерация продолжений текста на английском языке · эксперименты с архитектурой скользящего внимания и attention sinks · оценка языковой модели на задачах общего назначения