Hummingbird 0.0 — экспериментальная языковая модель на 1,2 млрд параметров для генерации текста и изучения Efficient Attention.

Подходит для: эксперименты с Efficient Attention в языковых моделях · генерация продолжения текста · изучение поведения компактных авторегрессионных моделей