Плотная авторегрессионная модель семейства Llama на 666,8 млн параметров, обученная на Falcon Refined Web для генерации текста и экспериментов с предварительным обучением.

Подходит для: генерация продолжения веб-текста · эксперименты с предварительным обучением языковых моделей · оценка loss на фрагментах Falcon Refined Web