Компактная языковая модель Mistral на 137,8 млн параметров, обученная с нуля на RedPajama и предназначенная для генерации текста и служащая базой для PDS-160M.
Подходит для: генерация английского текста · эксперименты с предобучением языковых моделей с нуля · сравнение методов отбора обучающих данных