Небольшая англоязычная базовая Llama-модель, обученная с нуля на FineWeb-Edu для экспериментов и изучения обучения языковых моделей.

Подходит для: изучение предобучения языковых моделей с ограниченным бюджетом · сравнение качества небольших языковых моделей при разных объёмах обучения · воспроизведение экспериментов на FineWeb-Edu