Tokle-3M — экспериментальная сверхмалая англоязычная языковая модель для генерации текста и изучения компактных декодирующих трансформеров.
Подходит для: эксперименты с генерацией текста на очень малой языковой модели · изучение переноса статистики пар токенов в параметры трансформера · сравнение компактных языковых моделей на тестах понимания и рассуждения