Компактная англоязычная базовая Llama-модель на 12,3 млн параметров для исследований обучения трансформеров, токенизации и спекулятивного декодирования.

Подходит для: изучение динамики обучения малых трансформеров · сравнение эффективности словарей токенизации разного размера · эксперименты со спекулятивным декодированием

Компактная англоязычная базовая модель семейства Llama для продолжения текста и экспериментов с дообучением и эффективным инференсом.

Подходит для: продолжение англоязычного текста · эксперименты с компактными языковыми моделями · создание специализированной модели через дообучение

Объединённая чат-модель Llama на 15,2 млрд параметров для диалогов и генерации текста с контекстом до 4096 токенов.

Подходит для: ведение текстовых диалогов · генерация связного текста · ответы на инструкции в чате

Экспериментальная чат-модель Gemma 2 на 9 млрд параметров, дообученная методом ORPO для генерации менее шаблонных ответов.

Подходит для: Эксперименты с генерацией менее шаблонных ответов · Проверка влияния ORPO на поведение чат-модели · Создание диалоговых текстовых ответов