L3-Aethora-15B-V2

L3-Aethora-15B v2 — языковая модель для генерации текста на базе архитектуры Llama 3, созданная ZeusLabs, Steelskull и Elinas. Она дообучена методом LoRA на наборе Aether-Lite-V1.8.1, содержащем около 125 тысяч англоязычных примеров инструкций и диалогов. В репозитории указаны 14,5 млрд параметров, контекст до 8192 токенов и формат Safetensors; модель поддерживает диалоговый режим.

Модель предназначена для творческого письма, создания историй и стихов, ответов на вопросы, объяснения научных и медицинских тем, подготовки учебных материалов и решения задач по инструкциям. Карточка заявляет, что она лучше всего подходит для творческого письма и поддерживает разные стили и жанры. Эти возможности описаны авторами, но сами по себе не подтверждают точность ответов, особенно в медицинских и научных вопросах.

Обучение проведено в BF16 на четырёх A100 в течение 17,5 часа, на протяжении четырёх эпох с длиной последовательности 8192 токена. Для модели указана лицензия CC BY-SA 4.0; при использовании и распространении следует соблюдать её условия.