Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Aetheria-longLORA-70b-rope8-32k-fp16 — объединённая модель на базе Aetheria-L2-70B с компонентами LongAlpaca-70B-lora. По README, при слиянии заменены слои эмбеддингов и нормализации, а также удалены дополнительная строка и токен заполнения, чтобы согласовать словари. Дополнительного дообучения не проводилось.
Модель предназначена для генерации текста и экспериментальной проверки возможностей длинного контекста с линейным масштабированием RoPE с коэффициентом 8. В метаданных указана архитектура LlamaForCausalLM, около 68,7 млрд параметров и нативный контекст 4096 токенов; заявка на контекст 32K в README описана как гипотеза для проверки, а не подтверждённая характеристика. Весы доступны в формате safetensors. Лицензия в метаданных не определена.
проверка линейного масштабирования RoPE с коэффициентом 8
Ограничения
Заявленная возможность работы с контекстом 32K в README не подтверждена и предлагается к проверке; метаданные указывают нативный контекст 4096 токенов. Лицензия не определена в метаданных.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a merge of LongAlpaca-70B-lora into royallb's Aetheria-L2-70B, replacing the embed and norm layers as described in the LongLoRA repo, and removing the extra row and pad token so that the vocabularies match.
There is no additional fine-tuning. The resulting model seems to not be broken... you can test whether it is truly the original model + 32K capability (use linear rope scaling 8).
You could also try merging this with other models of longLORA descendency (like Aurelian).