Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
grimulkan/Xwin-longLORA-70b-rope8-32k-fp16 — объединённая модель на архитектуре Llama, созданная из Xwin-LM-70B-V0.1 и LongAlpaca-70B-LoRA. Автор сообщает, что дополнительных этапов дообучения не проводилось: при объединении заменены слои эмбеддингов и нормализации по описанию LongLoRA, а также удалены лишняя строка словаря и токен заполнения, чтобы словари совпадали. Модель предназначена для генерации текста с возможностью экспериментировать с длинным контекстом: в карточке предложено проверить масштабирование RoPE в 8 раз для контекста 32K токенов.
Метаданные указывают 68,7 млрд параметров и нативный контекст 4096 токенов; поддерживаемая языковая модель и отдельные языки не заявлены. Автор отмечает, что работоспособность результата не подтверждена. Лицензия — Llama 2.
Сценарии применения
генерация текста на основе пользовательского запроса
экспериментальная генерация с контекстом до 32 тысяч токенов при масштабировании RoPE
проверка качества объединения Xwin-LM и LongAlpaca-LoRA
создание производных объединённых моделей на основе LongLoRA
Ограничения
Автор не подтверждает работоспособность объединения и предлагает экспериментально проверить сохранение исходных возможностей и поддержку контекста 32K с масштабированием RoPE 8. Нативный контекст в метаданных указан как 4096 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is a merge of LongAlpaca-70B-lora into Xwin-LM's Xwin-LM-70B-V0.1, replacing the embed and norm layers as described in the LongLoRA repo, and removing the extra row and pad token so that the vocabularies match.
There is no additional fine-tuning. The resulting model seems to not be broken... you can test whether it is truly the original model + 32K capability (use linear rope scaling 8).
You could also try merging this with other models of longLORA descendency (like Aurelian).