Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
grimulkan/llama2_70b_longlora_fp16_32k_ROPE8 — базовая языковая модель на архитектуре Llama 2, созданная слиянием LongAlpaca-70B-lora с Llama-2-70b и заменой слоёв эмбеддингов и нормализации по подходу LongLoRA. Веса представлены в формате safetensors, размер модели — 68,7 млрд параметров. Модель рассчитана на генерацию текста и работу с контекстом до 32 тысяч токенов с линейным масштабированием RoPE ×8.
Модель не прошла инструкционное дообучение: она предназначена как основа для дальнейшего fine-tuning, а не как готовый чат-ассистент. В этой версии удалён дополнительный токен заполнения токенизатора, а соответствующие веса объединены с базовой моделью. Использование регулируется лицензией Llama 2.
Сценарии применения
дальнейшее дообучение большой языковой модели
генерация продолжений длинных текстов
эксперименты с обработкой длинного контекста
адаптация базовой модели под пользовательские инструкции
Ограничения
Модель не является instruct-моделью и не предназначена для использования как готовый чат-ассистент без дополнительного дообучения. Для контекста до 32 тысяч токенов требуется масштабирование RoPE ×8; в метаданных native context указан как 4096 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is the same as Yukang's Llama-2-70b-longlora-32k, except that the extra pad token has been stripped from the tokenizer to make it similar to the base Llama model (and it has been merged into the base model). Please refer to that page for more details.
It was created by merging LongAlpaca-70B-lora into Llama-2-70b, replacing the embed and norm layers as described in the LongLoRA repo, and removing the extra row and pad token.
This is not an instruct-tuned model, but a base model for further fine-tuning. It supports 32K of context with linear rope scaling of 8.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров