Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
EasyContext-1M-Llama-2-7B — базовая языковая модель на архитектуре Llama-2, дообученная автором репозитория EasyContext на контекстах длиной 512 тысяч токенов и обобщённая на контекст до 1 миллиона токенов. Модель содержит 6,6 млрд параметров и предназначена для генерации текста с расширенным контекстом; инструктивное дообучение не проводилось, поэтому она не настроена специально для диалога или выполнения пользовательских инструкций.
README описывает рецепты оптимизации памяти и обучения для работы с длинным контекстом на ограниченном оборудовании. При этом конфигурация сохраняет max_position_embeddings равным 4096 для совместимости с инициализацией маски внимания в Hugging Face Transformers; автор сообщает, что модель можно использовать с контекстом длиннее этого значения. Метаданные указывают нативный контекст 4096 токенов, поэтому практическая поддержка заявленного миллиона токенов зависит от реализации и настройки запуска. Лицензия в предоставленных данных не указана.
Сценарии применения
генерация продолжения длинного текста
эксперименты с обработкой контекста до миллиона токенов
изучение методов расширения контекстного окна Llama-2
оценка генерации на больших документах
Ограничения
Модель не проходила инструктивное дообучение и не настроена специально для диалога. Метаданные указывают нативный контекст 4096 токенов, а работа с более длинными контекстами требует совместимой реализации и настройки; лицензия не приведена в доступных данных.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Memory optimization and training recipes to extrapolate language models' context length to 1 million tokens, with minimal hardware.
This is a context-extrapolated base model. It has not been instruct-finetuned.
This model is finetuned from Llama-2-7B-hf with EasyContext on context length 512K and generalized to 1M tokens. Note that I keep max_position_embeddings in config.json to 4096 because HF llama will create 2D causal mask during initialization. If it is set to 1M GPU will just OOM. You can surely use this model with context length longer than 4096.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров