Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
PY007 выпустил EasyContext-256K-danube2-1.8b — базовую языковую модель семейства Llama с 1,7 млрд параметров, дообученную от h2oai/h2o-danube2-1.8b-base с помощью EasyContext для экстраполяции контекста. Модель предназначена для генерации текста с длинным контекстом; автор сообщает об обучении на длине 256K токенов и возможности использовать контекст длиннее 4096 токенов.
Модель не проходила инструкционное дообучение, поэтому ориентирована на продолжение текста, а не на диалоговое следование инструкциям. В метаданных указана длина контекста 8192 токена, что расходится с описанным в README обучением на 256K; фактическую поддержку столь длинных последовательностей следует проверять в конкретной конфигурации. Веса доступны в формате Safetensors; лицензия в предоставленных данных не указана.
Сценарии применения
продолжение длинных текстов
генерация текста по большому контексту
эксперименты с экстраполяцией контекстного окна
обработка длинных последовательностей в базовых языковых моделях
Ограничения
Модель не проходила инструкционное дообучение и не предназначена для надёжного следования инструкциям. README описывает обучение с контекстом 256K, тогда как метаданные указывают 8192 токена; максимальная длина зависит от конфигурации и требует проверки.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Memory optimization and training recipes to extrapolate language models' context length to 1 million tokens, with minimal hardware.
This is a context-extrapolated base model. It has not been instruct-finetuned.
This model is finetuned from h2oai/h2o-danube2-1.8b-base with EasyContext on context length 256K. Note that I keep max_position_embeddings in config.json to 4096 because HF llama will create 2D causal mask during initialization. If it is set to 256K GPU will just OOM. You can surely use this model with context length longer than 4096.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров