QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных.
Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан.
Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Tokenizer is different from cohere - and chat template is ChatML - fully fine-tuned at 128K+
No loras, no quants, no tricks, 30M+ sft data.
Pressure Testing from: https://github.com/LeonEricsson/llmcontext
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.