c4ai-command-r-plus-08-2024-GGUF
Original Model
CohereForAI/c4ai-command-r-plus-08-2024
Run with LlamaEdge
- LlamaEdge version: coming soon
Quantized GGUF Models
Quantized with llama.cpp b3613
c4ai-command-r-plus-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-plus-08-2024, разработанной CohereForAI и преобразованной в формат GGUF компанией Second State Inc.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы и работу с многоязычными запросами. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков.
Модель распространяется в нескольких вариантах квантизации GGUF с разрядностью от 2 до 5 бит и размером файлов примерно от 15,9 до 39,5 ГБ; некоторые варианты состоят из нескольких частей. Q4_K_M обозначен как рекомендуемый сбалансированный вариант, тогда как более низкие уровни квантизации сопровождаются заметной потерей качества. В README также приведён контекст 128000 токенов и шаблон prompt типа chatml, однако соответствующие инструкции помечены как закомментированные, а поддержка запуска через LlamaEdge указана как находящаяся в разработке.
К сильным сторонам относятся широкий набор поддерживаемых языков и возможность запуска в компактных квантизированных форматах, уменьшающих требования к памяти по сравнению с полноразмерной моделью. Ограничения связаны с потерей качества при агрессивной квантизации, значительным размером даже наиболее компактных файлов и отсутствием в README подробностей об архитектуре, числе параметров, мультимодальности и подтверждённых характеристиках производительности. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
CohereForAI/c4ai-command-r-plus-08-2024
Quantized with llama.cpp b3613
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.