Характеристики

Лицензия: CC BY-NC 4.0
Базовая модель: c4ai-command-r-plus
Опубликована: 4 апр 2024

Ссылки

c4ai-command-r-plus-GGUF

Генерация текстаТекст → текст10 профессий

pmysl/c4ai-command-r-plus-GGUF — это набор весов модели Command R+, разработанной CohereForAI, в формате GGUF для запуска через llama.cpp.

2 132скачиваний за 30 дней47лайковвеса обновлены11 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и диалоговых сценариев; в репозитории доступны чат-шаблоны, а поддержка этих весов добавлена в llama.cpp начиная с релиза b2636.

Доступны варианты с разной степенью квантизации, включая Q2_K, Q3_K_L и Q4_K_M, а также полноточный вариант f16. Для некоторых вариантов приведены значения perplexity на wikitext-2-raw: от 5,7178 у Q2_K до 4,3845 у f16, однако эти результаты обозначены как предварительные. Ключевые характеристики базовой модели, включая архитектуру, число параметров, поддерживаемые языки и размер контекста, в README не указаны.

Сильной стороной репозитория является совместимость с llama.cpp и возможность выбирать компромисс между качеством, размером файлов и требованиями к ресурсам с помощью разных вариантов квантизации. Ограничения включают отсутствие подробной информации о возможностях базовой модели и неполные сведения о качестве. Использование распространяется по лицензии CC BY-NC-4.0.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Command R+ GGUF

Description

This repository contains GGUF weights for llama.cpp. Support for them was added in release b2636. Since commit dd2d53a, all weights in this repo have chat templates.

In the folder imatrix, you can find imatrix quants. The importance matrix was trained using kalomaze's groups_merged.txt.

Quickstart

Ensure that you have release b2636 or newer.
Start with the command below:

./main -p "<|START_OF_TURN_TOKEN|><|USER_TOKEN|>Who are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" --color -m /path/to/command-r-plus-Q3_K_L-00001-of-00002.gguf

Perplexity on `wikitext-2-raw` [WIP]

Variant	PPL Value	Standard Deviation
Q2_K	5.7178	+/- 0.03418
Q3_K_L	4.6214	+/- 0.02629
Q4_K_M	4.4625	+/- 0.02522
f16	4.3845	+/- 0.02468

Merging Weights

After commit 8a28d12, weights are split with gguf-split, which means that you don't have to merge weights. Simply pass the first split, as in the example above, and llama.cpp will automatically load all splits. If, for some reason, you want to merge splits, you can use the following command:

./gguf-split --merge /path/to/command-r-plus-f16-00001-of-00005.gguf /path/to/command-r-plus-f16-combined.gguf

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 2eaa2b3