/ Модель

Характеристики

Контекст
131 072 токена
Параметры
104 млрд
Лицензия
CC BY-NC 4.0
Архитектура
cohere · dense
Базовая модель
c4ai-command-r-plus-08-2024
Библиотека
transformers
Опубликована
2 сен 2024

c4ai-command-r-plus-08-2024-GGUF

Генерация текстаТекст → текст15 профессий

c4ai-command-r-plus-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-plus-08-2024, разработанной CohereForAI и преобразованной в формат GGUF компанией Second State Inc.

944скачиваний за 30 дней1лайквеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для задач генерации и обработки текста, включая диалоговые сценарии, ответы на вопросы и работу с многоязычными запросами. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков.

Модель распространяется в нескольких вариантах квантизации GGUF с разрядностью от 2 до 5 бит и размером файлов примерно от 15,9 до 39,5 ГБ; некоторые варианты состоят из нескольких частей. Q4_K_M обозначен как рекомендуемый сбалансированный вариант, тогда как более низкие уровни квантизации сопровождаются заметной потерей качества. В README также приведён контекст 128000 токенов и шаблон prompt типа chatml, однако соответствующие инструкции помечены как закомментированные, а поддержка запуска через LlamaEdge указана как находящаяся в разработке.

К сильным сторонам относятся широкий набор поддерживаемых языков и возможность запуска в компактных квантизированных форматах, уменьшающих требования к памяти по сравнению с полноразмерной моделью. Ограничения связаны с потерей качества при агрессивной квантизации, значительным размером даже наиболее компактных файлов и отсутствием в README подробностей об архитектуре, числе параметров, мультимодальности и подтверждённых характеристиках производительности. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

c4ai-command-r-plus-08-2024-GGUF

Original Model

CohereForAI/c4ai-command-r-plus-08-2024

Run with LlamaEdge

  • LlamaEdge version: coming soon

Quantized GGUF Models

NameQuant methodBitsSizeUse case
c4ai-command-r-plus-08-2024-Q2_K.ggufQ2_K239.5 GBsmallest, significant quality loss - not recommended for most purposes
c4ai-command-r-plus-08-2024-Q3_K_L-00001-of-00002.ggufQ3_K_L329.8 GBsmall, substantial quality loss
c4ai-command-r-plus-08-2024-Q3_K_L-00002-of-00002.ggufQ3_K_L325.6 GBsmall, substantial quality loss
c4ai-command-r-plus-08-2024-Q3_K_M-00001-of-00002.ggufQ3_K_M329.1 GBvery small, high quality loss
c4ai-command-r-plus-08-2024-Q3_K_M-00002-of-00002.ggufQ3_K_M321.1 GBvery small, high quality loss
c4ai-command-r-plus-08-2024-Q3_K_S-00001-of-00002.ggufQ3_K_S329.9 GBvery small, high quality loss
c4ai-command-r-plus-08-2024-Q3_K_S-00002-of-00002.ggufQ3_K_S315.9 GBvery small, high quality loss
c4ai-command-r-plus-08-2024-Q4_0-00001-of-00002.ggufQ4_0429.9 GBlegacy; small, very high quality loss - prefer using Q3_K_M
c4ai-command-r-plus-08-2024-Q4_0-00002-of-00002.ggufQ4_0429.3 GBlegacy; small, very high quality loss - prefer using Q3_K_M
c4ai-command-r-plus-08-2024-Q4_K_M-00001-of-00003.ggufQ4_K_M429.9 GBmedium, balanced quality - recommended
c4ai-command-r-plus-08-2024-Q4_K_M-00002-of-00003.ggufQ4_K_M429.9 GBmedium, balanced quality - recommended
c4ai-command-r-plus-08-2024-Q4_K_M-00003-of-00003.ggufQ4_K_M42.99 GBmedium, balanced quality - recommended
c4ai-command-r-plus-08-2024-Q4_K_S-00001-of-00002.ggufQ4_K_S429.9 GBsmall, greater quality loss
c4ai-command-r-plus-08-2024-Q4_K_S-00002-of-00002.ggufQ4_K_S429.8 GBsmall, greater quality loss
c4ai-command-r-plus-08-2024-Q5_0-00001-of-00003.ggufQ5_0529.9 GBlegacy; medium, balanced quality - prefer using Q4_K_M
c4ai-command-r-plus-08-2024-Q5_0-00002-of-00003.ggufQ5_0530.0 GBlegacy; medium, balanced quality - prefer using Q4_K_M
c4ai-command-r-plus-08-2024-Q5_0-00003-of-00003.ggufQ5_0511.9 GBlegacy; medium, balanced quality - prefer using Q4_K_M
c4ai-command-r-plus-08-2024-Q5_K_M-00001-of-00003.ggufQ5_K_M529.9 GBlarge, very low quality loss - recommended
c4ai-command-r-plus-08-2024-Q5_K_M-00002-of-00003.ggufQ5_K_M530.0 GBlarge, very low quality loss - recommended
c4ai-command-r-plus-08-2024-Q5_K_M-00003-of-00003.ggufQ5_K_M513.8 GBlarge, very low quality loss - recommended
c4ai-command-r-plus-08-2024-Q5_K_S-00001-of-00003.ggufQ5_K_S529.9 GBlarge, low quality loss - recommended
c4ai-command-r-plus-08-2024-Q5_K_S-00002-of-00003.ggufQ5_K_S530.0 GBlarge, low quality loss - recommended
c4ai-command-r-plus-08-2024-Q5_K_S-00003-of-00003.ggufQ5_K_S511.9 GBlarge, low quality loss - recommended
c4ai-command-r-plus-08-2024-Q6_K-00001-of-00003.ggufQ6_K629.7 GBvery large, extremely low quality loss
c4ai-command-r-plus-08-2024-Q6_K-00002-of-00003.ggufQ6_K629.7 GBvery large, extremely low quality loss
c4ai-command-r-plus-08-2024-Q6_K-00003-of-00003.ggufQ6_K625.8 GBvery large, extremely low quality loss
c4ai-command-r-plus-08-2024-Q8_0-00001-of-00004.ggufQ8_0829.9 GBvery large, extremely low quality loss - not recommended
c4ai-command-r-plus-08-2024-Q8_0-00002-of-00004.ggufQ8_0829.9 GBvery large, extremely low quality loss - not recommended
c4ai-command-r-plus-08-2024-Q8_0-00003-of-00004.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
c4ai-command-r-plus-08-2024-Q8_0-00004-of-00004.ggufQ8_0820.8 GBvery large, extremely low quality loss - not recommended
c4ai-command-r-plus-08-2024-f16-00001-of-00007.gguff161629.8 GB
c4ai-command-r-plus-08-2024-f16-00002-of-00007.gguff161630.0 GB
c4ai-command-r-plus-08-2024-f16-00003-of-00007.gguff161630.0 GB
c4ai-command-r-plus-08-2024-f16-00004-of-00007.gguff161629.8 GB
c4ai-command-r-plus-08-2024-f16-00005-of-00007.gguff161630.0 GB
c4ai-command-r-plus-08-2024-f16-00006-of-00007.gguff161629.8 GB
c4ai-command-r-plus-08-2024-f16-00007-of-00007.gguff161628.3 GB

Quantized with llama.cpp b3613

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
CohereForCausalLM
Ревизия весов
04a8f92

0 моделей