Характеристики

Лицензия: CC BY-NC 4.0
Библиотека: transformers
Опубликована: 16 мар 2024

Ссылки

c4ai-command-r-v01-GGUF

Генерация текстаТекст → текст15 профессий

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp.

4 636скачиваний за 30 дней27лайковвеса обновлены16 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp.

В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества.

Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llamacpp Quantizations of c4ai-command-r-v01

Using llama.cpp release b2440 for quantization.

Original model: https://huggingface.co/CohereForAI/c4ai-command-r-v01

Download a file (not the whole branch) from below:

Filename	Quant type	File Size	Description
c4ai-command-r-v01-Q8_0.gguf	Q8_0	37.17GB	Extremely high quality, generally unneeded but max available quant.
c4ai-command-r-v01-Q6_K.gguf	Q6_K	28.70GB	Very high quality, near perfect, recommended.
c4ai-command-r-v01-Q5_K_M.gguf	Q5_K_M	25.00GB	High quality, very usable.
c4ai-command-r-v01-Q5_K_S.gguf	Q5_K_S	24.33GB	High quality, very usable.
c4ai-command-r-v01-Q5_0.gguf	Q5_0	24.33GB	High quality, older format, generally not recommended.
c4ai-command-r-v01-Q4_K_M.gguf	Q4_K_M	21.52GB	Good quality, similar to 4.25 bpw.
c4ai-command-r-v01-Q4_K_S.gguf	Q4_K_S	20.37GB	Slightly lower quality with small space savings.
c4ai-command-r-v01-Q4_0.gguf	Q4_0	20.22GB	Decent quality, older format, generally not recommended.
c4ai-command-r-v01-Q3_K_L.gguf	Q3_K_L	19.14GB	Lower quality but usable, good for low RAM availability.
c4ai-command-r-v01-Q3_K_M.gguf	Q3_K_M	17.61GB	Even lower quality.
c4ai-command-r-v01-Q3_K_S.gguf	Q3_K_S	15.86GB	Low quality, not recommended.
c4ai-command-r-v01-Q2_K.gguf	Q2_K	13.81GB	Extremely low quality, not recommended.

Want to support my work? Visit my ko-fi page here: https://ko-fi.com/bartowski

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 7ff1d6d