/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
Yi-9B-Coder
Библиотека
gguf
Опубликована
27 июн 2024

Ссылки

Hugging Face

Yi-9B-Coder-IMat-GGUF

legraphista
Генерация текстаТекст → текст9 профессий

Yi-9B-Coder-IMat-GGUF — квантизированная версия модели TechxGenus/Yi-9B-Coder, подготовленная пользователем legraphista.

1 065скачиваний за 30 дней0лайковвеса обновлены27 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена прежде всего для генерации и обработки программного кода и распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp. Архитектурная основа относится к семейству Llama; размер исходной модели составляет около 9 млрд параметров, исходный формат — BF16.

Репозиторий содержит варианты от BF16 и F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда вариантов применена IMatrix-квантизация, призванная лучше сохранять качество при уменьшении размера модели. Доступны файлы размером примерно от 3,1 до 17,66 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Данные о поддерживаемых языках программирования, размере контекста и мультимодальности в README не указаны; модель описана как текстовая и ориентированная на код.

Сильной стороной модели является широкий выбор вариантов квантования и возможность локального запуска при существенно меньших требованиях к памяти. При этом низкобитные варианты могут терять качество по сравнению с BF16 или F16, а конкретная производительность и точность зависят от выбранного файла и оборудования. Лицензия — Apache-2.0.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Yi-9B-Coder-IMat-GGUF

Llama.cpp imatrix quantization of TechxGenus/Yi-9B-Coder

Original Model: TechxGenus/Yi-9B-Coder
Original dtype: BF16 (bfloat16)
Quantized by: llama.cpp b3248
IMatrix dataset: here

Files

IMatrix

Status: ✅ Available
Link: here

Common Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Yi-9B-Coder.Q8_0.ggufQ8_09.38GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q6_K.ggufQ6_K7.25GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q4_K.ggufQ4_K5.33GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q3_K.ggufQ3_K4.32GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q2_K.ggufQ2_K3.35GB✅ Available🟢 IMatrix📦 No

All Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Yi-9B-Coder.BF16.ggufBF1617.66GB✅ Available⚪ Static📦 No
Yi-9B-Coder.FP16.ggufF1617.66GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q8_0.ggufQ8_09.38GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q6_K.ggufQ6_K7.25GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q5_K.ggufQ5_K6.26GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q5_K_S.ggufQ5_K_S6.11GB✅ Available⚪ Static📦 No
Yi-9B-Coder.Q4_K.ggufQ4_K5.33GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q4_K_S.ggufQ4_K_S5.07GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ4_NL.ggufIQ4_NL5.05GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ4_XS.ggufIQ4_XS4.79GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q3_K.ggufQ3_K4.32GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q3_K_L.ggufQ3_K_L4.69GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q3_K_S.ggufQ3_K_S3.90GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ3_M.ggufIQ3_M4.06GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ3_S.ggufIQ3_S3.91GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ3_XS.ggufIQ3_XS3.72GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ3_XXS.ggufIQ3_XXS3.47GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q2_K.ggufQ2_K3.35GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.Q2_K_S.ggufQ2_K_S3.12GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ2_M.ggufIQ2_M3.10GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ2_S.ggufIQ2_S2.88GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ2_XS.ggufIQ2_XS2.71GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ2_XXS.ggufIQ2_XXS2.46GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ1_M.ggufIQ1_M2.18GB✅ Available🟢 IMatrix📦 No
Yi-9B-Coder.IQ1_S.ggufIQ1_S2.01GB✅ Available🟢 IMatrix📦 No

Downloading using huggingface-cli

If you do not have hugginface-cli installed:

pip install -U "huggingface_hub[cli]"

Download the specific file you want:

huggingface-cli download legraphista/Yi-9B-Coder-IMat-GGUF --include "Yi-9B-Coder.Q8_0.gguf" --local-dir ./

If the model file is big, it has been split into multiple files. In order to download them all to a local folder, run:

huggingface-cli download legraphista/Yi-9B-Coder-IMat-GGUF --include "Yi-9B-Coder.Q8_0/*" --local-dir ./
# see FAQ for merging GGUF's

Inference

Llama.cpp

llama.cpp/main -m Yi-9B-Coder.Q8_0.gguf --color -i -p "prompt here"

FAQ

Why is the IMatrix not applied everywhere?

According to this investigation, it appears that lower quantizations are the only ones that benefit from the imatrix input (as per hellaswag results).

How do I merge a split GGUF?

  1. Make sure you have gguf-split available
  2. Locate your GGUF chunks folder (ex: Yi-9B-Coder.Q8_0)
  3. Run gguf-split --merge Yi-9B-Coder.Q8_0/Yi-9B-Coder.Q8_0-00001-of-XXXXX.gguf Yi-9B-Coder.Q8_0.gguf
    • Make sure to point gguf-split to the first chunk of the split.

Got a suggestion? Ping me @legraphista!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
030b9d3

0 моделей

    Создать бенчмарк