Характеристики

Лицензия: Gemma
Базовая модель: gemma-2-9b-it
Опубликована: 27 июн 2024

Ссылки

gemma-2-9b-it-iMat-GGUF

Генерация текстаТекст → текст11 профессий

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it.

671скачиваний за 30 дней1лайквеса обновлены2 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией.

Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quant Infos

Updated for all recent llama.cpp fixes (final logit soft capping+sliding window+tokenizer)

quants done with an importance matrix for improved quantization loss
Requantized ggufs & imatrix from hf bf16
- initial version was based on f32 gguf provided by google, which had various issues
- also updated for all recent llama.cpp fixes (final logit soft capping+sliding window+tokenizer)
Wide coverage of different gguf quant types from Q_8_0 down to IQ1_S
- experimental custom quant types
  - _L with --output-tensor-type f16 --token-embedding-type f16 (same as bartowski's)
Quantized with llama.cpp commit 5fac350b9cc49d0446fc291b9c4ad53666c77591 (master from 2024-07-02)

Imatrix generated with this multi-purpose dataset by bartowski.

./imatrix -m $model_name-bf16.gguf -f calibration_datav3.txt -o $model_name.imatrix

Original Model Card

TODO

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 9cee981