/ Модель

Характеристики

Лицензия
Gemma
Базовая модель
gemma-2-27b-it
Опубликована
27 июн 2024

gemma-2-27b-it-iMat-GGUF

Генерация текстаТекст → текст14 профессий

qwp4w3hyb/gemma-2-27b-it-iMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Gemma 2 27B IT, разработанной Google.

881скачиваний за 30 дней0лайковвеса обновлены2 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям на английском языке.

В основе лежит модель Google Gemma 2 27B IT с размером 27 миллиардов параметров. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_S, включая экспериментальные типы с суффиксом _L. Для снижения потерь качества при квантизации использована importance matrix, рассчитанная на специализированном калибровочном наборе данных. Файлы подготовлены с использованием llama.cpp с учётом исправлений, связанных с финальным logit soft-capping, sliding window и токенизатором.

Основное преимущество модели — выбор вариантов GGUF для запуска в llama.cpp с разным компромиссом между качеством, размером и требованиями к ресурсам; importance matrix должна улучшать сохранение качества после квантизации. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в предоставленной карточке подробностей о контекстном окне, архитектурных параметрах, мультимодальности и результатах тестирования. Лицензия указана как gemma.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quant Infos

Updated for all recent llama.cpp fixes (final logit soft capping+sliding window+tokenizer)

  • quants done with an importance matrix for improved quantization loss
  • Requantized ggufs & imatrix from hf bf16
    • initial version was based on f32 gguf provided by google, which had various issues
    • also updated for all recent llama.cpp fixes (final logit soft capping+sliding window+tokenizer)
  • Wide coverage of different gguf quant types from Q_8_0 down to IQ1_S
    • experimental custom quant types
      • _L with --output-tensor-type f16 --token-embedding-type f16 (same as bartowski's)
  • Quantized with llama.cpp commit 5fac350b9cc49d0446fc291b9c4ad53666c77591 (master from 2024-07-02)
  • Imatrix generated with this multi-purpose dataset by bartowski.
    ./imatrix -m $model_name-bf16.gguf -f calibration_datav3.txt -o $model_name.imatrix
    

Original Model Card

TODO

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
6bcd4fc

0 моделей