/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Vikhr-Gemma-2B-instruct
Библиотека
llamacpp
Опубликована
21 авг 2024

Vikhr-Gemma-2B-instruct-GGUF

Генерация текстаТекст → текст9 профессий

Vikhr-Gemma-2B-instruct-GGUF — русскоязычная инструктивная модель, разработанная Vikhrmodels на основе Gemma 2 2B и дообученная на датасете GrandMaster-PRO-MAX.

3 185скачиваний за 30 дней20лайковвеса обновлены23 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и выполнения инструкций на русском языке, включая диалоговые и прикладные сценарии, где требуется обработка текстовых запросов. Формат GGUF рассчитан на использование с llama.cpp и совместимыми инструментами.

Модель относится к текстовым одно-модальным моделям; сведения о поддерживаемых языках указывают русский язык. Размер базовой модели составляет 2B параметров, однако характеристики контекстного окна и точные архитектурные параметры в README не указаны. Доступны варианты квантования от Q2 до Q8, а также F16, F32 и BF16; приведённые значения perplexity показывают, что более сильное квантование может ухудшать результат, особенно для вариантов Q2. Лицензия Apache-2.0 разрешает использование модели на соответствующих условиях этой лицензии.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

💨 Vikhr-Gemma-2B-instruct

Мощная инструктивная модель на основе Gemma 2 2B, обученная на русскоязычном датасете GrandMaster-PRO-MAX.

Perplexity (ниже - лучше)

Veles

ModelPerplexity
Q4_K4.7254 +/- 0.03867
Q4_04.8067 +/- 0.03922
Q8_04.6042 +/- 0.03751
Q4_14.7798 +/- 0.03933
F324.6013 +/- 0.03749
Q6_K4.6244 +/- 0.03760
BF164.6015 +/- 0.03749
Q2_K5.6819 +/- 0.04737
Q5_04.6876 +/- 0.03855
Q5_K4.6428 +/- 0.03789
Q3_K_S5.1485 +/- 0.04257
Q2_K_S6.3124 +/- 0.05359
F164.6013 +/- 0.03749
Q4_K_M4.7254 +/- 0.03867
Q5_K_M4.6428 +/- 0.03789
Q5_14.6518 +/- 0.03794
Q4_K_S4.7631 +/- 0.03916
Q5_K_S4.6509 +/- 0.03803
Q3_K4.8339 +/- 0.03965
Q3_K_M4.8339 +/- 0.03965
Q3_K_L4.7981 +/- 0.03934

Wikitext-2

ModelPerplexity
Q4_K10.4374 +/- 0.07339
Q4_010.6480 +/- 0.07452
Q8_010.1209 +/- 0.07105
Q4_110.5574 +/- 0.07476
F3210.1191 +/- 0.07099
Q6_K10.1503 +/- 0.07117
BF1610.1189 +/- 0.07098
Q2_K12.8851 +/- 0.09332
Q5_010.2551 +/- 0.07251
Q5_K10.1975 +/- 0.07184
Q3_K_S11.6028 +/- 0.08333
Q2_K_S14.7951 +/- 0.10960
F1610.1191 +/- 0.07099
Q4_K_M10.4374 +/- 0.07339
Q5_K_M10.1975 +/- 0.07184
Q5_110.2348 +/- 0.07208
Q4_K_S10.4924 +/- 0.07386
Q5_K_S10.2098 +/- 0.07198
Q3_K10.7416 +/- 0.07606
Q3_K_M10.7416 +/- 0.07606
Q3_K_L10.6242 +/- 0.07506

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
a6692eb

0 моделей