/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
12,9 млрд
Лицензия
Своя лицензия
Архитектура
llama · dense
Базовая модель
Wizard-Vicuna-13B-Uncensored
Библиотека
transformers
Опубликована
26 окт 2023

Wizard-Vicuna-13B-Uncensored-GGUF

Генерация текстаТекст → текст5 профессий

Wizard-Vicuna-13B-Uncensored-GGUF — квантизированная GGUF-версия языковой модели Wizard Vicuna 13B Uncensored.

3 390скачиваний за 30 дней16лайковвеса обновлены20 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходную модель разработал Eric Hartford, а квантизацию выполнила Second State Inc. Модель основана на архитектуре Llama, содержит 13 млрд параметров и предназначена для генерации текста и диалогового взаимодействия на английском языке.

Модель рассчитана на запуск локально, в том числе через LlamaEdge, с шаблоном запросов vicuna-1.0-chat и контекстом до 5120 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 4,85 до 13,8 ГБ. Основное преимущество — возможность запускать крупную модель на устройствах с ограниченными ресурсами; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые из-за баланса размера и качества. Более сильная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов.

Модель имеет пометку uncensored, поэтому может генерировать нежелательный или небезопасный контент и требует дополнительного контроля при использовании. README не содержит подробных сведений о возможностях, результатах оценки, мультимодальности или точных условиях лицензии: указано только значение license: other.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Wizard-Vicuna-13B-Uncensored-GGUF

Original Model

cognitivecomputations/Wizard-Vicuna-13B-Uncensored

Run with LlamaEdge

  • LlamaEdge version: v0.2.8 and above

  • Prompt template

    • Prompt type: vicuna-1.0-chat

    • Prompt string

      {system} USER: {prompt} ASSISTANT:
      
  • Context size: 5120

  • Run as LlamaEdge service

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Wizard-Vicuna-13B-Uncensored-Q5_K_M.gguf llama-api-server.wasm -p vicuna-1.0-chat
    
  • Run as LlamaEdge command app

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Wizard-Vicuna-13B-Uncensored-Q5_K_M.gguf llama-chat.wasm -p vicuna-1.0-chat
    

Quantized GGUF Models

NameQuant methodBitsSizeUse case
Wizard-Vicuna-13B-Uncensored-Q2_K.ggufQ2_K24.85 GBsmallest, significant quality loss - not recommended for most purposes
Wizard-Vicuna-13B-Uncensored-Q3_K_L.ggufQ3_K_L36.93 GBsmall, substantial quality loss
Wizard-Vicuna-13B-Uncensored-Q3_K_M.ggufQ3_K_M36.34 GBvery small, high quality loss
Wizard-Vicuna-13B-Uncensored-Q3_K_S.ggufQ3_K_S35.66 GBvery small, high quality loss
Wizard-Vicuna-13B-Uncensored-Q4_0.ggufQ4_047.37 GBlegacy; small, very high quality loss - prefer using Q3_K_M
Wizard-Vicuna-13B-Uncensored-Q4_K_M.ggufQ4_K_M47.87 GBmedium, balanced quality - recommended
Wizard-Vicuna-13B-Uncensored-Q4_K_S.ggufQ4_K_S47.42 GBsmall, greater quality loss
Wizard-Vicuna-13B-Uncensored-Q5_0.ggufQ5_058.97 GBlegacy; medium, balanced quality - prefer using Q4_K_M
Wizard-Vicuna-13B-Uncensored-Q5_K_M.ggufQ5_K_M59.23 GBlarge, very low quality loss - recommended
Wizard-Vicuna-13B-Uncensored-Q5_K_S.ggufQ5_K_S58.97 GBlarge, low quality loss - recommended
Wizard-Vicuna-13B-Uncensored-Q6_K.ggufQ6_K610.7 GBvery large, extremely low quality loss
Wizard-Vicuna-13B-Uncensored-Q8_0.ggufQ8_0813.8 GBvery large, extremely low quality loss - not recommended

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
d671888

0 моделей