Характеристики

Лицензия: Своя лицензия
Опубликована: 19 мар 2024

Ссылки

Qwen1.5-7B-Chat-GGUF

Генерация текстаТекст → текст14 профессий

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen.

893скачиваний за 30 дней0лайковвеса обновлены19 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp.

Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Для каких профессий подходит14

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llamacpp Quantizations of Qwen1.5-7B-Chat

Using llama.cpp release b2440 for quantization.

Original model: https://huggingface.co/Qwen/Qwen1.5-7B-Chat

Download a file (not the whole branch) from below:

Filename	Quant type	File Size	Description
Qwen1.5-7B-Chat-Q8_0.gguf	Q8_0	8.21GB	Extremely high quality, generally unneeded but max available quant.
Qwen1.5-7B-Chat-Q6_K.gguf	Q6_K	6.34GB	Very high quality, near perfect, recommended.
Qwen1.5-7B-Chat-Q5_K_M.gguf	Q5_K_M	5.53GB	High quality, very usable.
Qwen1.5-7B-Chat-Q5_K_S.gguf	Q5_K_S	5.39GB	High quality, very usable.
Qwen1.5-7B-Chat-Q5_0.gguf	Q5_0	5.39GB	High quality, older format, generally not recommended.
Qwen1.5-7B-Chat-Q4_K_M.gguf	Q4_K_M	4.76GB	Good quality, similar to 4.25 bpw.
Qwen1.5-7B-Chat-Q4_K_S.gguf	Q4_K_S	4.54GB	Slightly lower quality with small space savings.
Qwen1.5-7B-Chat-Q4_0.gguf	Q4_0	4.51GB	Decent quality, older format, generally not recommended.
Qwen1.5-7B-Chat-Q3_K_L.gguf	Q3_K_L	4.21GB	Lower quality but usable, good for low RAM availability.
Qwen1.5-7B-Chat-Q3_K_M.gguf	Q3_K_M	3.91GB	Even lower quality.
Qwen1.5-7B-Chat-Q3_K_S.gguf	Q3_K_S	3.56GB	Low quality, not recommended.
Qwen1.5-7B-Chat-Q2_K.gguf	Q2_K	3.10GB	Extremely low quality, not recommended.

Want to support my work? Visit my ko-fi page here: https://ko-fi.com/bartowski

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c4b7515