Квантованные сборки Qwen1.5-32B-Chat в GGUF предназначены для диалоговой генерации текста в совместимых приложениях.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Репозиторий MarsupialAI содержит сборку модели Qwen1.5-32B-Chat в формате GGUF с квантованиями iMatrix. Файлы созданы с использованием groups_merged.txt от Kalomaze; также включена версия GGUF в FP16, разбитая на части из-за ограничения размера файлов.
Модель предназначена для диалоговой генерации текста и может использоваться в чат-приложениях, поддерживающих GGUF. Репозиторий распространяет конвертированные файлы базовой модели Qwen1.5-32B-Chat, а не описывает отдельное дообучение. В метаданных указана лицензия other; дополнительных условий лицензии в карточке нет.
Качество и скорость зависят от выбранного файла квантования и аппаратной конфигурации. Для использования требуется приложение, совместимое с GGUF; часть FP16-файлов необходимо предварительно объединить.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
iMatrix GGUFs for Qwen 1.5 32B Chat - https://huggingface.co/Qwen/Qwen1.5-32B-Chat
For standard Q_K quants, see their official repo: https://huggingface.co/Qwen/Qwen1.5-32B-Chat-GGUF
iMatrix GGUFs generated with Kalomaze's semi-random groups_merged.txt
FP16 GGUF also included, as the official repo lacks it. This been split with peazip due to file size limits.
Recombine with peazip, 7zip, or simple concatenate command.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…