Quantized version of: huihui-ai/Qwen2.5-3B-Instruct-abliterated-SFT
'Make knowledge free for everyone'
DevQuasar/huihui-ai.Qwen2.5-3B-Instruct-abliterated-SFT-GGUF — квантизированная версия модели huihui-ai/Qwen2.5-3B-Instruct-abliterated-SFT, распространяемая в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Согласно карточке, модель предназначена для генерации текста и относится к классу instruction-tuned моделей; разработчик базовой модели — huihui-ai, а квантизированная версия опубликована под брендом DevQuasar.
Модель может использоваться в сценариях генерации текста и диалогового взаимодействия, включая локальный запуск с совместимыми инструментами для работы с форматом GGUF. Из доступных данных следует, что базовая модель относится к семейству Qwen2.5 и имеет размер около 3 млрд параметров, однако сведения об архитектуре, поддерживаемых языках, длине контекста, конкретном методе квантизации и характеристиках производительности в README не приведены.
К потенциальным преимуществам относятся меньшие требования к ресурсам по сравнению с полноразмерной версией и возможность локального использования. Ограничения модели и качество на конкретных задачах не описаны; также неизвестно, какие именно параметры квантизации применены. Лицензия и условия коммерческого использования в карточке не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantized version of: huihui-ai/Qwen2.5-3B-Instruct-abliterated-SFT
'Make knowledge free for everyone'
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.