Характеристики

Базовая модель: Qwen2.5-7B-Instruct-abliterated-v2
Опубликована: 22 мар 2025

Ссылки

huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-GGUF

Генерация текстаТекст → текст7 профессий

Это набор GGUF-квантизованных файлов модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, подготовленный и опубликованный командой featherless-ai-quants.

637скачиваний за 30 дней1лайквеса обновлены22 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель относится к классу text-generation и предназначена для генерации текста в диалоговых и инструкционных сценариях, включая локальный запуск совместимых языковых моделей. Суффикс abliterated-v2 является частью названия базовой модели; README не раскрывает подробности её обучения или модификаций.

В основе лежит модель Qwen2.5 с 7 млрд параметров в instruct-варианте. Доступны квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Квантизация позволяет выбирать баланс между требованиями к памяти и сохранением качества, однако README не содержит данных о поддерживаемых языках, размере контекстного окна, архитектурных деталях, модальностях, производительности или результатах сравнительных тестов.

Сильной стороной набора является широкий выбор форматов GGUF, подходящих для различных аппаратных конфигураций. Ограничения включают отсутствие подробной информации о качестве, безопасности, рекомендуемых параметрах запуска и лицензии. Условия лицензирования в README не указаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 GGUF Quantizations 🚀

Featherless AI Quants

Optimized GGUF quantization files for enhanced model performance

Powered by Featherless AI - run any model you'd like for a simple small fee.

Available Quantizations 📊

Quantization Type	File	Size
IQ4_XS	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-IQ4_XS.gguf	4053.40 MB
Q2_K	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q2_K.gguf	2876.23 MB
Q3_K_L	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q3_K_L.gguf	3899.06 MB
Q3_K_M	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q3_K_M.gguf	3631.97 MB
Q3_K_S	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q3_K_S.gguf	3330.58 MB
Q4_K_M	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q4_K_M.gguf	4466.13 MB
Q4_K_S	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q4_K_S.gguf	4251.26 MB
Q5_K_M	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q5_K_M.gguf	5192.60 MB
Q5_K_S	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q5_K_S.gguf	5068.95 MB
Q6_K	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q6_K.gguf	5964.47 MB
Q8_0	huihui-ai-Qwen2.5-7B-Instruct-abliterated-v2-Q8_0.gguf	7723.36 MB

⚡ Powered by Featherless AI

Key Features

🔥 Instant Hosting - Deploy any Llama model on HuggingFace instantly
🛠️ Zero Infrastructure - No server setup or maintenance required
📚 Vast Compatibility - Support for 2400+ models and counting
💎 Affordable Pricing - Starting at just $10/month

Links:
Get Started | Documentation | Models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 1b69c28