Характеристики

Лицензия: MIT
Базовая модель: Phi-4-mini-instruct-abliterated
Библиотека: transformers
Опубликована: 2 мар 2025

Ссылки

Phi-4-mini-instruct-abliterated-GGUF

Генерация текстаТекст → текст15 профессий

Melvin56/Phi-4-mini-instruct-abliterated-GGUF — это GGUF-квантизированная версия модели Phi-4-mini-instruct-abliterated, разработанная на основе модели huihui-ai/Phi-4-mini-instruct-abliterated.

1 180скачиваний за 30 дней8лайковвеса обновлены3 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста, включая задачи обработки естественного языка и работы с кодом, и может использоваться в локальных приложениях через совместимые средства инференса GGUF.

Модель поддерживает мультиязычную генерацию, включая арабский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, иврит, венгерский, итальянский, японский, корейский, норвежский, польский, португальский, русский, испанский, шведский, тайский, турецкий и украинский языки. Доступны варианты квантования Q2_K_S, Q2_K, Q3_K_M, Q3_K_L, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 1,59 до 7,68 ГБ. Кванты подготовлены с использованием imatrix dataset и поддерживают различные режимы вычислений на CPU и GPU, включая AVX2, ARM NEON, Metal, cuBLAS, rocBLAS и SYCL; отдельные конфигурации могут работать медленнее или иметь ограничения совместимости.

Сильными сторонами модели являются широкий выбор размеров квантования, мультиязычность и возможность локального запуска на разнообразном оборудовании. Ограничения включают отсутствие сведений о точном размере архитектуры, длине контекста и результатах тестирования, а также возможное снижение качества и скорости при использовании компактных квантов. Модель распространяется по лицензии MIT.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Melvin56/Phi-4-mini-instruct-abliterated-GGUF

Original Model : huihui-ai/Phi-4-mini-instruct-abliterated

All quants are made using the imatrix dataset.

Model	Size (GB)
Q2_K_S	1.59
Q2_K	1.68
Q3_K_M	2.12
Q3_K_L	2.25
Q4_K_M	2.49
Q5_K_M	2.85
Q6_K	3.16
Q8_0	4.08
F16	7.68

	CPU (AVX2)	CPU (ARM NEON)	Metal	cuBLAS	rocBLAS	SYCL	CLBlast	Vulkan	Kompute
K-quants	✅	✅	✅	✅	✅	✅	✅ 🐢5	✅ 🐢5	❌
I-quants	✅ 🐢4	✅ 🐢4	✅ 🐢4	✅	✅	Partial¹	❌	❌	❌

✅: feature works
🚫: feature does not work
❓: unknown, please contribute if you can test it youself
🐢: feature is slow
¹: IQ3_S and IQ1_S, see #5886
²: Only with -ngl 0
³: Inference is 50% slower
⁴: Slower than K-quants of comparable size
⁵: Slower than cuBLAS/rocBLAS on similar cards
⁶: Only q8_0 and iq4_nl

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c1e61d0