Характеристики

Лицензия: MIT
Базовая модель: GLM-4-9B-0414-abliterated
Библиотека: transformers
Опубликована: 21 апр 2025

Ссылки

GLM-4-9B-0414-abliterated-GGUF

Генерация текстаТекст → текст10 профессий

Melvin56/GLM-4-9B-0414-abliterated-GGUF — это GGUF-квантизованная версия модели huihui-ai/GLM-4-9B-0414-abliterated, подготовленная пользователем Melvin56.

604скачиваний за 30 дней0лайковвеса обновлены26 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального запуска через совместимые реализации llama.cpp. В README указано, что квантизация выполнена с использованием imatrix и специального набора данных, а сами файлы пересобраны на базе llama.cpp build 558a7647 (5190).

Модель относится к семейству GLM и имеет размер 9B параметров в исходной версии; доступны варианты K-quants и I-quants. Поддерживаются CPU с AVX2 и ARM NEON, Metal, cuBLAS, rocBLAS и SYCL, а для отдельных вариантов также Vulkan и CLBlast; некоторые конфигурации работают медленнее или поддерживаются частично. Заявлены китайский и английский языки, текстовая модальность и контекст генерации текста, однако точный размер контекстного окна в README не указан.

К сильным сторонам относятся возможность локального запуска на широком спектре CPU и GPU, выбор разных уровней квантизации и совместимость с llama.cpp. Ограничения включают зависимость производительности и доступности отдельных вариантов от backend и аппаратной платформы, а также отсутствие подробных данных о качестве, бенчмарках и точном контекстном окне. Модель распространяется по лицензии MIT.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Melvin56/GLM-4-9B-0414-abliterated-GGUF

Original Model : huihui-ai/GLM-4-9B-0414-abliterated

Llama.cpp build: 558a7647 (5190)

I used imatrix to create all these quants using this Dataset.

Update-01
  * [Fixed Quant] Re-quantized all quants with build: 558a7647 (5190)

	CPU (AVX2)	CPU (ARM NEON)	Metal	cuBLAS	rocBLAS	SYCL	CLBlast	Vulkan	Kompute
K-quants	✅	✅	✅	✅	✅	✅	✅ 🐢5	✅ 🐢5	❌
I-quants	✅ 🐢4	✅ 🐢4	✅ 🐢4	✅	✅	Partial¹	❌	❌	❌

✅: feature works
🚫: feature does not work
❓: unknown, please contribute if you can test it youself
🐢: feature is slow
¹: IQ3_S and IQ1_S, see #5886
²: Only with -ngl 0
³: Inference is 50% slower
⁴: Slower than K-quants of comparable size
⁵: Slower than cuBLAS/rocBLAS on similar cards
⁶: Only q8_0 and iq4_nl

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 8b39622