These are quantizations of the model Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2
Original model: https://huggingface.co/huihui-ai/Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2
Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2-GGUF — набор квантованных версий модели Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель опубликована пользователем noctrex и основана на модели huihui-ai. По карточке она предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов. Суффикс Instruct указывает на настройку для выполнения пользовательских инструкций, а GGUF — на формат, ориентированный на локальный запуск средствами, поддерживающими этот формат.
Из известных характеристик — размер базовой модели около 24 миллиардов параметров и наличие мультимодального сценария работы с изображениями и текстом. Ключевое преимущество набора — возможность выбрать подходящий уровень квантования для снижения требований к памяти и запуска на совместимом локальном оборудовании, однако конкретные варианты квантования, требования к ресурсам, поддерживаемые языки, размер контекста и результаты тестирования в README не указаны. Лицензия и ограничения на использование также не указаны; перед применением следует ознакомиться с условиями лицензии исходной модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2
Original model: https://huggingface.co/huihui-ai/Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated-v2
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).