/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Dolphin-Mistral-24B-Venice-Edition
Библиотека
gguf
Опубликована
31 авг 2026

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF

Изображение и текст → текст15 профессий

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF — это набор квантованных GGUF-версий модели Dolphin-Mistral-24B-Venice-Edition, разработанный пользователем douganger на основе релиза 1.2 от dphn.

15 714скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для запуска локально с использованием совместимых инструментов, включая llama.cpp, и ориентирована на мультимодальные сценарии с обработкой текста и изображений, а также на работу с инструментами.

Архитектурно это модель семейства Mistral с размером около 24 млрд параметров; доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 10,69 до 23,33 ГБ. Для версии 1.2 заявлены поддержка vision, контекст длиной до 131 тыс. токенов и улучшенный tool calling. Vision-адаптеры и importance matrix включены в сборку. README не указывает полный перечень поддерживаемых языков.

Сильные стороны модели — широкий контекст, мультимодальность, улучшенная работа с инструментами и несколько вариантов квантования с разным компромиссом между размером и качеством; Q4_K_M обозначен как хороший вариант по умолчанию, а Q8_0 — практически эквивалентный исходным весам BF16. Ограничения связаны с требованиями к памяти, зависящими от выбранного квантования, а также с тем, что фактическая поддержка vision и tool calling зависит от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Dolphin Mistral 24B Venice Edition 1.2 GGUF

GGUF quantizations of dphn/Dolphin-Mistral-24B-Venice-Edition, built from version 1.2, with vision adapters and an importance matrix. All the Dolphin-Mistral-24B-Venice-Edition GGUFs I could find on Hugging Face were converted from an earlier release, so I built these from version 1.2, introduced in 337ce042026e: "Updated to version 1.2 - vision + 131k context + improved tool calling".

Quality vs size

Every quant was measured by KL-divergence against the BF16 weights on held-out wikitext-2 (128 chunks).

image/png

QuantSizebpwMean KLD vs BF16PPL ratioNotes
Q3_K_M10.69 GB3.890.0492301.0585
IQ4_XS11.88 GB4.330.0201381.0244Best pick under 12 GB.
Q4_K_M13.35 GB4.870.0165591.0221Good default choice.
Q5_K_M15.61 GB5.690.0039891.0049
Q6_K18.02 GB6.570.0015761.0018
Q8_023.33 GB8.500.0001881.0004Effectively lossless.

BF16 (43.92 GB) is the reference and is included for anyone wanting to re-quantize without re-downloading the safetensors.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
7e247c4

0 моделей