MiMo-V2.6-Distill-Qwen-9B-GGUF — квантованная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и представленной в формате GGUF проектом ggml-org.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач преобразования изображений и текста, включая мультимодальное понимание содержимого изображений и работу с текстовыми запросами. В комплект входит Q8_0 mmproj для vision encoder.
Модель основана на дистиллированной 9-миллиардной версии Qwen; точная архитектура, поддерживаемые языки, размер контекста и перечень квантовок в README не указаны. Формат GGUF ориентирован на запуск через совместимые инструменты, в частности llama.app и llama.cpp-совместимую инфраструктуру. Квантование может снизить требования к памяти, но потенциально влияет на точность по сравнению с полноразмерной версией.
Лицензия — MIT. В README отмечено, что текущая версия содержит временное исправление chat template, которое планируется удалить после исправления шаблона в исходной модели; это может ограничивать совместимость или требовать обновлений при последующих релизах.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Run with https://llama.app
llama serve -hf ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF
[!IMPORTANT] This model is automatically converted using https://github.com/ggml-org/convert
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).