NangWeiLun/MiMo-VL-7B-RL-2508-bnb-4bit-fp4 — это 4-битная квантованная версия мультимодальной модели MiMo-VL-7B-RL-2508, разработанной XiaomiMiMo.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач преобразования изображений и текста в текст и рассчитана на использование через библиотеку Transformers.
Модель имеет размер 7B параметров и использует квантование BitsAndBytes с точностью fp4. Для вычислений применяется bfloat16, двойное квантование отключено, а веса сохранены в формате safetensors. Квантирование снижает потребление памяти и позволяет запускать модель на пользовательских GPU с объёмом видеопамяти до 12 ГБ, однако может привести к небольшому снижению качества генерации по сравнению с исходной моделью.
README не содержит информации о поддерживаемых языках, размере контекста и подробностях архитектуры. Указанная лицензия — MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a 4-bit quantized version of XiaomiMiMo/MiMo-VL-7B-RL-2508,
using the BitsAndBytes library.
Quantization reduces memory usage and makes it possible to run this model on consumer GPUs
(≤ 12 GB VRAM), at the cost of a small reduction in generation quality.
fp4)safetensorsНа своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Готовая квантизация поддерживается только для текстовых LLM (vLLM).