Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Архитектура: minicpmv · dense
Базовая модель: MiniCPM-Llama3-V-2_5
Опубликована: 22 авг 2024

Ссылки

MiniCPM-Llama3-V-2_5-GGUF

Генерация текстаТекст → текст3 профессии

MiniCPM-Llama3-V-2_5-GGUF — это GGUF-квантизованная версия мультимодальной модели MiniCPM-Llama3-V-2_5, разработанной openbmb и подготовленной к квантизации компанией Second State Inc.

817скачиваний за 30 дней1лайквеса обновлены22 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена прежде всего для задач visual question answering, то есть для ответов на вопросы по визуальному содержимому, и поддерживает английский и китайский языки.

Доступны варианты с квантизацией от 2 до 8 бит, а также версия f16. Размер файлов составляет примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по размеру и качеству, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Модели квантизованы с использованием llama.cpp b3613. Архитектура исходной модели, число параметров, поддерживаемые модальности помимо визуальных входов и размер контекста в README не указаны.

Главное преимущество набора — возможность выбрать компромисс между требованиями к памяти и качеством работы; низкобитные варианты занимают меньше места, но могут существенно терять качество. Для большинства сценариев README не рекомендует Q2_K, Q3 и некоторые legacy-варианты из-за заметной потери качества. Сведения о лицензии и условиях коммерческого использования отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniCPM-Llama3-V-2_5-GGUF

Original Model

openbmb/MiniCPM-Llama3-V-2_5

Run with LlamaEdge

LlamaEdge version: coming soon

Quantized GGUF Models

Name	Quant method	Bits	Size	Use case
MiniCPM-Llama3-V-2_5-Q2_K.gguf	Q2_K	2	3.18 GB	smallest, significant quality loss - not recommended for most purposes
MiniCPM-Llama3-V-2_5-Q3_K_L.gguf	Q3_K_L	3	4.32 GB	small, substantial quality loss
MiniCPM-Llama3-V-2_5-Q3_K_M.gguf	Q3_K_M	3	4.02 GB	very small, high quality loss
MiniCPM-Llama3-V-2_5-Q3_K_S.gguf	Q3_K_S	3	3.66 GB	very small, high quality loss
MiniCPM-Llama3-V-2_5-Q4_0.gguf	Q4_0	4	4.66 GB	legacy; small, very high quality loss - prefer using Q3_K_M
MiniCPM-Llama3-V-2_5-Q4_K_M.gguf	Q4_K_M	4	4.92 GB	medium, balanced quality - recommended
MiniCPM-Llama3-V-2_5-Q4_K_S.gguf	Q4_K_S	4	4.69 GB	small, greater quality loss
MiniCPM-Llama3-V-2_5-Q5_0.gguf	Q5_0	5	5.60 GB	legacy; medium, balanced quality - prefer using Q4_K_M
MiniCPM-Llama3-V-2_5-Q5_K_M.gguf	Q5_K_M	5	5.73 GB	large, very low quality loss - recommended
MiniCPM-Llama3-V-2_5-Q5_K_S.gguf	Q5_K_S	5	5.60 GB	large, low quality loss - recommended
MiniCPM-Llama3-V-2_5-Q6_K.gguf	Q6_K	6	6.60 GB	very large, extremely low quality loss
MiniCPM-Llama3-V-2_5-Q8_0.gguf	Q8_0	8	8.54 GB	very large, extremely low quality loss - not recommended
MiniCPM-Llama3-V-2_5-f16.gguf	f16	16	16.1 GB

Quantized with llama.cpp b3613.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Модели нужен код из репозитория; запуск откроется после проверки совместимости.

Класс архитектуры: LlamaForCausalLM
Ревизия весов: cf0f11d