Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 16,2 ГБ
Архитектура: minicpmv · dense
Базовая модель: MiniCPM-V-2_6
Опубликована: 8 сен 2024

Ссылки

MiniCPM-V-2_6_ft_20240908_220534

Генерация текстаТекст → текст6 профессий

Дообученная MiniCPM-V 2.6 на 7,1 млрд параметров для диалоговой генерации текста и мультимодального анализа изображений и видео.

23скачиваний за 30 дней0лайковвеса обновлены9 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiniCPM-V-26ft20240908220534 — дообученная версия мультимодальной модели MiniCPM-V 2.6, созданная автором репозитория muhtasham. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MiniCPMV и распространяется в формате safetensors. Базовая MiniCPM-V 2.6 предназначена для диалога и анализа изображений, нескольких изображений и видео; для этой версии README указывает дообучение на неизвестном наборе данных и значение loss 0,1097 на оценочной выборке.

Модель можно использовать как диалоговую систему для генерации текста и анализа визуального содержимого в сценариях, поддерживаемых базовой моделью. Метаданные каталога указывают задачу text-generation и возможность chat; контекст составляет 32 768 токенов. Карточка не описывает особенности дообучения, его данные или оценочную методику, поэтому результат loss нельзя интерпретировать как подтверждение качества на конкретной задаче. Лицензия в предоставленных данных не указана.

Сценарии применения

диалоговые ответы на текстовые запросы
описание содержимого изображений
ответы на вопросы по нескольким изображениям
анализ видеосодержимого в диалоге

Ограничения

Набор данных и назначение дообучения не раскрыты; значение loss 0,1097 приведено без описания методики оценки. Языковая поддержка и лицензия в предоставленных данных не указаны.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniCPM-V-2_6_ft_20240908_220534

This model is a fine-tuned version of openbmb/MiniCPM-V-2_6 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1097

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-06
train_batch_size: 4
eval_batch_size: 4
seed: 42
distributed_type: multi-GPU
num_devices: 4
total_train_batch_size: 16
total_eval_batch_size: 16
optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.01
training_steps: 500

Training results

Training Loss	Epoch	Step	Validation Loss
No log	0.3731	50	0.1153
No log	0.7463	100	0.1103
0.1504	1.1194	150	0.1150
0.1504	1.4925	200	0.1097

Framework versions

Transformers 4.40.0
Pytorch 2.1.2+cu121
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: MiniCPMV
Ревизия весов: b9668fc