Samantha-omni — дообученная мультимодальная модель MiniCPM-O для диалога с изображениями, видео и речью, включая потоковое взаимодействие.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Samantha-omni — дообученная мультимодальная модель Guilherme34 на основе семейства MiniCPM-O. Модель с плотной архитектурой MiniCPMO и 7,1 млрд параметров предназначена для диалога с изображениями, речью и видео, включая мультимодальное взаимодействие в реальном времени. Она поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers.
Модель подходит для диалога по изображениям и видео, распознавания и синтеза речи, а также многоязычных мультимодальных сценариев. Карточка заявляет уровень GPT-4o для задач зрения, речи и потокового взаимодействия, но не приводит сравнительных тестов, поэтому это заявление не подтверждено приведёнными данными. Лицензия в предоставленных сведениях не указана.
Заявление об уровне GPT-4o не подкреплено сравнительными результатами в карточке. Языки в карточке обозначены как многоязычные без перечисления конкретных языков.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
@article{yao2024minicpm,
title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
journal={arXiv preprint arXiv:2408.01800},
year={2024}
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.