ShapeLLM-Omni — мультимодальная модель на базе Qwen2.5-VL для понимания, генерации и редактирования 3D-объектов по тексту и изображениям.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ShapeLLM-Omni — мультимодальная модель для понимания и генерации 3D-объектов, разработанная Junliang Ye, Zhengyi Wang, Ruowen Zhao, Shenghao Xie и Jun Zhu. Репозиторий содержит веса ShapeLLM-7B-omni на базе архитектуры Qwen2.5-VL: модель с 7,1 млрд параметров дообучена по инструкциям на наборе 3D-Alpaca, а форму объектов она представляет с помощью дискретных 3D-токенов, полученных из VQ-VAE.
Модель предназначена для генерации 3D-ассетов, понимания объектов и редактирования 3D-контента в диалоге с текстом и изображениями. Метаданные указывают контекст до 128 000 токенов; репозиторий содержит веса safetensors для Transformers. Лицензия — MIT.
Это исследовательская попытка добавить базовые 3D-возможности к мультимодальным языковым моделям; качество и область применения могут быть ограничены тренировочным набором и используемым представлением 3D-токенов.
В README модель характеризуется как попытка добавить базовые 3D-возможности и ориентирована на будущие исследования; результаты могут зависеть от покрытия и качества данных 3D-Alpaca и представления объектов дискретными 3D-токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Paper | Project Page | Code
Pre-trained model weights of ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding
Junliang Ye*, Zhengyi Wang*, Ruowen Zhao*, Shenghao Xie, Jun Zhu
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
3D-генерация пока не поддерживается.