Характеристики

Контекст: 128 000 токенов
Параметры: 7,1 млрд
Размер весов: 22,2 ГБ
Лицензия: MIT
Архитектура: qwen2_5_vl · dense
Базовая модель: Qwen2.5-VL-7B-Instruct
Библиотека: transformers
Опубликована: 29 сен 2026

Ссылки

OctLLM

OctLLM — мультимодальная модель на основе Qwen2.5-VL для генерации 3D-форм по тексту и изображениям и понимания 3D-объектов.

152скачиваний за 30 дней4лайкавеса обновлены5 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OctLLM — модель исследователей из Пекинского университета и независимых исследователей, опубликованная вместе с работой «Octrees as an Explicit 3D Language». Она объединяет генерацию 3D-форм по тексту и изображениям с пониманием 3D-объектов, представляя геометрию последовательностями разреженного октодерева (S-Octree): токенами занятости, привязанными к координатам и глубине октодерева.

Модель дообучена на мультимодальной основе Qwen/Qwen2.5-VL-7B-Instruct и содержит 7,1 млрд параметров. Для обработки 3D-данных в ней добавлены обучаемые ветви рядом с замороженной основой Qwen2.5-VL; текстовые, графические и mesh-токены обрабатываются отдельными путями и взаимодействуют через общее self-attention. Для завершения октодеревьев и декодирования текстурированных сеток используются 3D U-Net и предварительно обученные декодеры TRELLIS. Контекст — 128 000 токенов; веса доступны в формате safetensors, лицензия — MIT.

Для загрузки требуются официальная реализация и её код для пользовательских 3D-компонентов. Описание подтверждает генерацию 3D по тексту и изображению и понимание 3D, но метаданные каталога отмечают только задачу text-to-3d.

Сценарии применения

создание 3D-форм по текстовому описанию
создание 3D-модели по изображению
понимание и анализ 3D-геометрии
генерация разреженных октодеревьев для представления формы
декодирование сгенерированной геометрии в текстурированную сетку

Ограничения

Для запуска нужны официальная реализация и её код для пользовательских 3D-компонентов. В метаданных каталога указана только генерация 3D по тексту, хотя README также заявляет генерацию по изображениям и понимание 3D.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Official model weights for Octrees as an Explicit 3D Language.

OctLLM unifies text-to-3D, image-to-3D, and 3D understanding through an explicit 3D language. It represents shapes as Sparse Octree (S-Octree) sequences: occupancy tokens anchored to 3D coordinates and octree depth. This structured representation connects geometry generation and understanding within a single model.

To learn the 3D modality, OctLLM adds trainable branches alongside a frozen Qwen2.5-VL backbone. Mesh tokens and text/image tokens follow separate processing pathways and interact through shared self-attention. Generated octrees are completed by a 3D U-Net and decoded into textured meshes with pretrained TRELLIS decoders. The video below demonstrates generation, 3D understanding, and language interaction.

This repository contains the OctLLM checkpoint and occupancy completion weights. Use the official implementation for installation and inference; its loading code is required for the custom 3D components. More results are available on the project page.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

3D-генерация пока не поддерживается.

Класс архитектуры: Qwen2_5_VLForConditionalGeneration
Ревизия весов: f8b4027