Характеристики

Архитектура: llava_llama · dense
Базовая модель: navila-llama3-8b-8f
Библиотека: pytorch
Опубликована: 29 июл 2026

Ссылки

Orca_VLN-FP8

Языковая модельИзображение, текст → action

Квантизированный в E4M3 FP8 артефакт NaVILA для визуально-языковой навигации роботов с уменьшенными требованиями к памяти при инференсе.

12скачиваний за 30 дней0лайковвеса обновлены29 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OrcaVLN NaVILA FP8 — артефакт инференса для базовой модели визуально-языковой навигации Orca_VLN. Он основан на дообученной модели a8cheng/navila-llama3-8b-8f с архитектурой LlavaLlama и предназначен для навигационных сценариев в робототехнике, где модель использует визуальные и текстовые данные. В языковой модели квантизированы 225 линейных слоёв в формате E4M3 FP8, а vision tower и мультимодальный проектор оставлены в FP16; размер артефакта составляет около 9,0 ГиБ вместо 15,8 ГиБ у исходного чекпойнта.

Для запуска README указывает PyTorch 2.7, CUDA 12.8 и видеокарту NVIDIA с compute capability 8.9 или выше; отдельно упомянуты RTX 4090 и RTX 5070 Ti. Артефакт предназначен для инференса NaVILA в составе Orca_VLN, а использование подчиняется лицензиям исходной модели NaVILA и базовых моделей. Карточка не сообщает точный набор поддерживаемых языков и длину контекста.

Сценарии применения

визуальная навигация робота по сцене
выполнение навигационных инструкций на основе изображений и текста
инференс модели NaVILA на GPU с ограниченной видеопамятью

Ограничения

Для запуска требуются PyTorch 2.7, CUDA 12.8 и NVIDIA GPU с compute capability 8.9 или выше; на 16 ГиБ RTX 5070 Ti рекомендуется выделить GPU только под инференс NaVILA. Качество, языки и длина контекста в предоставленных источниках не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Orca_VLN NaVILA FP8

E4M3 FP8 inference artifact for the Orca_VLN visual-language navigation baseline.

The artifact quantizes 225 Linear layers in the NaVILA language model. The vision tower and multimodal projector remain FP16. It is approximately 9.0 GiB, compared with approximately 15.8 GiB for the source checkpoint.

Download and run

Clone the fp8 branch and run its installer:

git clone --branch fp8 https://github.com/openverse-orca/Orca_VLN.git
cd Orca_VLN
./NaVILA-Orca/scripts/setup_all.sh

Verify the exact FP8 CUDA kernel and start the service:

./NaVILA-Orca/scripts/test_navila_fp8_gpu.py
./NaVILA-Orca/scripts/start_navvlm_server.sh -fp8

The runtime requires the project-owned FP8Linear implementation and is not a drop-in Transformers checkpoint. Use the loader shipped in the fp8 branch.

Hardware

NVIDIA compute capability 8.9 or newer
PyTorch 2.7 with CUDA 12.8
RTX 4090 (Ada) and RTX 5070 Ti (Blackwell) are supported by the runtime
A 16 GiB RTX 5070 Ti should be dedicated to NaVILA inference; running OrcaLab on the same GPU may exceed available VRAM

Artifact

File	Purpose
`model-fp8.pt`	Serialized NaVILA model with E4M3 LLM Linear weights
`fp8_manifest.json`	Format, quantized module list, size, and checksum
`config.json`	NaVILA model configuration

model-fp8.pt SHA-256:

78ef32bf7a586321b105157a359385afd2998ce09e91525b9bf783c51cdd6f0a

The artifact was derived from a8cheng/navila-llama3-8b-8f at revision b2294e96581454468d6b94f38201f4f965ef48b7. Usage remains subject to the upstream NaVILA model and underlying model licenses.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Класс архитектуры: LlavaLlamaModel
Ревизия весов: f2db2bd