Характеристики

Контекст: 32 768 токенов
Размер весов: 7,6 ГБ
Архитектура: qwen2_5_omni · dense
Библиотека: transformers
Опубликована: 23 сен 2026

Ссылки

Ovis-Omni-Embedding-3B-mixed-w2-w4-w8-ct

Генерация аудиоТекст → аудио3 профессии

Экспериментальная смешанно-квантованная версия Ovis-Omni-Embedding-3B для получения эмбеддингов через vLLM, с заметной потерей качества относительно BF16.

47скачиваний за 30 дней0лайковвеса обновлены24 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Ovis-Omni-Embedding-3B-mixed-w2-w4-w8-ct — это экспериментальная версия модели ATH-MaaS/Ovis-Omni-Embedding-3B, подготовленная в формате compressed-tensors для запуска через backend vLLM. В трансформерных блоках языковой модели применено смешанное сжатие весов: W2A16 для слоёв 0–13, W4A16 для слоёв 14–26 и W8A16 для слоя 27; мультимодальные аудио- и визуальные модули, а также вспомогательные веса talker/token2wav сохранены в BF16. Архитектура основана на Qwen2.5-Omni.

Модель предназначена для получения эмбеддингов через vLLM в сценариях, где требуется векторное представление входа; README сообщает о нормализованном векторе размерности 2048 при тестовом запуске. Артефакт проверен на RTX 3080 Laptop GPU с 8 ГБ памяти при ограничении контекста 256 токенов. Проверка качества выявила значительное расхождение с BF16-версией: средний cosine similarity составил −0,0357, совпадение ближайших соседей и Recall@1 — 10%, поэтому модель не является качественно эквивалентной заменой исходной.

Лицензия в доступных материалах не приведена; README отсылает к карточке исходной модели ATH-MaaS/Ovis-Omni-Embedding-3B. Перед использованием следует проверить её условия. Метаданные указывают pipeline-тег text-to-audio, но README описывает тест эмбеддингов, а каталог также классифицирует модель как text-to-audio; подробные входные сценарии для эмбеддингов в карточке не раскрыты.

Сценарии применения

получение векторных представлений для мультимодального поиска через vLLM
экспериментальный запуск Ovis-Omni-Embedding-3B на GPU с ограниченной памятью
оценка компромисса между сжатием весов и качеством эмбеддингов

Ограничения

Сжатие не калибровалось по точности, а сравнение с BF16 показало низкое совпадение ближайших соседей и Recall@1 в 10%; модель не подходит как качественно эквивалентная замена BF16-версии. В тесте получен 2048-мерный эмбеддинг, однако метаданные классифицируют артефакт как text-to-audio, что расходится с описанным в README сценарием эмбеддингов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ovis-Omni-Embedding-3B — experimental mixed W2/W4/W8

This is an experimental, model-free RTN compressed-tensors conversion of ATH-MaaS/Ovis-Omni-Embedding-3B. It is not a GPTQ checkpoint and has not been accuracy-calibrated.

The language-model transformer blocks use mixed weight-only compression:

layers 0–13: W2A16
layers 14–26: W4A16
layer 27: W8A16

The multimodal audio/vision towers and auxiliary talker/token2wav weights are preserved in BF16. The artifact is intended for vLLM's compressed-tensors backend and was tested with vLLM 0.30.0 on an 8 GB RTX 3080 Laptop GPU.

vLLM test

vllm serve . --runner pooling --convert embed \
  --max-model-len 256 --gpu-memory-utilization 0.75 --enforce-eager

/v1/embeddings returned a normalized 2048-dimensional vector. The test used the default model pooler; configure a 1024-dimensional pooler in the serving wrapper if required.

For the original model and license, see the upstream model card.

Independent screening and fidelity status

The published artifact has a constrained vLLM smoke result: HTTP readiness and a finite normalized 2048-dimensional embedding were observed with max-model-len=256. No BF16 cosine-drift or held-out retrieval score is claimed yet; those metrics must use the persisted BF16 reference fixture.

The completed 60-case BF16 comparison measured mean cosine -0.03569794, mean drift 1.03569794, nearest-neighbor agreement 10%, Recall@1 10%, Recall@5 50%, Recall@10 100%, and nDCG 0.46418892. This artifact is therefore not a quality-preserving replacement despite its constrained vLLM smoke pass.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Готовая квантизация поддерживается только для текстовых LLM.

Класс архитектуры: Qwen2_5OmniForConditionalGeneration
Ревизия весов: b124d94