Экспериментальная смешанно-квантованная версия Ovis-Omni-Embedding-3B для получения эмбеддингов через vLLM, с заметной потерей качества относительно BF16.

Подходит для: получение векторных представлений для мультимодального поиска через vLLM · экспериментальный запуск Ovis-Omni-Embedding-3B на GPU с ограниченной памятью · оценка компромисса между сжатием весов и качеством эмбеддингов