UI-Venus-1.5-2B-GGUF — набор GGUF-квантизаций мультимодальной модели UI-Venus-1.5-2B, разработанной inclusionAI.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач image-to-text, то есть анализа изображений и генерации текстового описания их содержимого, включая сценарии локального запуска через llama.cpp.
Модель основана на UI-Venus-1.5-2B и доступна в нескольких вариантах квантизации. Для работы требуются актуальные версии llama.cpp и отдельный файл mmproj; для максимального качества рекомендуется версия mmproj в формате F32, затем BF16 или F16. Квантизация снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной моделью; конкретные размеры, архитектура, поддерживаемые языки и максимальная длина контекста в README не указаны.
Лицензия и условия распространения в предоставленных данных не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model UI-Venus-1.5-2B, using a imatrix created from text_en_medium
Usage Notes:
mmproj file, the F32 version is recommended for best results (F32 > BF16 > F16).На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).