Характеристики

Базовая модель: llava-llama-3-8b-v1_1-transformers
Библиотека: gguf
Опубликована: 20 дек 2024

Ссылки

llava-llama-3-8b-v1_1-imat-gguf

Изображение и текст → текст3 профессии

Модель city96/llava-llama-3-8b-v1_1-imat-gguf представляет собой GGUF-конверсию с imatrix базовой модели xtuner/llava-llama-3-8b-v1_1-transformers.

2 078скачиваний за 30 дней28лайковвеса обновлены20 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Её подготовил пользователь city96. Основное назначение модели — использование в качестве текстового энкодера для Hunyuan Video; также возможна работа с задачами компьютерного зрения при подключении совместимого файла mmproj из GGUF-репозитория xtuner.

Модель относится к семейству LLaVA на базе Llama 3 с размером 8B и поддерживает сценарий image-text-to-text при использовании соответствующего мультимодального проектора. Доступна в формате GGUF с imatrix-квантизацией. Для калибровки использован набор calibration_datav3.txt; заявлено, что варианты с imatrix превосходят проверки на wikitext и без imatrix для квантов ниже Q6_K. В README также отмечено различие vocab_size между версиями Transformers и HF; использована конфигурация Transformers, применявшаяся в официальном коде Hunyuan Video.

Ограничения модели включают необходимость совместимого mmproj-файла для полноценных vision-задач и низкую скорость IQ-квантов в ComfyUI из-за использования резервной реализации на numpy. Сведения о лицензии, поддерживаемых языках, размере контекста и точной архитектуре в README не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is an imatrix gguf conversion of xtuner/llava-llama-3-8b-v1_1-transformers.

Mainly intended to be used as the text encoder for Hunyuan Video, but possible to use for vision tasks with the mmproj file from the xtuner gguf repository.

The imatrix dataset used was calibration_datav3.txt by Bartowski, which was used for all quants under Q6_K. Tested against wikitext / no imatrix and it outperformed both.

Note that the vocab_size is different between the transformers (128 320) and the hf (128 256) repositories. This used the former as it was what was used in the official Hunyuan Video code.

IQ quants will be slow in ComfyUI due to using numpy fallback.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: f83ac00