Характеристики

Контекст: 4 096 токенов
Размер весов: 16,9 ГБ
Лицензия: Apache 2.0
Архитектура: llava_llada · dense
Библиотека: transformers
Опубликована: 7 июн 2025

Ссылки

lavida-llada-v1.0-instruct-hf-transformers

Генерация текстаТекст → текст3 профессии

Совместимая с Transformers мультимодальная модель LaViDa-LLaDa для диалогов и генерации текста по изображениям и текстовым запросам.

226скачиваний за 30 дней0лайковвеса обновлены13 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LaViDa-LLaDa v1.0 Instruct — версия контрольной точки, совместимая с Transformers, для загрузки и инференса через API библиотеки Hugging Face Transformers. Архитектура модели относится к семейству Llava-LLaDa; модель принимает изображения и текст и предназначена для диалогового взаимодействия с визуальным содержимым, а также генерации текста. В README приведён пример загрузки модели и обработчика изображений с использованием bfloat16.

Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache-2.0. Метаданные указывают поддержку задач image-text-to-text и text-generation. Размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не описаны.

Сценарии применения

ответы на вопросы о содержимом изображения
диалог по загруженному изображению
генерация текстовых описаний изображений

Ограничения

В предоставленных материалах не указаны поддерживаемые языки, размер модели и длина контекста; качество и ограничения для конкретных сценариев не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LaViDa-LLaDa v1.0 Instruct (Transformers-Compatible)

[Github][Paper] [Arxiv] [Checkpoints] [Data] [Website]

This is a transformers-compatible version of the LaViDa-LLaDa checkpoint. It allows direct loading via Huggingface transformers APIs for easier inference and integration.

Usage

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained('./lavida-llada-v1.0-instruct/')
model = AutoModelForCausalLM.from_pretrained('./lavida-llada-v1.0-instruct/', torch_dtype=torch.bfloat16)
image_processor = model.get_vision_tower().image_processor

model.resize_token_embeddings(len(tokenizer))
model.tie_weights()

License

Apache 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: LlavaLladaForMaskedDiffusion
Ревизия весов: 6abbe20