tiny-random-LlavaForConditionalGeneration

Она предназначена для сценария image-text-to-text: обработки изображения и текстового запроса с генерацией текста. В карточке модели указана поддержка Transformers.js, Transformers и ONNX.

Архитектура основана на LlavaForConditionalGeneration: конфигурация включает небольшой vision encoder на базе CLIP и текстовый декодер на базе Llama, соединённые проектирующим слоем. Указаны 1,05 млн параметров, тип данных F32, размер изображения 30 пикселей и словарь из 32 002 токенов; сведения о поддерживаемых языках и размере контекстного окна отсутствуют.

Главное преимущество модели — крайне малый размер и возможность локального запуска через доступные экосистемы Transformers.js и ONNX. Однако модель имеет экспериментально малую конфигурацию, а карточка не содержит сведений о результатах обучения, качестве, бенчмарках или прикладной точности, поэтому её пригодность для продуктивных задач ограничена и не подтверждена. Лицензия — Apache-2.0.