Мультимодальная авторегрессионная модель на 6,7 млрд параметров для задач зрения и языка, особенно генерации фотореалистичных изображений по текстовому описанию.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Lumina-mGPT-7B-768 — мультимодальная авторегрессионная модель семейства Lumina-mGPT, представленная в репозитории Alpha-VLLM. Она предназначена для задач, объединяющих зрение и язык, и особенно ориентирована на генерацию фотореалистичных изображений по текстовым описаниям. Архитектура модели — плотная ChameleonXLLMXForConditionalGeneration; размер составляет 6,7 млрд параметров, максимальный контекст — 4096 токенов.
Модель поддерживает мультимодальную генерацию и обработку данных, сочетая текст и изображения. В репозитории указаны веса safetensors; реализация и код для сэмплирования доступны в GitHub. Лицензия в предоставленных данных не указана.
В описании особенно выделена генерация фотореалистичных изображений по тексту; качество и надёжность для других задач не охарактеризованы. Лицензия не указана в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Lumina-mGPT is a family of multimodal autoregressive models capable of various vision and language tasks, particularly excelling in generating flexible photorealistic images from text descriptions.
We provide the implementation of Lumina-mGPT, as well as sampling code, in our github repository.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Any-to-any модели пока не поддерживаются.