Характеристики

Лицензия: Apache 2.0
Опубликована: 7 янв 2025

Ссылки

Hugging Face arXiv 2412.01169

OmniFlow-v0.9

jacklishufan

Мультимодальная модель

OmniFlow-v0.9 — модель для генерации между модальностями, включая создание изображения по текстовому описанию.

0скачиваний за 30 дней13лайковвеса обновлены10 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniFlow-v0.9 — модель из репозитория jacklishufan, связанная с исследовательской работой «OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows». Она предназначена для генерации между модальностями; пример в карточке показывает создание изображения по текстовому описанию через OmniFlowPipeline и задачу t2i. В метаданных указаны pipeline any-to-any и форматы PyTorch и safetensors.

Модель распространяется по лицензии Apache-2.0. Карточка содержит пример генерации изображения, но не описывает поддерживаемые языки, контекст, размер модели или подробный перечень входных и выходных режимов.

Сценарии применения

создание изображений по текстовому описанию
генерация между модальностями с помощью OmniFlowPipeline
эксперименты с мультимодальными rectified flow моделями

Ограничения

В карточке приведён пример только текстовой генерации изображения, поэтому остальные режимы any-to-any и их качество по ней оценить нельзя. Языки, размер и длина контекста не приведены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This repository contains the model described in OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows.

Code: https://github.com/jacklishufan/OmniFlows

Usage:

from omniflow import  OmniFlowPipeline

pipeline = OmniFlowPipeline.load_pretrained('ckpts/v0.5',device='cuda')

pipeline.cfg_mode = 'new'
imgs = pipeline("portrait of a cyberpunk girl with neon tattoos and a visor,staring intensely. Standing on top of a building",height=512,width=512,add_token_embed=0,task='t2i')

See Notebook for more examples

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Ревизия весов: f9f72f3