Характеристики

Контекст: 4 096 токенов
Параметры: 6,7 млрд
Лицензия: CC BY 4.0
Архитектура: chameleon · dense
Библиотека: transformers
Опубликована: 12 сен 2024

Ссылки

AA-chameleon-7b-plus

Мультимодальная модель3 профессии

Мультимодальная модель Chameleon на 6,7 млрд параметров для обработки и генерации чередующихся последовательностей текста и изображений.

17скачиваний за 30 дней5лайковвеса обновлены13 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Align-Anything Chameleon 7B Plus — мультимодальная модель семейства Chameleon, разработанная командой PKU-Alignment. Она принимает и генерирует чередующиеся последовательности текста и изображений; модель основана на Chameleon и дополнительно обучена и выровнена алгоритмом Align-Anything для развития генерации изображений и лучшего соответствия человеческим предпочтениям. Архитектура плотная, число параметров — 6,7 млрд, нативная длина контекста — 4096 токенов. Для работы используется библиотека Transformers, веса представлены в формате PyTorch.

Модель предназначена для мультимодальных сценариев, где нужно совместно обрабатывать и создавать текст и изображения, например для диалога по изображениям и генерации изображений по текстовому контексту. Карточка указывает английский язык. Лицензия — CC BY 4.0.

Сценарии применения

ответы на вопросы по изображению с текстовым контекстом
генерация изображений по текстовой инструкции
создание чередующихся текстовых и графических последовательностей
мультимодальный диалог с изображениями

Ограничения

Нативный контекст ограничен 4096 токенами. Карточка не приводит количественных оценок качества или подробных ограничений применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Align-Anything Chameleon 7B Plus

Introduction

Repository for Align-Anything Chameleon 7B Plus, a powerful model for text-image interleaved input and output, with further alignment by Align-Anything algorithm. This model is based on the Chameleon model, and is trained and aligned on the Align-Anything framework to further unlock its capability of image generation, and improve the alignment ability towards human preferences.

Usage

To use this model, you can refer to the Align-Anything repository for more details, including the training, inference and evaluation:

git clone https://github.com/PKU-Alignment/align-anything.git
cd align-anything/projects/text_image_to_text_image

Then follow the instructions in the README.md file to set up the environment and run the scripts.

Currently, the official Transformer repo does not support Chameleon model with image output (see this PR for more details), so we rely on a certain fork of the repo.

After installing Align-Anything and correctly set up the envrionment, you can install the forked stable version of the repo by running:

pip install git+https://github.com/htlou/transformers.git@hantao_stable_cham

If you want to generate image (pure text generation can be directly done by Transformers), you can follow the instructions in the mmsg_chameleon repo to run the inference.

git clone https://github.com/htlou/mmsg_chameleon.git
cd mmsg_chameleon

Then set up the envrionment using

pip install -e .

After setting up the envrioment, set up the correct paths in scripts/interleaved_gen.sh and then run

bash scripts/interleaved_gen.sh

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Класс архитектуры: ChameleonForConditionalGeneration
Ревизия весов: 624f7e7