Model
This repo contains the layout planner model of the paper TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering.
Usage
The script here can be used to perform inference with the model.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 6,6 млрд
- Размер весов
- 27 ГБ
- Лицензия
- MIT
- Архитектура
- llama · dense
- Библиотека
- diffusers
- Опубликована
- 10 дек 2023
Ссылки
textdiffuser2_layout_planner
Планировщик макета TextDiffuser-2 на базе Llama подготавливает размещение текста для генерации изображений с читаемыми надписями.
84скачиваний за 30 дней5лайковвеса обновлены28 окт 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
JingyeChen22/textdiffuser2_layout_planner — планировщик макета для TextDiffuser-2, разработанный для системы генерации изображений с текстом. В репозитории размещена модель из статьи «TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering»; карточка указывает архитектуру LlamaForCausalLM и 6,6 млрд параметров. Модель принимает текстовые запросы и предназначена для планирования размещения текста перед генерацией изображения; в метаданных также указана задача text-to-image.
Модель опубликована в формате PyTorch, использует библиотеку Diffusers и имеет контекстное окно 4096 токенов. Лицензия — MIT. README сообщает о наличии скрипта для запуска инференса, но не описывает точный формат результата планировщика, поддерживаемые языки или метрики качества.
Сценарии применения
- планирование расположения надписей на генерируемом изображении
- подготовка макета текста для создания постеров и рекламных изображений
- размещение нескольких текстовых фрагментов в изображении по запросу
Ограничения
README не приводит метрик качества, точного формата планирования или перечня поддерживаемых языков. Практическое применение требует инференс-скрипта и совместимой системы TextDiffuser-2.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · diffusers
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- f0de38f