Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SD3_prompt-llama_8b — дообученная модель семейства Llama 3 от matrixglitch, предназначенная для преобразования кратких или ненатурально сформулированных запросов в естественные языковые промпты для Stable Diffusion 3. Она старается сохранить исходную идею запроса, поскольку SD3 хуже работает с промптами, написанными неестественным языком. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов.
Дообучение выполнено за 1500 шагов на RTX 3090. В наборе данных было более 90 тысяч исходных промптов и 220 тысяч их преобразованных вариантов; весь набор не использовался из-за ограниченных вычислительных ресурсов. Автор сообщает о снижении отдачи от дальнейшего обучения при малом размере пакета. Модель распространяется по лицензии Llama 3; применяются условия этой лицензии.
Сценарии применения
переформулирование короткого запроса в подробный промпт для SD3
преобразование ключевых слов в естественное описание изображения
улучшение промпта с сохранением исходной задумки
подготовка разговорного запроса для генерации изображения в SD3
Ограничения
Модель обучалась лишь на части датасета и сравнительно небольшом числе шагов; автор отмечает ограниченную отдачу от дальнейшего обучения при малом размере пакета. Её целевой сценарий — подготовка промптов для SD3.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
this finetune is based on llama3 8b and operates under the same license
the model aims to convert non-natural language prompts to natural language automatically while retaining the general idea of the prompt because SD3 performs poorly on non-natural language prompts.
this model was trained for 1500 steps on an RTX 3090 for 2.5 hours, training any longer gave a deminishing result because of the low batch size.
the dataset has 90k+ original prompts (non-natural language questions) and 220k modified prompts (natural language answers).
it has not been trained on the whole dataset because of lack of compute but the results are already amazing.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров