joytag

JoyTag — модель компьютерного зрения, опубликованная fancyfeast и основанная на разработке fpgaminer, для автоматического многометочного тегирования изображений. Она прогнозирует более 5000 тегов в схеме Danbooru, причем каждый тег классифицируется независимо, поэтому модель может одновременно описывать несколько объектов, характеристик и визуальных признаков изображения.

Модель построена на архитектуре ViT-B/16 с CNN-стемом и GAP-головой, принимает изображения размером 448×448 и содержит около 91,5 млн параметров. Она ориентирована на изображения от рисованных до фотографических и особенно полезна для подготовки датасетов, поиска и организации изображений, а также автоматического добавления тегов к изображениям для обучения моделей генерации. В репозитории доступны форматы Safetensors и ONNX, библиотека Transformers и pipeline image-classification.

Модель выпущена под лицензией Apache-2.0. Ее точность зависит от порога классификации и распределения данных; исходный обучающий набор Danbooru ограничивает разнообразие и может усиливать смещение в сторону аниме и манга-контента. Это классификатор тегов, а не модель генерации изображений, описания естественным языком или распознавания текста.