IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейMobileNet-EdgeTPU-V2 m.ra4_e3600_r224_in1k — модель классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом и обученная на ImageNet-1k. Она рассчитана на распознавание объектов на изображениях и может использоваться как компактная базовая сеть для задач компьютерного зрения. Модель содержит 8,5 млн параметров, требует около 1,9 GMACs вычислений и обучалась на изображениях размером 224 × 224 пикселя; для тестирования в карточке указано разрешение 256 × 256. Обучение проводилось с помощью timm, с гиперпараметрами, основанными на MobileNet-V4 Small и практиках timm и «ResNet Strikes Back». Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Данные карточки не подтверждают поддержку Edge TPU как аппаратной платформы исполнения, поэтому это название архитектуры не следует считать гарантией совместимости с конкретным устройством.
mobilenetv2_050.lamb_in1k — модель классификации изображений семейства MobileNetV2, опубликованная проектом timm. Она обучена на ImageNet-1k и предназначена для распознавания объектов на изображениях; её также можно использовать как компактную основу для извлечения карт признаков и получения эмбеддингов изображений. Модель содержит около 2 млн параметров, требует примерно 0,1 GMAC на изображение и рассчитана на вход размером 224 × 224 пикселя. При обучении применялась схема с оптимизатором LAMB и усреднением весов EMA; репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Компактный размер делает модель подходящей для задач классификации с ограниченными вычислительными ресурсами. Её классы и качество ориентированы на ImageNet-1k, поэтому для других предметных областей может потребоваться адаптация; сведения о других языковых или мультимодальных возможностях в карточке не приводятся.
MViTv2 Base — модель классификации изображений на основе многомасштабного Vision Transformer, опубликованная авторами статьи MViTv2. Она предварительно обучена на ImageNet-22k (вариант Winter21), а затем дообучена на ImageNet-1k. Модель содержит 65,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для присвоения изображению класса из набора ImageNet-1k, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. В карточке отмечено, что классификатор модели не соответствует ожидаемому лексикографическому порядку synset-классов, поэтому метки классов следует сопоставлять с осторожностью. Доступна в форматах PyTorch и safetensors через библиотеку timm. Лицензия — Apache-2.0.
naflexivitb16apc1siglip-v2-webli — визуальный энкодер на основе NaFlex ViT-B/16 из семейства SigLIP 2, опубликованный birder-project. Модель дообучена на базе google/siglip2-base-patch16-naflex и предназначена для извлечения признаков изображений; карточка также описывает её как backbone для классификации изображений и обнаружения объектов. Веса и архитектура сохранены для последующего применения в других задачах. Модель содержит 92,9 млн параметров и принимает изображения размером 256 × 256. Она выдаёт эмбеддинги изображений и карты признаков для обнаружения объектов. Репозиторий использует формат PyTorch и библиотеку Birder. Лицензия — Apache-2.0. Карточка не сообщает о поддержке обработки текста или о конкретных ограничениях качества.
NesT Small JAX Google ImageNet-1k — модель классификации изображений и визуальный backbone семейства Nested Hierarchical Transformer. Её обучили авторы статьи на ImageNet-1k с использованием JAX, затем Александр Соаре перенёс веса в PyTorch; модель опубликована в библиотеке timm. Модель принимает изображения размером 224 × 224 и предсказывает классы изображений. Её также можно использовать как backbone для извлечения карт признаков и визуальных эмбеддингов. В модели 38,4 млн параметров; вычислительная сложность составляет 10,4 GMACs. Модель рассчитана на задачи компьютерного зрения общего назначения, прежде всего классификацию изображений. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает поддержку текстового ввода или других языков: модель работает с изображениями и выдаёт классификационные метки либо визуальные признаки.
nf_regnet_b1.ra2_in1k — модель для классификации изображений и извлечения визуальных признаков, обученная Ross Wightman в библиотеке timm на ImageNet-1k. Она основана на архитектуре NFRegNet: похожей на ResNet сети без слоёв нормализации, использующей Scaled Weight Standardization и скалярные коэффициенты в остаточных связях и нелинейностях. Модель содержит 10,2 млн параметров и требует около 0,8 GMAC на изображение. Размер изображений при обучении составлял 256×256 пикселей, при тестировании — 288×288. Её можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
GBDA/nsfw_image_detection — модель классификации изображений на базе Vision Transformer (ViT), дообученная для различения двух классов: обычный контент и NSFW. В основе лежит google/vit-base-patch16-224-in21k, предварительно обученная на ImageNet-21k; модель содержит 113,2 млн параметров и рассчитана на изображения, приводимые к разрешению 224×224 пикселя. Модель предназначена для фильтрации изображений и модерации контента в приложениях, где нужно выявлять материалы для взрослых. В README указано, что дообучение проводилось на 80 000 изображениях из закрытого набора данных. Модель распространяется по лицензии Apache-2.0. Карточка заявляет высокую точность, но не приводит метрик или независимой оценки; качество классификации и применимость к конкретному контенту следует проверять отдельно.
PoolFormerV2-S12 — модель классификации изображений и извлечения визуальных признаков из семейства MetaFormer. Она обучена авторами статьи на ImageNet-1k и предназначена для распознавания объектов на изображениях, получения карт признаков и визуальных эмбеддингов. Модель содержит 11,9 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 1,8 GMACs. Репозиторий предоставляет веса PyTorch и SafeTensors; использовать модель можно через библиотеку timm. Лицензия Apache-2.0.
Real or Clone? — модель семейства wav2vec2, разработанная для приложения Real or Clone? и дообученная на базе facebook/wav2vec2-xls-r-300m. Она классифицирует аудиозаписи, различая настоящую речь и голос, созданный клонированием с помощью ИИ; целевой сценарий — проверка голосовых заметок, записанных по телефону. Модель содержит около 402,7 млн параметров и распространяется в формате safetensors. Модель принимает аудио и выдаёт классификационный результат. В карточке указаны английский и французский языки. Лицензия CC BY-NC 4.0 разрешает использование с ограничениями, включая запрет коммерческого применения. Карточка не приводит оценок точности и подробностей о данных или устойчивости к новым методам клонирования.
Это конверсия официального чекпойнта ReDimNet2 B3 для MLX, подготовленного на VoxCeleb2-dev до дообучения с large-margin loss. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт 192-мерные эмбеддинги голоса, которые можно использовать для сравнения говорящих и верификации личности по голосу. Репозиторий содержит веса в формате safetensors и предназначен для запуска через MLX. По README, эмбеддинги совпадают с результатами эталонной реализации PyTorch с относительной ошибкой до 4,4×10⁻⁶ в проверке на CPU с float32. Лицензия — MIT.
Карточка модели facebook/regnet-y-064 на Hugging Face совпадает с карточкой facebook/regnet-y-080, поэтому описание составлено по ней. RegNet Y 080 — сверточная модель семейства RegNet для классификации изображений, обученная на ImageNet-1k. Архитектура разработана авторами статьи Designing Network Design Spaces и впервые опубликована в этом репозитории; карточку модели подготовила команда Hugging Face. В метаданных указаны реализации для PyTorch и TensorFlow и лицензия Apache-2.0. Модель предназначена для определения классов объектов на изображениях и может служить основой для дообученных вариантов под специализированные задачи. Она принимает изображение и выдаёт предсказания классов. Карточка не сообщает размер модели и ограничения сверх того, что для других задач следует искать дообученные версии.
Карточка модели facebook/regnet-y-120 на Hugging Face совпадает с карточкой facebook/regnet-y-080, поэтому описание составлено по ней. RegNet Y 080 — сверточная модель семейства RegNet для классификации изображений, обученная на ImageNet-1k. Архитектура разработана авторами статьи Designing Network Design Spaces и впервые опубликована в этом репозитории; карточку модели подготовила команда Hugging Face. В метаданных указаны реализации для PyTorch и TensorFlow и лицензия Apache-2.0. Модель предназначена для определения классов объектов на изображениях и может служить основой для дообученных вариантов под специализированные задачи. Она принимает изображение и выдаёт предсказания классов. Карточка не сообщает размер модели и ограничения сверх того, что для других задач следует искать дообученные версии.
RegNetY-16GF — модель классификации изображений и визуальная backbone-сеть из семейства RegNetY, доступная в реализации timm. Она предварительно обучена методом SWAG на примерно 3,6 млрд изображений Instagram с хештегами, а затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 83,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. В таблице карточки для неё указана точность top-1 86,024% и top-5 98,05% на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors через timm. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование.
Карточка модели facebook/regnet-y-320 на Hugging Face совпадает с карточкой facebook/regnet-y-080, поэтому описание составлено по ней. RegNet Y 080 — сверточная модель семейства RegNet для классификации изображений, обученная на ImageNet-1k. Архитектура разработана авторами статьи Designing Network Design Spaces и впервые опубликована в этом репозитории; карточку модели подготовила команда Hugging Face. В метаданных указаны реализации для PyTorch и TensorFlow и лицензия Apache-2.0. Модель предназначена для определения классов объектов на изображениях и может служить основой для дообученных вариантов под специализированные задачи. Она принимает изображение и выдаёт предсказания классов. Карточка не сообщает размер модели и ограничения сверх того, что для других задач следует искать дообученные версии.
RepVGG B2 — сверточная модель классификации изображений из семейства RepVGG, реализованная в библиотеке timm как вариант BYOBNet. Её обучили авторы статьи на ImageNet-1k; модель содержит около 89 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений в компьютерном зрении. Репозиторий содержит веса PyTorch и Safetensors, лицензия — MIT.
RepViT-M2.3 с дистилляцией — модель компьютерного зрения для классификации изображений и извлечения признаков, обученная авторами статьи RepViT на ImageNet-1k. Она также может служить визуальным backbone для получения карт признаков и эмбеддингов изображений. Модель содержит 23,7 млн параметров, выполняет около 4,6 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Модель распространяется в форматах PyTorch и Safetensors и предназначена для использования через библиотеку timm. Лицензия Apache-2.0 разрешает её коммерческое использование и модификацию с соблюдением условий лицензии. Карточка не сообщает об ограничениях качества или безопасности; классификация ограничена областью меток ImageNet-1k.
res2net50d.in1k — модель классификации изображений и извлечения признаков на архитектуре Res2Net, созданная авторами работы Res2Net и обученная на ImageNet-1k. Она использует многоуровневое представление признаков в стиле ResNet и содержит около 25,7 млн параметров; для классификации рассчитана на изображения размером 224 × 224. Модель можно применять для распознавания объектов из классов ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Модель распространяется в форматах PyTorch и safetensors и предназначена для использования через библиотеку timm. Карточка не указывает лицензию, поэтому условия распространения и коммерческого использования следует уточнять у владельца репозитория.
ResNeSt-26d.gluon_in1k — модель классификации изображений на архитектуре ResNeSt, разработанной авторами статьи о Split-Attention Networks. Модель обучена авторами статьи на ImageNet-1k и содержит около 17,1 млн параметров. Она рассчитана на изображения размером 224 × 224 пикселя и может использоваться как классификатор или как backbone для извлечения признаков и эмбеддингов изображений. Модель подходит для классификации изображений по классам ImageNet-1k и построения визуальных представлений для дальнейших задач компьютерного зрения. В README указаны вычислительная сложность 3,6 GMACs и 10 млн активаций. Репозиторий содержит веса PyTorch и safetensors, библиотека для работы — timm. Лицензия — Apache-2.0.
timm/resnet18d.ra2_in1k — свёрточная модель семейства ResNet-D для классификации изображений, опубликованная разработчиками timm. Она обучена на ImageNet-1k по рецепту RA2 с RandAugment, оптимизатором RMSProp, усреднением весов EMA и ступенчатым расписанием скорости обучения. Архитектура использует активации ReLU, трёхслойный блок начальных свёрток 3×3 с пулингом и shortcut-соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Модель содержит 11,7 млн параметров и предназначена для классификации изображений; также её можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. При обучении использовались изображения 224×224, для тестирования — 288×288. Репозиторий доступен в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель подходит для классификации изображений общего назначения и получения визуальных признаков в приложениях компьютерного зрения. Она обучена на ImageNet-1k, поэтому её классификационные возможности связаны с этим набором данных; README не описывает специализированные предметные области или поддержку других типов входных данных.
ResNet-S — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k в Apache Gluon с рецептами Bag of Tricks. Архитектура использует активации ReLU, трёхслойный начальный блок из свёрток 3×3 с увеличенной шириной и пулингом, а также shortcut-соединения с понижающей свёрткой 1×1. Модель содержит 25,7 млн параметров и рассчитана на входные изображения размером 224×224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может применяться как backbone для извлечения карт признаков и изображенческих эмбеддингов. Лицензия — Apache-2.0. README не описывает ограничения качества или условия, специфичные для отдельных сценариев применения.
ResNet61Q.ra2_in1k — модель классификации изображений из библиотеки timm, разработанная Россом Уайтманом. Она обучена на ImageNet-1k и предназначена для отнесения изображений к классам этой выборки, а также может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Модель построена на архитектуре ResNet с четырёхслойным стемом без пулинга и активациями SiLU, реализована через гибкую архитектуру BYOBNet. В ней около 36,8 млн параметров; для оценки использовались изображения 256×256 при обучении и 288×288 при тестировании. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
resnetaa50d.d_in12k — сверточная модель классификации изображений семейства ResNet-D, разработанная Россом Уайтманом и обученная на ImageNet-12k с использованием библиотеки timm. Архитектура включает три начальных свёрточных слоя 3×3 с пулингом, активации ReLU и антиалиасинговое уменьшение масштаба; в обходных соединениях при понижении разрешения используются усредняющий пул 2×2 и свёртка 1×1. Модель содержит около 47,7 млн параметров и предназначена для классификации изображений, а также может использоваться как основа для извлечения признаковых карт и эмбеддингов. В README приведены размеры изображения 224×224 для обучения и 288×288 для оценки. Репозиторий распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Модель рассчитана на визуальные задачи и не обрабатывает естественный язык. Показатели качества и скорости из сравнительной таблицы относятся к другим моделям, поэтому их нельзя считать результатами этой модели.
ResNeXt101_64x4d.c1_in1k — модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back C. Архитектура ResNeXt использует остаточные блоки с групповыми свёртками 3×3, свёртку 7×7 на входе, ReLU и проекции 1×1 в обходных связях. Модель содержит 83,5 млн параметров и требует изображений размером 288×288 на этапе проверки; при обучении использовались изображения 224×224. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Обучение проводилось на ImageNet-1k с оптимизатором SGD с Nesterov, адаптивным ограничением градиента и косинусным расписанием скорости обучения. Репозиторий распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0.
ResNeXt-101 64×4d — сверточная модель классификации изображений из библиотеки timm, основанная на оригинальных весах torchvision и обученная на ImageNet-1k. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом, остаточные блоки с групповыми свёртками 3×3 и проекциями 1×1 в коротких связях. Модель содержит 83,5 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель подходит для классификации изображений и как визуальный backbone для извлечения карт признаков и эмбеддингов. Она принимает изображение и выдаёт классовые оценки; применение за пределами классификации требует соответствующей дополнительной обработки. Лицензия — BSD-3-Clause.
1038lab/segformer_clothes — модель семантической сегментации изображений на архитектуре SegFormer, опубликованная 1038lab. Она предназначена для выделения областей одежды на изображениях, например для разбора одежды на отдельные сегменты в приложениях обработки изображений и моды. Модель содержит 47,2 млн параметров; веса опубликованы в формате Safetensors и типе F32. Карточка Hugging Face не содержит описания модели. Доступные сведения подтверждают задачу сегментации одежды, но не уточняют набор классов, данные обучения или поддерживаемое разрешение изображений. Лицензия в доступных данных не указана.
SelecSLS42b.in1k — модель компьютерного зрения для классификации изображений и извлечения признаков, обученная авторами статьи на ImageNet-1k. Она использует архитектуру SelecSLS и содержит 32,5 млн параметров; указанный размер входного изображения — 224 × 224 пикселя. Модель рассчитана на классификацию изображений, получение карт признаков и изображенческих эмбеддингов. Чекпойнт доступен в форматах PyTorch и Safetensors и предназначен для использования с библиотекой timm. Лицензия — CC BY 4.0. Карточка также связывает модель с работой о захвате движения нескольких людей по одному RGB-изображению, но не утверждает, что этот чекпойнт сам выполняет захват движения: его заявленные функции — классификация и извлечение признаков.
seresnext50_32x4d.gluon_in1k — сверточная модель классификации изображений семейства SE-ResNeXt, опубликованная timm. Она сочетает остаточную архитектуру ResNeXt с групповыми свёртками и механизмом Squeeze-and-Excitation, который учитывает важность каналов признаков. Модель содержит 27,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель обучена на ImageNet-1k с использованием рецептов Bag-of-Tricks в Apache Gluon. Её можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса PyTorch в формате safetensors; лицензия — Apache-2.0.
seresnextaa101d_32x8d.ah_in1k — свёрточная модель классификации изображений из библиотеки timm. Она использует архитектуру SE-ResNeXt-D с группированными свёртками, остаточными связями, механизмом Squeeze-and-Excitation для внимания к каналам и Rectangle-2 Anti-Aliasing. Модель обучена на ImageNet-1k по рецепту на основе ResNet Strikes Back A1. Модель предназначена для классификации изображений и может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Она содержит 93,6 млн параметров; размер изображений при обучении составляет 224×224, при тестировании — 288×288. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — Apache-2.0.
SwinV2 CR Small 224 — модель компьютерного зрения на архитектуре Swin Transformer V2, реализованная Christoph Reich и Ross Wightman в библиотеке timm. Веса предварительно обучены Ross Wightman на ImageNet-1k. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 49,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Это независимая реализация Swin Transformer V2, опубликованная до выхода официального кода; в ней отличаются обработка относительного позиционного смещения и формат выходных признаков. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — Apache-2.0.
SwinV2 Large — модель компьютерного зрения на архитектуре Swin Transformer V2, разработанная авторами соответствующей научной работы и опубликованная в библиотеке timm. Она предварительно обучена на ImageNet-22k, а затем дообучена для классификации изображений на ImageNet-1k. Модель также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. Модель содержит 196,7 млн параметров, выполняет 47,8 GMACs и рассчитана на изображения размером 256 × 256 пикселей. Весовые файлы доступны в форматах PyTorch и Safetensors; лицензия — MIT. Высокая вычислительная сложность может ограничивать применение на устройствах с небольшими ресурсами. Карточка не приводит сведения о поддерживаемых классах помимо обучения на ImageNet-1k.