IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейtimm/resnet50.bt_in1k — сверточная модель ResNet-50 для классификации изображений и извлечения признаков, опубликованная разработчиками timm. Она обучена на ImageNet-1k с рецептом Bag of Tricks, оптимизатором SGD с Nesterov и косинусным расписанием скорости обучения с разогревом. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом и свёрточные обходные связи 1×1. Модель содержит 25,6 млн параметров; для обучения указано разрешение 224×224, для тестирования — 288×288. Модель подходит для классификации объектов на изображениях, построения эмбеддингов и извлечения карт признаков, в том числе как основа компьютерного зрения в прикладных системах. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0. Карточка описывает обучение и архитектуру, но не приводит конкретных показателей качества именно этой модели.
timm/resnetblur50.bt_in1k — сверточная модель ResNet-B с треугольным размытием при понижении разрешения (Triangle-3 Blur Pooling), предназначенная для классификации изображений и использования в качестве основы для извлечения признаков. Модель разработана в экосистеме timm и обучена на ImageNet-1k по рецепту Bag-of-Tricks с оптимизатором SGD с Nesterov и косинусным расписанием скорости обучения с разогревом. Архитектура включает активации ReLU, начальную свёртку 7×7 с пулингом и обходные соединения с проекцией 1×1. В модели 25,6 млн параметров; для обучения использовались изображения 224×224, для оценки — 288×288. Размытие при уменьшении разрешения предназначено для повышения сдвиговой инвариантности свёрточной сети. Модель принимает изображения и выдаёт метки классов либо признаки и эмбеддинги в зависимости от используемого интерфейса. Лицензия — Apache-2.0.
timm/resnetrs101.tf_in1k — модель классификации изображений семейства ResNetRS-B, представленная библиотекой timm. Она обучена авторами статьи на ImageNet-1k и может использоваться для присвоения изображению метки класса, извлечения карт признаков и получения эмбеддингов изображений. Архитектура использует активации ReLU, начальную свёртку 7×7 с pooling и свёртки 1×1 в обходных соединениях. Модель содержит 63,6 млн параметров и требует 6,0 GMACs; размер изображения при обучении — 192×192, при тестировании — 288×288. В репозитории доступны веса PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для классификации изображений общего назначения; точность зависит от данных и условий применения, а карточка не описывает гарантии качества вне ImageNet-1k.
ResNetV2-101x3 BiT — сверточная модель семейства ResNet-V2-BiT для классификации изображений и извлечения визуальных признаков. Модель обучена авторами статьи Big Transfer на ImageNet-21k и распространяется в репозитории timm. В модели около 516 млн параметров; для классификации используется размер изображения 224 × 224. Вместо Batch Normalization применяются Group Normalization и Weight Standardization. Модель также подходит как визуальная основа для извлечения карт признаков и эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Обучение на ImageNet-21k задаёт основное назначение модели; README не описывает языковую обработку или иные модальности.
ResNet-V2-BiT 50x3 — сверточная модель классификации изображений из семейства Big Transfer, опубликованная авторами работы BiT и доступная в библиотеке timm. Она предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k; содержит около 217,3 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. В архитектуре используются предактивационные остаточные блоки ResNet-V2, Group Normalization и Weight Standardization вместо Batch Normalization. Модель предназначена для классификации изображений по классам ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов в прикладных компьютерно-зрительных системах. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
ResNeXt-101 32x8d — модель классификации изображений и извлечения визуальных признаков из семейства ResNeXt, опубликованная авторами статьи и доступная через timm. Она содержит 88,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом, групповые свёртки 3×3 в bottleneck-блоках и свёрточные проекции в shortcut-связях. Модель предварительно обучена с помощью полу-supervised обучения на подмножестве YFCC100M, затем дообучена на ImageNet-1k. Её применяют для классификации изображений, извлечения карт признаков и получения эмбеддингов; формат весов PyTorch, включая safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
ResNeXt101_64x4d.gluon_in1k — сверточная модель классификации изображений из библиотеки timm. Она обучена на ImageNet-1k с использованием рецептов Bag-of-Tricks и может применяться как классификатор или основа для извлечения признаков и эмбеддингов изображений. Архитектура ResNeXt использует групповые свёртки 3×3 в bottleneck-блоках, остаточные соединения с проекцией через свёртку 1×1 и ReLU. Модель содержит около 83,5 млн параметров; указан стандартный размер входного изображения 224×224. Модель подходит для распознавания объектов и категорий на изображениях, а также для построения визуальных признаков в прикладных системах компьютерного зрения. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ResNeXt-50 32x4d A1 — модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по улучшенному рецепту ResNet Strikes Back A1. Архитектура использует остаточные блоки с групповыми свёртками 3×3, свёртками 1×1 для обходных связей и ReLU; модель содержит около 25 млн параметров и требует примерно 4,3 GMACs на изображение. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. В карточке указаны размеры изображений 224×224 для обучения и 288×288 для оценки. Обучение проводилось на ImageNet-1k с усиленной аугментацией, stochastic depth и dropout, оптимизатором LAMB и расписанием скорости обучения с прогревом. Веса опубликованы в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Она классифицирует изображения по категориям ImageNet-1k; качество на других наборах данных и в специализированных областях может отличаться.
ReXNet-R 300 — модель классификации изображений семейства ReXNet-R, разработанная Россом Уайтманом для библиотеки timm. Она использует архитектуру ReXNet-R, в которой размеры каналов округляются для эффективной работы тензорных ядер NVIDIA. Модель содержит около 34,8 млн параметров и предназначена также для извлечения признаковых карт и эмбеддингов изображений. Модель предварительно обучена на ImageNet-12k, а затем дообучена на ImageNet-1k. В карточке приведены размеры изображений 224×224 для обучения и 288×288 для тестирования, а также точность top-1 84,53% и top-5 97,252% на ImageNet-1k. Весы доступны в форматах PyTorch и Safetensors и рассчитаны на классификацию изображений и использование в качестве визуального бэкбона. Лицензия — Apache-2.0.
yolo12138/segformer-b2-cloth-parse-9 — модель сегментации изображений, разработанная на основе mattmdjaga/segformer_b2_clothes и дообученная на наборе cloth_parsing_mix. Она присваивает пикселям изображения метки одежды и частей тела, включая торс, рукава, брюки, юбки и воротники. Модель построена на архитектуре SegFormer B2 и предназначена для разметки одежды на изображениях, например для анализа предметов гардероба или подготовки масок сегментации. В оценке на тестовом наборе указаны Mean IoU 0,8611 и общая точность 0,9846; качество различается между классами, а внешний воротник размечается заметно хуже торса и рукавов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.
Sathvik0101/srag-biencoder-v1 — модель Sentence Transformers, дообученная на базе sanganaka/bge-m3-sanskritFT. Она кодирует предложения и абзацы на входе в плотные векторы размерности 1024, нормализует их и предназначена для семантического поиска и сопоставления текстов по косинусному сходству. Архитектура построена на XLM-RoBERTa с объединением представления CLS; в метаданных указан контекст до 8194 токенов, а карточка README задаёт максимальную длину последовательности 256 токенов. Модель обучалась на 4 858 примерах с английскими запросами и санскритскими фрагментами, поэтому подходит, в частности, для поиска санскритских соответствий английскому тексту и ранжирования найденных фрагментов. Она принимает текст и выдаёт векторы для последующего поиска или сравнения; генерацию текста не выполняет. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Swin Transformer Base — модель компьютерного зрения, разработанная авторами Swin Transformer и представленная в статье Liu et al. Это базовая модель для классификации изображений, обученная на ImageNet-1k с разрешением 384×384; в каталоге указаны реализации PyTorch и TensorFlow и архитектура SwinForImageClassification. Архитектура строит иерархические карты признаков, объединяя патчи на более глубоких уровнях, и вычисляет внимание внутри локальных окон со сдвигом. Такой подход обеспечивает линейную сложность вычислений относительно размера изображения и позволяет использовать модель как основу для задач распознавания изображений. Модель предназначена для классификации изображений по 1000 классам ImageNet; для других задач можно искать дообученные версии. Лицензия — Apache-2.0. В карточке также описана роль модели как общей основы для задач плотного распознавания, но сама модель опубликована с задачей классификации.
Это модель классификации изображений на основе архитектуры Swin Transformer с иерархическим Vision Transformer и механизмом сдвинутых окон. Она была предварительно обучена на ImageNet-22k, а затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 196,7 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Это позволяет применять её в задачах распознавания объектов и построении систем визуального поиска после адаптации к нужному сценарию. Репозиторий предоставляет веса PyTorch и Safetensors; для работы используется библиотека timm. Модель разработана авторами Swin Transformer и опубликована в репозитории timm под лицензией MIT. Её обучение связано с датасетами ImageNet-22k и ImageNet-1k. Карточка не приводит специальных ограничений применения или гарантий качества вне сценариев классификации изображений.
Swin Small Patch4 Window7 224 ms in1k — модель классификации изображений и визуальная backbone-модель из библиотеки timm. Она основана на архитектуре Swin Transformer с иерархическими представлениями и сдвинутыми окнами внимания. Модель разработана авторами Swin Transformer и предварительно обучена на ImageNet-1k. Веса содержат 49,6 млн параметров; модель рассчитана на изображения размером 224 × 224 пикселя и требует 8,8 GMACs на проход. Помимо классификации, её можно использовать для извлечения карт признаков и эмбеддингов изображений. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — MIT.
Это модель классификации изображений на базе Swin Transformer V2, опубликованная авторами статьи и предварительно обученная на ImageNet-1k. Она предназначена для присвоения изображению метки класса и может использоваться как визуальная backbone-модель для извлечения карт признаков и эмбеддингов. Модель содержит 87,9 млн параметров, обрабатывает изображения размером 256 × 256 пикселей и требует около 22 GMACs на проход. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы указана библиотека timm. Лицензия — MIT.
timm/tf_efficientnet_b4.in1k — сверточная модель EfficientNet-B4 для классификации изображений, первоначально обученная авторами статьи на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. В репозитории доступны веса PyTorch и SafeTensors; модель содержит около 19,3 млн параметров и рассчитана на изображения размером 380 × 380 пикселей. Модель определяет классы объектов на изображении и может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Она подходит для классификации изображений общего назначения в сценариях компьютерного зрения. Обучение проведено на ImageNet-1k. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт оценки классов; в README также описано получение карт признаков и эмбеддингов. Данные не устанавливают языковую поддержку или специализированные предметные области.
tf_efficientnet_b5.in1k — свёрточная модель классификации изображений семейства EfficientNet, обученная авторами статьи на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. Модель содержит около 30,4 млн параметров и рассчитана на изображения размером 456 × 456 пикселей. Она предназначена для отнесения изображений к классам ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель доступна через библиотеку timm; веса представлены в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Её классификация ориентирована на классы ImageNet-1k, поэтому для специализированных классов или иных предметных областей может потребоваться адаптация.
timm/tf_efficientnet_b8.ra_in1k — свёрточная модель семейства EfficientNet-B8 для классификации изображений и извлечения визуальных признаков. Она обучена авторами EfficientNet на ImageNet-1k с аугментацией RandAugment, а затем перенесена из TensorFlow в PyTorch Россом Уайтменом. В модели 87,4 млн параметров; рекомендуемый размер входного изображения — 672 × 672 пикселя. Модель подходит для определения объектов и сцен на изображениях по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Она предназначена для компьютерного зрения общего назначения и может служить визуальной основой для прикладных систем. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0.
tf_efficientnet_lite4.in1k — сверточная модель EfficientNet-Lite для классификации изображений. Её обучили авторы оригинальной работы на ImageNet-1k в TensorFlow, а Ross Wightman перенёс веса в PyTorch; модель распространяется через timm. Модель предназначена для присвоения изображениям меток из ImageNet-1k и может использоваться как базовая сеть для извлечения признаковых карт и эмбеддингов изображений. Она содержит около 13 млн параметров, требует изображения размером 380 × 380 пикселей и рассчитана на обработку визуальных данных. Веса доступны в форматах PyTorch и safetensors. Лицензия репозитория — Apache-2.0. Карточка не приводит показателей точности и не описывает специальные ограничения модели.
Valley-Eagle-7B — мультимодальная модель ByteDance для понимания текста и изображений. Она основана на Qwen2.5-7B-Instruct и сочетает визуальные энкодеры SigLIP и Qwen2-VL с проектором LargeMLP и ConvAdapter; архитектура поддерживает гибкое число визуальных токенов. Модель предназначена для диалогов и анализа визуальных данных, в том числе сценариев электронной коммерции и коротких видео. По метаданным, модель содержит 7,1 млрд параметров, использует контекст до 32 768 токенов и распространяется в формате safetensors. Карточка сообщает о высоких результатах на внутренних тестах электронной коммерции и коротких видео, а также на OpenCompass, но не приводит методику и подробности этих оценок. Метаданные указывают интерфейс вызова инструментов. Лицензия — Apache-2.0. В README заявлены обработка текста, изображений и видео, однако метаданные подтверждают только задачу text-generation; поддержка видео в практическом интерфейсе из доступных сведений неясна.
timm/vgg19_bn.tv_in1k — сверточная модель классификации изображений VGG19 с пакетной нормализацией, представленная библиотекой timm. Она обучена на ImageNet-1k и основана на исходных весах torchvision. Модель также может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 143,7 млн параметров, требует изображение размером 224 × 224 и имеет вычислительную сложность 19,7 GMACs. Она предсказывает классы изображений из набора ImageNet-1k; данные не указывают на поддержку текстового ввода или генерации изображений. Распространяется по лицензии BSD-3-Clause.
VisionGuardrail-4B-GGUF — это мультимодальная модель для классификации изображений и модерации контента, предназначенная для задач визуальной безопасности и фильтрации потенциально нежелательных материалов. Базовую модель VisionGuardrail-4B разработала prithivMLmods, а GGUF-квантизации подготовил mradermacher. Для обучения или настройки указана коллекция ImageShield-Guardrail-Pro. Модель ориентирована на сценарии content safety, content moderation и использования в качестве multimodal guardrail или visual safety classifier. Она поддерживает работу с текстом и изображениями; заявленный язык — английский. Размер базовой модели составляет около 4 млрд параметров. Для обработки изображений требуются отдельные мультимодальные компоненты mmproj в форматах Q8_0 или F16. Размер контекстного окна и подробные характеристики архитектуры в README не указаны. Доступно несколько вариантов GGUF-квантизации — от Q2_K до Q8_0, а также версия F16. Более компактные варианты требуют меньше памяти, тогда как Q6_K и Q8_0 ориентированы на более высокое качество; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Ограничения модели включают отсутствие опубликованных в README метрик качества, неопределённые характеристики контекста и возможное снижение качества у низкобитных квантизаций. Модель распространяется по лицензии Apache-2.0.
vit_base_patch14_reg4_dinov2.lvd142m — модель Vision Transformer (ViT) для извлечения признаков изображений, подготовленная в библиотеке timm. Модель содержит 86,6 млн параметров и предварительно обучена на наборе LVD-142M методом самообучения DINOv2; в архитектуре используются дополнительные регистровые токены. Рекомендуемый размер изображения — 518 × 518 пикселей. Модель предназначена для получения визуальных признаков и эмбеддингов, а также может служить основой для классификации изображений. Её можно применять как визуальный бэкбон в системах компьютерного зрения и для извлечения признаков из изображений. Карточка указывает лицензию Apache-2.0. Данные о поддерживаемых языках и ограничениях в карточке не приведены.
Это визуальный энкодер EUPE ViT-Base/16 из семейства Vision Transformer, предназначенный для извлечения признаков и эмбеддингов изображений. Модель разработана для timm и дистиллирована на наборе LVD-1689M методом Efficient Universal Perception Encoder: учительская модель была получена дистилляцией нескольких универсальных визуальных энкодеров, специализирующихся на разных областях. Число параметров — около 85,7 млн; штатный размер изображения — 256 × 256 пикселей. Энкодер принимает изображения и возвращает визуальные признаки, включая class-, register- и patch-токены. Их можно использовать для построения эмбеддингов, извлечения карт признаков и последующей классификации или других задач компьютерного зрения. В timm по умолчанию используется усреднённый пулинг; для пулинга по class-токену нужно явно выбрать global_pool="token". Модель не предназначена для генерации текста или изображений. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование.
Модель vit_base_patch16_rpn_224.sw_in1k — вариант Vision Transformer из библиотеки timm для классификации изображений и извлечения признаковых представлений. Её обучили на ImageNet-1k; архитектура использует патчи 16 × 16 и блоки с residual post-normalization. Модель содержит около 86,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для распознавания объектов и категорий на изображениях, а также для получения эмбеддингов в качестве признаков для последующих задач компьютерного зрения. Веса доступны в форматах PyTorch и Safetensors. Лицензия Apache-2.0 разрешает использование и распространение с соблюдением её условий.
Это модель компьютерного зрения на архитектуре Vision Transformer (ViT), распространяемая проектом timm. Авторы статьи предварительно обучили её на ImageNet-21k, затем Росс Уайтман дообучил её на ImageNet-1k с дополнительной аугментацией и регуляризацией. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k; её также можно использовать как основу для извлечения признаков и эмбеддингов изображений. Репозиторий предоставляет веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0. Качество и применимость на изображениях вне обучающих наборов зависят от конкретной задачи и данных.
vit_mediumd_patch16_reg4_gap_256.sbb2_e200_in12k — модель классификации изображений на основе Vision Transformer (ViT), разработанная Россом Уайтманом и обученная с помощью библиотеки timm на ImageNet-12k. Архитектура использует патчи 16×16, четыре регистра и глобальное усреднение признаков. Модель содержит около 69,7 млн параметров и рассчитана на изображения размером 256×256 пикселей. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. В карточке приведены результаты сравнения родственных вариантов, но отдельные метрики этой версии не указаны. Модель распространяется по лицензии Apache-2.0.
Это версия модели ViT-Tiny Classification, подготовленная Geti™ и преобразованная в формат OpenVINO IR с посттренировочным сжатием весов до INT8. Квантованы веса и активации; модель предназначена для классификации изображений и может быть дообучена на пользовательском наборе данных через Geti™. Модель рассчитана на инференс в OpenVINO версии 2026.1.0 и выше с Model API версии 0.4.0 и выше. Карточка не описывает поддерживаемые языки или конкретные классы изображений. Исходная модель распространяется по лицензии Apache-2.0.
vit_tiny_r_s16_p8_224.augreg_in21k — гибридная модель классификации изображений на основе ResNet и Vision Transformer (ViT). Её обучили авторы исследования How to train your ViT? на ImageNet-21k с аугментацией и регуляризацией; Ross Wightman перенёс веса из JAX в PyTorch. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для получения эмбеддингов. Модель содержит 10,4 млн параметров, обрабатывает изображения размером 224 × 224 и требует около 0,4 GMAC на проход. Она поставляется в форматах PyTorch и safetensors и доступна через библиотеку timm. Лицензия — Apache-2.0. Карточка не описывает поддержку нескольких языков: модель работает с изображениями, а не с текстом.
VOLO-D1 — модель компьютерного зрения семейства Vision Outlooker для классификации изображений и извлечения признаков. Репозиторий timm содержит вариант, обученный на ImageNet-1k с разметкой токенов, предложенной авторами статьи VOLO. Модель использует изображения размером 384 × 384 пикселя и насчитывает 26,8 млн параметров; также её можно применять как основу для получения эмбеддингов изображений. Модель предназначена для определения объектов и категорий на изображениях, в том числе как визуальный backbone в системах компьютерного зрения. Она доступна в форматах PyTorch и Safetensors через библиотеку timm. Лицензия — Apache-2.0. Описание не сообщает об ограничениях на конкретные типы изображений или метриках качества; обучение на ImageNet-1k задаёт основной сценарий распознавания категорий этого набора.