IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейNaFlexViT Base Patch16 PAR GAP — модель классификации изображений и визуальный backbone, разработанный Россом Уайтманом для библиотеки PyTorch Image Models (timm). Она обучена на ImageNet-1k и содержит около 86,6 млн параметров. Архитектура Vision Transformer использует патчи 16×16, сохраняющее соотношение сторон двумерное позиционное кодирование и глобальное усреднение признаков. Модель предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Обучение с переменной длиной последовательности и разрешением помогает обрабатывать изображения с разными пропорциями; в карточке приведены результаты ImageNet-1k: точность top-1 83,67% и top-5 96,45%. Модель принимает изображения и выдаёт метки классов либо визуальные признаки и эмбеддинги. Для использования доступны веса PyTorch и SafeTensors; библиотека — timm. Лицензия — Apache-2.0. Карточка не описывает поддержку текстового ввода или мультимодального взаимодействия.
RegNetX-6.4GF — сверточная модель классификации изображений из семейства RegNetX, созданная авторами статьи Designing Network Design Spaces и доступная в реализации timm. Модель предварительно обучена на ImageNet-1k и предназначена для определения содержимого изображений, а также может использоваться как базовая сеть для извлечения карт признаков и эмбеддингов изображений. Модель содержит 26,2 млн параметров, обрабатывает изображения размером 224 × 224 и требует около 6,5 GMACs вычислений. В реализации timm доступны дополнительные настройки архитектуры и обучения, включая stochastic depth, gradient checkpointing и настраиваемый output stride. Для применения нужны входные изображения; результат классификации — метки классов. Лицензия репозитория — MIT.
RegNetY-400MF — сверточная модель для классификации изображений и извлечения визуальных признаков. Реализация входит в библиотеку timm; веса предварительно обучены участниками torchvision на ImageNet-1k, с вариантом весов ImageNet-1K V2. Модель содержит около 4,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения классов объектов на изображениях, извлечения карт признаков и получения эмбеддингов изображений. Реализация timm поддерживает стохастическую глубину, градиентный чекпоинтинг, настройку шага выходных признаков и выбор слоёв активации и нормализации. Лицензия репозитория — BSD 3-Clause.
ResNet-152 A2 — сверточная модель классификации изображений из библиотеки timm, разработанная командой timm. Она обучена на ImageNet-1k по рецепту ResNet Strikes Back A2 и может использоваться как классификатор или как основа для извлечения карт признаков и эмбеддингов изображений. Архитектура включает активации ReLU, свёртку 7×7 с пулингом и проекции 1×1 в остаточных связях; модель содержит 60,2 млн параметров и требует изображение 288×288 пикселей при тестировании. Модель предназначена для распознавания объектов из классов ImageNet-1k и получения визуальных признаков для последующих задач компьютерного зрения. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия Apache-2.0 допускает использование и модификацию на её условиях. Карточка приводит метрики вычислительной стоимости, но не содержит в доступном фрагменте итоговых показателей качества именно этой модели.
ResNet152D Gluon IN1K — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецептам Bag of Tricks. Архитектура ResNet-D использует ReLU, начальный блок из трёх свёрток 3×3 с пулингом и короткие соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Модель содержит 60,2 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель подходит для классификации изображений на категории ImageNet-1k, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Доступна в форматах PyTorch и safetensors; библиотека модели — timm. Лицензия Apache-2.0.
ResNet-18 — сверточная модель классификации изображений из библиотеки timm. Она предварительно обучена авторами статьи на хештегах Instagram-1B методом semi-weakly supervised learning, а затем дообучена на ImageNet-1k. Модель также подходит как backbone для извлечения признаков, карт признаков и эмбеддингов изображений. Архитектура использует блоки ResNet с активациями ReLU, начальную свёртку 7×7 с пулингом и проекции 1×1 в обходных соединениях. В модели 11,7 млн параметров; типичный размер входного изображения — 224×224 пикселя. Она предназначена для классификации изображений общего назначения и получения визуальных признаков, которые можно использовать в других системах компьютерного зрения. Модель принимает изображения и выдаёт метки классов либо признаки и эмбеддинги. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия. README не приводит отдельных оценок качества для этой модели.
ResNet34D RA2 In1k — свёрточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Она также подходит как основа для извлечения признаковых карт и эмбеддингов изображений. Модель содержит 21,8 млн параметров и выполняет около 3,9 GMACs. Архитектура использует активации ReLU, трёхслойный блок начальных свёрток 3×3 с пулингом и shortcut-соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Размер изображения при обучении составлял 224×224, при тестировании — 288×288. Модель работает с изображениями и выдаёт метки классов; обучение проводилось для ImageNet-1k.
timm/resnet34.gluon_in1k — свёрточная модель семейства ResNet34 для классификации изображений и извлечения признаков. Её подготовил проект timm; модель обучена на ImageNet-1k с использованием рецептов Bag of Tricks для классификации изображений в Apache Gluon. Архитектура использует активации ReLU, начальную свёртку 7×7 с пулингом и проекции 1×1 в shortcut-соединениях для уменьшения размерности. Модель содержит около 21,8 млн параметров, требует 3,7 GMACs и рассчитана на изображения размером 224×224. Помимо классификации, её можно применять как основу для извлечения карт признаков и эмбеддингов изображений. Модель принимает изображения и выдаёт классы либо признаки в зависимости от сценария использования. Лицензия Apache-2.0 разрешает использование на её условиях; качество классификации зависит от соответствия входных изображений ImageNet и требуемой предметной области.
ResNetRS-152 — сверточная модель классификации изображений из библиотеки timm, обученная авторами статьи на ImageNet-1k с использованием TensorFlow. В модели 86,6 млн параметров; она использует активации ReLU, начальную свёртку 7×7 с пулингом и проекции 1×1 в обходных соединениях. Для тестирования применяется размер изображения 320×320 пикселей. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может служить сверточной основой для извлечения карт признаков и эмбеддингов изображений. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — Apache-2.0. Классификатор обучен на ImageNet-1k, поэтому его классы и качество за пределами этого набора данных могут не соответствовать конкретной предметной области. Для других задач модель может потребовать адаптации.
ResNetV2-101x1-BiT — сверточная модель классификации изображений семейства ResNet-V2-BiT (Big Transfer), обученная авторами работ на ImageNet-21k и опубликованная в timm. Она подходит для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. В модели около 87,2 млн параметров; расчётная сложность составляет 8,1 GMACs, размер входного изображения — 224 × 224 пикселя. Архитектура использует предактивационные остаточные блоки, Group Normalization и Weight Standardization вместо Batch Normalization. Модель доступна в форматах PyTorch и safetensors; лицензия — Apache-2.0. Карточка не описывает поддержку конкретных естественных языков или специализированных предметных областей.
ResNetV2-18 — модель классификации изображений и сверточная основа для извлечения признаков, обученная Россом Уайтманом на ImageNet-1k с помощью инструментов timm. Она подходит для распознавания объектов на изображениях, построения карт признаков и извлечения эмбеддингов для последующих задач компьютерного зрения. Модель содержит 11,7 млн параметров и требует около 1,8 GMAC на изображение. При обучении использовался размер изображения 224×224 пикселя, при оценке — 288×288. Репозиторий предоставляет веса в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Обучение сочетает гиперпараметры, вдохновлённые MobileNet-V4 Small, стандартные настройки timm и подходы из работы «ResNet Strikes Back». Обучение на ImageNet-1k ориентирует модель на классификацию категорий этого набора; качество на иных данных может отличаться, и для специализированных классов может потребоваться дообучение.
ResNeXt-101 32x16d — модель классификации изображений и извлечения признаков из семейства ResNeXt, опубликованная авторами в библиотеке timm. Она содержит около 194 млн параметров и использует остаточные блоки с групповыми свёртками 3×3, свёртками 1×1 в обходных соединениях и начальными свёрткой 7×7 и пулингом. Модель предварительно обучена на подмножестве YFCC100M с полусупервизией, а затем дообучена на ImageNet-1k; стандартный размер входного изображения — 224×224. Модель предназначена для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальный backbone для компьютерного зрения. Репозиторий содержит веса PyTorch в формате safetensors; лицензия — CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.
AniruddhaAI дообучила модель Sentence Transformer на базе intfloat/multilingual-e5-small для поиска текстов на санскрите и сопоставления санскритских фрагментов с английскими переводами. Модель создаёт плотные векторы размерности 384 для предложений и абзацев; архитектура включает BERT, усредняющий пуллинг и нормализацию. Для сравнения векторов подходит косинусное сходство. Модель обучена на 168 783 парах текстов с использованием MultipleNegativesRankingLoss. Примеры в обучающих данных показывают поиск между санскритом и английским в обоих направлениях. Метаданные указывают контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 128 токенов; при практическом использовании следует учитывать более короткое ограничение из README. Модель принимает текст и выдаёт эмбеддинги, поэтому подходит для семантического поиска и ранжирования кандидатов по сходству. Лицензия в предоставленных данных не указана.
SelecSLS60b.in1k — сверточная модель компьютерного зрения для классификации изображений и извлечения признаков. Она обучена авторами статьи на ImageNet-1k; в карточке указано 32,8 млн параметров, 3,6 GMACs и размер входного изображения 224 × 224 пикселя. Модель можно использовать для отнесения изображения к одному из классов ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Она доступна через библиотеку timm в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0.
seresnet50.a1_in1k — модель компьютерного зрения из библиотеки timm для классификации изображений и извлечения признаков. Это SE-ResNet-50 с механизмом Squeeze-and-Excitation, который учитывает важность каналов признаков. Модель разработана для timm и обучена на ImageNet-1k с рецептом ResNet Strikes Back A1. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом и свёрточные обходные соединения 1×1. В модели около 28,1 млн параметров и 4,1 GMACs. Для обучения указано разрешение 224×224, для тестирования — 288×288. Она подходит для классификации объектов на изображениях, формирования карт признаков и эмбеддингов изображений. Модель принимает изображения и выдаёт классовые оценки; эмбеддинги и карты признаков доступны как представления для последующей обработки. Лицензия — Apache-2.0. Карточка не сообщает отдельных ограничений, кроме специализации на изображениях и обучении на ImageNet-1k.
timm/starnet_s1.in1k — компактная сверточная модель StarNet для классификации изображений, обученная авторами статьи на ImageNet-1k. Она содержит около 2,9 млн параметров, требует около 0,4 GMACs на изображение и рассчитана на вход размером 224 × 224 пикселя. Модель также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. Модель подходит для классификации изображений общего назначения и получения визуальных признаков при ограниченных вычислительных ресурсах. Репозиторий содержит веса PyTorch в формате Safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0.
StarNet S4 — модель компьютерного зрения для классификации изображений и извлечения признаковых представлений. Она распространяется в библиотеке timm и обучена авторами статьи на ImageNet-1k. Модель содержит около 7,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. StarNet S4 можно использовать для отнесения изображений к классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Это компактная модель с вычислительной сложностью около 1,1 GMAC. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.
Swin Tiny — модель классификации изображений на базе иерархического Vision Transformer со сдвинутыми окнами внимания. Её распространяет библиотека timm; исходную модель обучили авторы статьи Swin Transformer: сначала на ImageNet-22k, затем дообучили на ImageNet-1k. В модели 28,3 млн параметров, она рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она подходит для распознавания объектов и сцен на изображениях, а также для построения прикладных систем компьютерного зрения. Веса доступны в форматах PyTorch и Safetensors; лицензия — MIT.
timm/tf_efficientnet_b1.ns_jft_in1k — сверточная модель семейства EfficientNet-B1 для классификации изображений и извлечения визуальных признаков. Исходную модель обучили авторы статьи на ImageNet-1k и неразмеченных данных JFT-300M методом полунадзорного обучения Noisy Student; Ross Wightman перенёс её веса в PyTorch для библиотеки timm. Модель содержит около 7,8 млн параметров, использует изображения размером 240 × 240 и требует примерно 0,7 GMAC на изображение. Модель подходит для определения классов объектов на изображениях, построения карт признаков и получения визуальных эмбеддингов. Её можно использовать как компактную визуальную основу в системах компьютерного зрения. Карточка указывает лицензию Apache-2.0. В метаданных репозитория указаны форматы PyTorch и safetensors.
tf_efficientnet_b2.aa_in1k — сверточная модель EfficientNet для классификации изображений и извлечения признаков. Исходную версию обучили авторы EfficientNet на ImageNet-1k с политиками аугментации AutoAugment; Ross Wightman перенёс веса в PyTorch, а репозиторий опубликован командой timm. Модель содержит около 9,1 млн параметров, требует изображения размером 260 × 260 пикселей и выполняет примерно 1,0 GMAC на вход. Её можно применять для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Модель обучена на ImageNet-1k, поэтому её классификация ограничена набором классов этой выборки. Карточка не заявляет поддержку других модальностей или языковых задач.
tf_efficientnet_b2.ap_in1k — сверточная модель классификации изображений семейства EfficientNet. Её обучили авторы работ по EfficientNet и AdvProp на ImageNet-1k с использованием состязательных примеров; Росс Уайтман перенёс веса из TensorFlow в PyTorch. Модель доступна через библиотеку timm и распространяется по лицензии Apache-2.0. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она содержит около 9,1 млн параметров, требует входные изображения размером 260 × 260 пикселей и выполняет примерно 1,0 GMAC на изображение. Обучение на ImageNet-1k и AdvProp ориентирует её на распознавание распространённых категорий изображений. Она не предназначена для понимания текста или обработки других модальностей; качество зависит от соответствия входных изображений обучающим данным и набора классов ImageNet-1k.
tf_efficientnet_b5.aa_in1k — сверточная модель EfficientNet-B5 для классификации изображений и извлечения визуальных признаков. Исходную модель обучили авторы EfficientNet на ImageNet-1k с использованием AutoAugment; Ross Wightman перенёс веса в PyTorch. Репозиторий распространяет модель в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель содержит около 30,4 млн параметров и рассчитана на изображения размером 456 × 456 пикселей. Она предсказывает классы объектов из набора ImageNet-1k; промежуточные карты признаков и эмбеддинги можно использовать в собственных компьютерно-зрительных конвейерах. Подходит для классификации изображений общего назначения и как визуальный backbone. Модель обучена на ImageNet-1k, поэтому её классовый выход ограничен метками этого набора. README не приводит оценок качества или сведений о поддержке других задач без дополнительной настройки.
tf_efficientnet_b5.ap_in1k — сверточная модель классификации изображений из семейства EfficientNet. Её обучили авторы работ по EfficientNet и AdvProp на ImageNet-1k с использованием состязательных примеров; Росс Уайтман перенёс веса в PyTorch. Модель содержит 30,4 млн параметров и рассчитана на изображения размером 456 × 456 пикселей. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Репозиторий содержит веса PyTorch в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях применимости помимо обучения на ImageNet-1k.
tf_mixnet_l.in1k — модель классификации изображений семейства MixNet, обученная авторами оригинальной работы на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. Модель содержит около 7,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель присваивает изображению метку класса из набора ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Архитектура MixNet применяет смешанные ядра глубинной свёртки; указанная вычислительная сложность составляет около 0,6 GMACs. Модель предназначена для задач компьютерного зрения общего назначения, в частности для классификации изображений и получения визуальных признаков. Репозиторий использует форматы PyTorch и safetensors и распространяется по лицензии Apache-2.0.
tinyvit/tiny_vit_11m_224.dist_in22k — модель TinyViT для классификации изображений, опубликованная авторами статьи TinyViT. Это компактный vision transformer, предварительно обученный на ImageNet-22k с дистилляцией; в карточке указано 20,4 млн параметров, 1,9 GMAC и входной размер изображения 224 × 224. Модель также подходит для извлечения карт признаков и получения эмбеддингов изображений. Её можно применять для отнесения изображений к категориям, извлечения визуальных признаков и построения эмбеддингов в компьютерном зрении. Репозиторий использует библиотеку timm и содержит веса PyTorch в формате Safetensors. Лицензия — Apache 2.0. Карточка не описывает поддержку текстовых или иных модальностей; качество зависит от соответствия целевых изображений распределению ImageNet-22k.
FrancescoPeriti/TRoTR-all-distilroberta-v1 — англоязычная модель эмбеддингов на базе DistilRoBERTa, дообученная для оценки тематической близости контекстов повторно использованного текста. Разработана для задач TRoTR, связанных с анализом того, как меняется тема текста при переносе цитаты или другого фрагмента в новый контекст. Модель кодирует предложения и короткие абзацы в векторы, которые можно сравнивать по косинусному сходству. Пример в карточке показывает сравнение трёх контекстов библейской цитаты: модель различает контексты по теме, а не только по совпадению слов. Параметры — 95,2 млн, максимальный контекст — 514 токенов; используется библиотека Sentence Transformers и формат safetensors. Подходит для сравнения тем контекстов, поиска тематически близких перефразировок и анализа переосмысления цитат. Модель ориентирована на английский язык и бенчмарк TRoTR с примерами повторного использования библейских текстов, поэтому её пригодность для других языков и предметных областей может быть ограничена. Лицензия — CC-BY-SA-4.0.
Vi-Qwen2-3B-RAG — языковая модель семейства Qwen2, дообученная командой разработчиков, указанной в карточке, для задач генерации с дополнением найденными материалами (RAG). Модель рассчитана на вьетнамский язык и поддерживает диалоговый режим; в метаданных указаны 3,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы по извлечённым документам: она может находить полезные сведения в зашумлённом контексте, отказываться от ответа при отсутствии нужной информации, объединять факты из нескольких фрагментов и определять, содержится ли ответ в контексте. Также её можно применять как чат-модель для последовательных вопросов. В карточке описана оценка определения наличия ответа с точностью около 99%, но подробности методики и воспроизводимые результаты не приведены. Это плотная авторегрессионная модель Qwen2 для генерации текста, доступная в формате Safetensors и рассчитанная на использование через Transformers. README описывает версию Vi-Qwen2-7B-RAG, тогда как идентификатор репозитория и метаданные относятся к Vi-Qwen2-3B-RAG; поэтому сведения о специфических результатах и сценариях меньшей версии следует считать описанием семейства, а не подтверждёнными отдельными оценками этой модели. Лицензия — Apache-2.0. Разработчики предупреждают, что модель специализирована на RAG и может быть ненадёжной в вопросах политики и общества, а также проявлять предвзятость или неуместные взгляды.
VisionGuardrail-9B-GGUF — мультимодальная модель-классификатор безопасности визуального контента, разработанная prithivMLmods. Она основана на Qwen/Qwen3.5-9B и обучена на наборе данных ImageShield-Guardrail-Pro. Модель предназначена для анализа изображений и классификации их как Safe или Unsafe, прежде всего для обнаружения NSFW-контента, откровенных и потенциально чувствительных сцен. Модель анализирует одежду, степень открытости тела, позы, кадрирование, визуальный контекст и особенности представления контента, включая фотографии, иллюстрации, аниме и другие стилизованные изображения. Предусмотрен структурированный вывод в формате JSON с описанием изображения, причиной классификации и флагами NSFW/safe. В репозитории доступны варианты GGUF с точностью от Q3 до Q5, а также BF16; размеры файлов составляют примерно от 4,26 до 17,9 ГБ. Указан только английский язык, размер контекста в README не приведён. Модель ориентирована на исследовательские задачи, модерацию контента и создание визуальных guardrail-систем. Её сильной стороной является консервативное выявление сексуализированного и откровенного визуального контента с детализацией признаков, влияющих на решение. При этом релиз экспериментальный: возможны неожиданные ответы и артефакты рассуждений, поэтому результаты требуют проверки и не должны использоваться без дополнительной валидации в критически важных сценариях. Распространяется по лицензии Apache-2.0.
Это модель классификации изображений на основе Vision Transformer (ViT), обученная авторами исследований на ImageNet-1k с дополнительной аугментацией и регуляризацией. Её портировал в PyTorch Росс Уайтман; модель доступна через библиотеку timm. Модель содержит 86,9 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Её можно использовать для классификации изображений по категориям ImageNet-1k, а также как визуальный backbone и для получения эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения. Для работы с другими наборами категорий может потребоваться адаптация или дообучение. Лицензия — Apache-2.0.
Это модель классификации изображений на архитектуре Vision Transformer (ViT), разработанная авторами исследований ViT и перенесённая в PyTorch Россом Уайтманом для библиотеки timm. Модель предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k с дополнительной аугментацией и регуляризацией. В ней 86,9 млн параметров; она рассчитана на изображения размером 384 × 384 пикселя и также может использоваться как основа для извлечения признаков и эмбеддингов изображений. Модель подходит для распознавания объектов и категорий на изображениях, а также для получения признаковых представлений в компьютерном зрении. README указывает вычислительную сложность 49,4 GMACs. Доступна под лицензией Apache-2.0; опубликованные веса представлены в форматах PyTorch и safetensors.