IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейЭто модель классификации изображений на основе Vision Transformer (ViT), опубликованная в семействе timm. Вариант архитектуры использует позиционные вращательные эмбеддинги RoPE, регистровые токены и глобальное усреднение признаков. Модель содержит 86,4 млн параметров и рассчитана на изображения размером 256 × 256 пикселей; она обучена на ImageNet-1k. Модель предназначена для классификации изображений, извлечения признаковых карт и получения эмбеддингов изображений. Её можно использовать как основу для визуального поиска или как backbone в компьютерном зрении. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — MIT.
vit_base_patch8_224.augreg_in21k — модель Vision Transformer для классификации изображений и получения визуальных признаков. Её обучили авторы исследования How to train your ViT? на ImageNet-21k с аугментацией и регуляризацией; Ross Wightman перенёс веса в PyTorch для библиотеки timm. В модели около 102,6 млн параметров, она рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям и как визуальная основа для задач компьютерного зрения. Она принимает изображения и выдаёт предсказания классов либо векторные представления изображений. В README указано обучение на ImageNet-21k; других языковых или модальных возможностей карточка не описывает. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Качество и применимость к изображениям вне распределения ImageNet-21k зависят от данных и сценария использования.
Это модель классификации изображений на базе Vision Transformer (ViT), разработанная для библиотеки timm. Вариант использует патчи 16×16, регистровый токен, глобальное усреднение признаков и дифференциальное внимание; число параметров — 22,5 млн, вычислительная сложность — 6,3 GMACs. Модель рассчитана на изображения размером 256×256 и обучена на ImageNet-1k. Модель можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса в формате safetensors, библиотека для работы с моделью — timm. Лицензия — Apache-2.0. Показатели сравнения в карточке относятся к другим, более крупным моделям, поэтому их нельзя считать оценкой качества этого варианта. Для практического использования изображения следует подавать с предусмотренной для модели предобработкой.
Google ViT-Large/32-384 — модель классификации изображений на основе крупного трансформерного энкодера Vision Transformer. Весами из репозитория timm поделился Ross Wightman; модель прошла предварительное обучение на ImageNet-21k, а затем дообучение на ImageNet 2012 для распознавания 1000 классов. В модели около 402,7 млн параметров; изображения разбиваются на патчи 32×32, а классификатор использует представление токена CLS. Для дообучения указано разрешение 384×384 пикселя. Модель предназначена для классификации изображений по классам ImageNet и может служить энкодером признаков для последующей настройки на размеченных наборах данных. Доступны версии весов PyTorch, TensorFlow и Flax. Карточка не указывает языковые возможности: входом служит изображение, результатом — метки классов. Лицензия — Apache-2.0. Качество на прикладных наборах данных зависит от соответствия их классов ImageNet и предварительной обработки. Для изображений с нестандартными объектами или доменами может потребоваться отдельное дообучение.
vit_pe_spatial_small_patch16_512.fb — визуальная модель из библиотеки timm, предназначенная для извлечения признаков из изображений. В метаданных Hugging Face она классифицируется с pipeline-тегом image-feature-extraction и поддерживает использование через экосистему PyTorch и Transformers. По названию модели можно определить архитектурное семейство Vision Transformer (ViT), вариант Small с размером входного изображения 512 и патчами 16×16. Модель предназначена для получения векторных или пространственных представлений изображений, которые могут использоваться в downstream-задачах компьютерного зрения, включая поиск похожих изображений, классификацию и построение мультимодальных систем. Модель не является генеративной и не предназначена для распознавания или генерации текста, речи либо изображений. Подробности о наборе данных, точных параметрах, поддерживаемых форматах входа и показателях качества в доступных материалах отсутствуют. Лицензия Apache-2.0 разрешает использование, модификацию и распространение с соблюдением её условий.
Это модель извлечения признаков изображений на базе Vision Transformer ViT-S/16 с 21 млн параметров, перенесённая mlx-vision в Apple MLX из весов DINOv3 от Meta AI. Она обучена самообучением на наборе веб-изображений LVD-1689M и дистиллирована из DINOv3 ViT-7B; классификационной головы у модели нет. Модель формирует визуальные признаки для глобальных и плотных задач компьютерного зрения. При входном размере 224×224 она обрабатывает 201 токен: класс-токен, четыре регистровых токена и 196 патч-токенов. Можно подавать изображения большего размера, если размеры кратны 16; иначе модель обрезает их до ближайшего меньшего размера, кратного размеру патча. В архитектуре используются 2D RoPE, SwiGLU и LayerScale. Модель подходит как визуальный backbone для последующей классификации, сегментации и других задач после дополнительной настройки или обработки признаков. В README отмечены различия в результатах бенчмарков между регионами и группами дохода; дообучение может усилить эти смещения. Лицензия указана как other, поэтому условия использования следует уточнить в лицензии репозитория.
Это модель компьютерного зрения на архитектуре Vision Transformer (ViT), разработанная Россом Уайтманом для библиотеки timm. Вариант использует патчи 16×16, один register-токен и глобальное усреднение признаков; число параметров составляет 136,1 млн, рекомендуемый размер изображения — 256×256 пикселей. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как основа для извлечения признаков и эмбеддингов изображений. В сравнительной таблице README для варианта с размером 256 указана точность top-1 87,308% и top-5 98,326%. Для использования доступны веса PyTorch и safetensors; лицензия — Apache-2.0. Модель ориентирована на изображения ImageNet-подобного масштаба и классификацию по категориям обучающих данных; README не подтверждает её качество за пределами этих сценариев.
VOLO-D4 — модель классификации изображений семейства Vision Outlooker, опубликованная в репозитории timm и обученная авторами статьи на ImageNet-1k с разметкой токенов. Она предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Модель содержит около 193,4 млн параметров, обрабатывает изображения размером 448 × 448 пикселей и требует значительных вычислительных ресурсов: заявленная сложность составляет 197,1 GMACs. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка показывает сценарии классификации и извлечения эмбеддингов, но не приводит оценки качества или ограничений по классам помимо обучения на ImageNet-1k.
timm/wide_resnet50_2.tv_in1k — модель классификации изображений семейства Wide ResNet, опубликованная разработчиками библиотеки timm. Она основана на torchvision-варианте Wide ResNet-50-2 и обучена на ImageNet-1k. Архитектура использует активации ReLU, свёртку 7×7 с пулингом и свёрточные обходные соединения 1×1 для уменьшения размерности. Модель содержит около 68,9 млн параметров и рассчитана на изображения размером 224×224. Модель предназначена для определения объектов и категорий на изображениях, извлечения признаковых карт и получения векторных представлений изображений. Её можно использовать как базовую сеть компьютерного зрения или как готовый классификатор на задачах, близких к ImageNet. Репозиторий предоставляет веса PyTorch и safetensors; модель доступна по лицензии BSD-3-Clause. Классификатор обучен на ImageNet-1k, поэтому его категории и качество могут не соответствовать специализированным областям или данным, отличающимся от обучающего набора. Для пользовательских категорий может потребоваться адаптация модели.
XCiT Large 24 P8 224 — модель классификации изображений и извлечения признаков на основе Cross-Covariance Image Transformer. Её разработали авторы статьи XCiT и предварительно обучили на ImageNet-1k. Модель распространяется в форматах PyTorch и Safetensors через библиотеку timm; число параметров — около 188,9 млн, ожидаемый размер входного изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k и получения визуальных признаков или эмбеддингов, которые можно использовать в задачах компьютерного зрения. Лицензия — Apache-2.0. Ограничения производительности и поддерживаемые языки в карточке не описаны; модель принимает изображения, а не текстовые запросы.
xcit_small_12_p16_224.fb_in1k — модель классификации изображений на архитектуре XCiT (Cross-Covariance Image Transformer), разработанной авторами научной работы об этой архитектуре. Она предварительно обучена авторами на ImageNet-1k и предназначена для классификации изображений и использования в качестве визуального backbone для извлечения признаков. Модель содержит 26,3 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует библиотеки timm для указанного сценария использования. Модель подходит для распознавания объектов и категорий на изображениях, а также получения визуальных представлений для последующих задач. В карточке указана лицензия Apache-2.0. Указанные характеристики и предварительное обучение относятся к ImageNet-1k; качество на других типах изображений и задачах может отличаться.
YOLO26x-OptiQ-6bit — смешанно-точно квантированная версия YOLO26x от сообщества mlx-community на базе Ultralytics/YOLO26. Модель предназначена для обнаружения объектов на изображениях и работы на Apple Silicon через MLX, используя runtime yolo-mlx. При квантовании optiq назначает слоям разную разрядность по их чувствительности: целевая и достигнутая средняя точность составляют 6 бит на вес, а отдельные слои используют 4- и 8-битное представление. В тесте COCO128 модель показала на 1,1% меньше обнаружений, чем исходная FP32-версия, при сжатии в 4,5 раза. Для запуска требуются mlx-optiq и yolo-mlx. Репозиторий распространяется по лицензии AGPL-3.0; в карточке не приведены сведения о размере модели и длине контекста.
Это веса визуального энкодера AIM-v2 Large Patch14 224, опубликованные в формате, совместимом с библиотекой timm. Модель предназначена для извлечения признаковых представлений из изображений, которые можно использовать в последующих задачах компьютерного зрения. Веса доступны в PyTorch и safetensors. Указана лицензия apple-ascl. Карточка не приводит сведения о размере модели, обучении, поддерживаемых языках или конкретных ограничениях применения.
Карточка модели rmaser/aloe-v2-dinov3-large на Hugging Face совпадает с карточкой rmaser/aloe-v2-dinov3-base-in1k-lp, поэтому описание составлено по ней. ALOEv2 DINOv3 Base in1k-lp — модель компьютерного зрения, разработанная командой ALOE. Это дообученная на базе DINOv3 Base модель с головой линейного классификатора ImageNet-1k; она также предоставляет визуальные признаки для извлечения и анализа. В модели около 113,2 млн параметров, веса доступны в формате Safetensors, а для загрузки через Transformers требуется включить trust_remote_code=True и использовать код ALOE-архитектуры. Модель обучали ещё 30 тысяч шагов с дистилляцией по трём слоям и выборкой разрешений 224, 384 и 480 пикселей на каждом шаге. Она предназначена для классификации изображений ImageNet-1k и извлечения признаков, в том числе для плотного сопоставления, оценки глубины и поверхностных нормалей. Архитектура B-cos сохраняет интерпретируемые объяснения; линейная точность на ImageNet-1k для версии Base составляет 83,92%. Модель принимает изображения и выдаёт классы либо векторные признаки. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных на тех же условиях и не разрешает коммерческое использование. Она не предназначена для распознавания произвольных классов без дополнительной настройки, а для загрузки используется пользовательский код.
BEiT-v2 Base Patch16 224 — модель классификации изображений и визуальный backbone из библиотеки timm. Она использует архитектуру Vision Transformer с патчами 16×16 и рассчитана на изображения размером 224×224 пикселя; модель содержит около 86,5 млн параметров. Предварительное обучение выполнялось на ImageNet-1k методом masked image modeling с VQ-KD визуальным токенизатором, созданным с помощью учителя OpenAI CLIP B/16, после чего модель дообучили для классификации на ImageNet-1k. Модель предназначена для классификации изображений, а также может служить основой для извлечения визуальных признаков и эмбеддингов в компьютерном зрении. Она выдаёт классовые предсказания по входному изображению. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
timm/coat_lite_tiny.in1k — модель CoaT (Co-Scale Conv-Attentional Transformer) для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-1k; модель распространяется через библиотеку timm в формате PyTorch. Модель содержит 5,7 млн параметров, имеет вычислительную сложность 1,6 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Её можно применять для определения классов объектов на изображении, а также как визуальную основу для извлечения эмбеддингов. Лицензия — Apache-2.0. Обучение и оценка ориентированы на ImageNet-1k; качество на иных типах изображений может отличаться.
CoAtNet-1 RW 224 — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Архитектура CoAtNet сочетает свёрточные блоки MBConv на ранних этапах с блоками self-attention на поздних. Модель содержит 41,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для присвоения изображениям классов из набора ImageNet-1k. Её также можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Репозиторий предоставляет веса в форматах PyTorch и safetensors; библиотека для работы — timm. Модель обучена на ImageNet-1k и подходит для прикладной классификации изображений и экспериментов с визуальными представлениями. Лицензия — Apache-2.0.
ConvNeXt Large — сверточная модель классификации изображений, опубликованная авторами статьи «A ConvNet for the 2020s» и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k и может использоваться для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит около 229,8 млн параметров; указанное для неё разрешение изображений — 224 × 224 пикселя. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для задач компьютерного зрения общего назначения. Карточка не описывает поддержку иных модальностей или языков; практическое качество зависит от предметной области и соответствия входных изображений обучающим данным ImageNet-22k.
ConvNeXt-V2 Huge — модель компьютерного зрения семейства ConvNeXt-V2 из библиотеки timm, предназначенная для классификации изображений и использования в качестве визуального backbone. Она прошла предобучение методом FCMAE, а затем дообучение на ImageNet-22k и ImageNet-1k. Модель содержит около 660,3 млн параметров и рассчитана на изображения размером 512 × 512 пикселей. Модель можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. В сравнении timm для ImageNet-1k указаны точность top-1 88,848% и top-5 98,742%; вычислительная сложность составляет около 600,8 GMACs. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
NVIDIA C-RADIOv2-B — модель извлечения визуальных признаков на архитектуре Vision Transformer. Она преобразует RGB-изображения в тензорные эмбеддинги для использования в последующих моделях и приложениях компьютерного зрения. Версия Base содержит 90 млн параметров; поддерживаются изображения с разрешением до 2048×2028 с шагом 16 пикселей. Модель возвращает общее представление изображения и пространственные признаки локальных областей. Их можно использовать для классификации и отбора изображений, семантической сегментации, оценки глубины и интеграции в модели «зрение — язык». Для применения признаков требуется downstream-модель. В README указана обучающая выборка NV-CC-Img-Text-Dataset из 700 млн изображений и оценка на ImageNet. Модель предназначена для разработчиков приложений компьютерного зрения; в README заявлена готовность к коммерческому и некоммерческому использованию. Условия использования регулируются NVIDIA Open Model License Agreement.
deit3_large_patch16_224.fb_in22k_ft_in1k — модель семейства DeiT-III для классификации изображений, опубликованная авторами библиотеки timm. Она предварительно обучена на ImageNet-22k и дообучена для классификации на ImageNet-1k. Модель содержит около 304,4 млн параметров, обрабатывает изображения размером 224 × 224 и также может использоваться как основа для получения эмбеддингов изображений. Модель предназначена для распознавания объектов на изображениях и извлечения визуальных признаков в задачах компьютерного зрения. Весовые файлы доступны в форматах PyTorch и Safetensors; библиотека модели — timm. Лицензия Apache-2.0.
DeiT-Base Distilled Patch16 384 — модель классификации изображений семейства DeiT, размещённая в библиотеке timm. Согласно карточке, её авторы обучили модель на ImageNet-1k с использованием токенов дистилляции. Модель содержит 87,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения эмбеддингов. Её можно применять для определения объектов и сцен на изображениях, а также как основу для последующих задач компьютерного зрения. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0.
facebook/dinov2-large-imagenet1k-1-layer — модель Vision Transformer большой конфигурации, основанная на методе DINOv2 от команды Meta. Она обучена на изображениях без учителя и предназначена для классификации изображений по 1000 меткам ImageNet-1k. В архитектуре ViT изображение разбивается на фиксированные патчи, которые обрабатывает трансформерный энкодер; модель содержит около 402,7 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель также может служить энкодером для извлечения визуальных признаков и последующего обучения классификатора на размеченных данных. Карточка предупреждает, что в репозитории нет дообученных голов классификации; для прикладных задач может понадобиться отдельная голова или дообученная версия. Лицензия — Apache-2.0.
facebook/dinov2-with-registers-large — крупная модель Vision Transformer, обученная методом DINOv2 с дополнительными register-токенами. Репозиторий впервые опубликован авторами DINOv2 with Registers; карточку модели подготовила команда Hugging Face. Модель содержит около 402,7 млн параметров и доступна в формате safetensors под лицензией Apache-2.0. Это предварительно обученный визуальный энкодер без дообученных классификационных голов. Он извлекает признаки и эмбеддинги изображений, которые можно использовать в последующих задачах, например обучая линейный классификатор поверх представления токена CLS. Добавление register-токенов при обучении уменьшает артефакты в картах внимания и улучшает их интерпретируемость. Модель предназначена для извлечения признаков из изображений и построения систем компьютерного зрения на их основе. Карточка не приводит сведений о контекстном окне или поддержке естественных языков; язык ввода не применим к визуальному энкодеру. Для классификации и других прикладных задач обычно требуется отдельная обученная голова или последующий компонент.
DPN68B.ra_in1k — модель классификации изображений и извлечения признаков семейства Dual-Path Network (DPN), подготовленная Россом Уайтманом в библиотеке timm. Она обучена на ImageNet-1k с рецептом RandAugment (RA) и подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит около 12,6 млн параметров и требует 2,4 GMACs; размер изображения при обучении составлял 224 × 224 пикселя, при тестировании — 288 × 288. Репозиторий предоставляет веса PyTorch и SafeTensors. Лицензия — Apache-2.0.
ECA-ResNet-D — свёрточная модель компьютерного зрения для классификации изображений и извлечения признаков. Её обучила Alibaba MIIL на ImageNet-1k. Архитектура включает остаточные блоки ResNet-D и механизм Efficient Channel Attention (ECA); модель содержит 25,6 млн параметров и выполняет классификацию изображений размером 288 × 288 на этапе тестирования. Модель подходит для определения объектов и сцен по изображению, извлечения карт признаков и получения векторных представлений изображений для последующих задач компьютерного зрения. Она принимает изображения и выдаёт метки классов либо признаки. Репозиторий распространяется по лицензии Apache-2.0; карточка указывает реализацию для timm и форматы PyTorch и safetensors.
EfficientNet-B3 RA2 — сверточная модель классификации изображений из библиотеки timm, обученная командой timm на ImageNet-1k с рецептом RandAugment RA2. Она предназначена для классификации изображений, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 12,2 млн параметров; размер изображения при обучении — 288 × 288 пикселей, при тестировании — 320 × 320. Вычислительная сложность составляет около 1,6 GMACs. Обучение включало оптимизатор RMSProp с поведением TensorFlow 1.0, усреднение весов EMA и ступенчатое экспоненциальное снижение скорости обучения с разогревом. Модель принимает изображения и выдаёт классовые предсказания; при использовании в качестве основы также позволяет получать признаки и эмбеддинги. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k и рассчитана на классификацию изображений в рамках его классов. README не заявляет языковую поддержку; для сценариев за пределами обучающего набора качество не установлено.
EfficientNet-B5 — свёрточная модель компьютерного зрения, представленная Mingxing Tan и Quoc V. Le и обученная на ImageNet-1k. Она классифицирует изображения по 1000 классам ImageNet; модель рассчитана на входное разрешение 456×456 пикселей и использует метод составного масштабирования глубины, ширины и разрешения сети. Модель подходит для классификации изображений в приложениях компьютерного зрения, в том числе на устройствах с ограниченными ресурсами. Это исходный чекпойнт EfficientNet-B5, доступный в формате PyTorch. Лицензия — Apache-2.0. Для других задач можно искать версии, дообученные на соответствующих данных.
EfficientViT B2 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, разработанная авторами работы EfficientViT в MIT и опубликованная в timm. Она обучена на ImageNet-1k и принимает изображения размером 256 × 256 пикселей. Архитектура EfficientViT использует многомасштабное линейное внимание; модель содержит около 24,3 млн параметров и требует 2,1 GMACs на изображение. Модель подходит для классификации объектов на изображениях, извлечения карт признаков и получения эмбеддингов изображений для дальнейших задач компьютерного зрения. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия Apache-2.0 разрешает использование и распространение с соблюдением её условий.
EfficientViT-L2 — модель компьютерного зрения семейства EfficientViT, опубликованная авторами исследовательской работы MIT. Она обучена на ImageNet-1k и предназначена для классификации изображений, а также может использоваться как базовая сеть для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 63,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель доступна в форматах PyTorch и Safetensors через библиотеку timm. Лицензия Apache-2.0. В карточке заявлены классификация ImageNet-1k и извлечение признаков; качество на других наборах данных и ограничения по применению в README не описаны.