IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейfacebook/dinov2-giant — модель Vision Transformer (ViT), обученная командой DINOv2 методом самообучения на большом наборе изображений. Это энкодер с архитектурой трансформера: изображение разбивается на фиксированные патчи, которые преобразуются в последовательность признаков. Модель содержит около 1,5 млрд параметров и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения признаков изображений и получения представлений для последующих задач компьютерного зрения. Её можно использовать как основу для обучения классификатора на размеченных данных или для других downstream-сценариев; готовых дообученных выходных голов в чекпойнте нет. Принимает изображения и выдаёт их векторные представления. Лицензия — Apache-2.0.
facebook/dinov2-with-registers-base-imagenet1k-1-layer — модель Vision Transformer базового размера с токенами-регистрами, основанная на DINOv2 и опубликованная командой Facebook. Это энкодер изображений с 113,2 млн параметров; карточка указывает задачу классификации изображений и библиотеку Transformers. Предварительное обучение формирует представления изображений без меток, а токены-регистры уменьшают артефакты в картах внимания и улучшают их интерпретируемость. Модель можно использовать для классификации изображений по 1000 классам ImageNet, извлечения признаковых представлений и построения классификаторов для размеченных наборов данных. Веса доступны в формате safetensors. Лицензия — Apache-2.0. В репозитории нет дообученных классификационных голов: для пользовательских классов потребуется обучить классификатор поверх энкодера. Карточка не приводит сведений о поддерживаемых естественных языках или длине контекста; модель работает с изображениями.
Это преобразованная в формат Keras 3 модель zeromodels на основе facebook/dinov3-convnext-base-pretrain-lvd1689m, созданной авторами DINOv3 из Meta. Модель использует архитектуру ConvNeXt Base и предназначена для извлечения визуальных признаков из изображений; это самообученный backbone без специализированной выходной головы для отдельной задачи. Полученные признаки можно использовать для обучения downstream-классификаторов и других задач компьютерного зрения. Реализация работает с TensorFlow, Torch и JAX. Для подготовки входных изображений предусмотрен процессор нормализации; при его использовании нормализацию следует отключить на стороне модели, чтобы не применять её повторно. Репозиторий содержит конверсию upstream-весов в TensorFlow-формат. Лицензия указана как other и отсылает к лицензии DINOv3; upstream-веса доступны на условиях этой лицензии.
CodonProject публикует веса DINOv3 ViT-B/16 для реализации DINOv3 в библиотеке codon. Это визуальный энкодер на архитектуре ViT с 12 слоями Transformer, двунаправленным вниманием и двумерным axial RoPE; в README указаны скрытый размер 768 и 85,7 млн параметров, а в метаданных Hugging Face — 113,2 млн. Репозиторий содержит преобразованные веса facebook/dinov3-vitb16-pretrain-lvd1689m: ключи переименованы под формат codon, а веса сохранены в float16; модель не дообучалась. README сообщает о численной проверке преобразования относительно реализации Transformers и о поддержке извлечения плотных признаков при разных размерах изображений. Модель предназначена для получения векторных признаков изображений, которые можно использовать в задачах компьютерного зрения, например для поиска и классификации. По умолчанию модель возвращает CLS-вектор размерности 768; также доступны плотные признаки и промежуточные слои. Она принимает изображения и выдаёт векторы признаков. В карточке указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.
facebook/dino-vits8 — визуальный энкодер Vision Transformer, обученный методом DINO командой, представившей исследование «Emerging Properties in Self-Supervised Vision Transformers». Модель содержит 28,3 млн параметров и предварительно обучена без учителя на ImageNet-1k; изображения размером 224×224 разбиваются на патчи 8×8. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель извлекает признаки изображений и может служить основой для последующих задач компьютерного зрения, например классификации: для этого поверх представлений энкодера обучают отдельный классификатор. Веса не содержат дообученной классификационной головы. README указывает на разрешение 224×224 при предобучении; использование на других разрешениях или с другими задачами требует отдельной проверки.
dm_nfnet_f0.dm_in1k — модель семейства NFNet для классификации изображений, опубликованная авторами исследований и доступная в библиотеке timm. Она обучена на ImageNet-1k и также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура NFNet основана на ResNet с предварительной активацией, но не содержит слоёв нормализации: вместо них применяются Scaled Weight Standardization и скалярные коэффициенты в остаточных связях и около нелинейностей. Модель содержит 71,5 млн параметров; для оценки используются изображения размером 256 × 256 пикселей. Репозиторий предоставляет веса PyTorch и safetensors. Модель принимает изображения и предназначена для выдачи классов ImageNet-1k, а также признаков и эмбеддингов для последующей обработки. Лицензия — Apache-2.0.
eca_resnext26ts.ch_in1k — свёрточная модель классификации изображений семейства ECA-ResNeXt, разработанная Россом Уайтманом в библиотеке timm. Она основана на ResNeXt с механизмом Efficient Channel Attention и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель обучена на ImageNet-1k; в карточке указаны 10,3 млн параметров, 2,4 GMACs и размеры изображений 256 × 256 для обучения и 288 × 288 для тестирования. Архитектура использует трёхслойный stem и активации SiLU. Веса доступны в форматах PyTorch и safetensors, библиотека модели — timm. Лицензия Apache-2.0 разрешает использование и модификацию на её условиях. Модель предназначена для изображений общего назначения; качество на специализированных или существенно отличающихся от ImageNet данных может быть ниже, а размер входного изображения при применении влияет на результаты.
timm/edgenext_base.in21k_ft_in1k — модель классификации изображений из семейства EdgeNeXt, опубликованная авторами проекта timm. Она предварительно обучена на ImageNet-21k-P (подвыборка winter21), а затем дообучена авторами статьи на ImageNet-1k. Модель также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. EdgeNeXt сочетает свёрточные и Transformer-подобные компоненты и предназначена для задач компьютерного зрения, в том числе мобильных сценариев. В модели около 18,5 млн параметров и 3,8 GMACs; размер изображения при тестировании — 320 × 320 пикселей. Репозиторий содержит веса PyTorch и SafeTensors, библиотека — timm. Лицензия — MIT. Модель классифицирует изображения по категориям ImageNet и может служить основой для извлечения визуальных признаков. Её результаты и область применения связаны с распределением ImageNet; карточка не подтверждает качество на специализированных наборах изображений или других задачах без дополнительной адаптации.
EfficientNet-B0 — свёрточная модель компьютерного зрения, представленная Mingxing Tan и Quoc V. Le и обученная на ImageNet-1k. Она классифицирует изображения по 1000 классам ImageNet; модель рассчитана на входное разрешение 224×224 пикселя. Архитектура использует свёрточные слои и метод составного масштабирования, который согласованно меняет глубину, ширину и разрешение сети. Модель ориентирована на эффективную классификацию изображений и может служить отправной точкой для поиска дообученных вариантов под конкретные задачи. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка описывает классификацию изображений; специализированные задачи и ограничения за пределами этого назначения не заявлены.
EfficientViT-B3 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её разработали авторы работы EfficientViT; модель обучена на ImageNet-1k и доступна в библиотеке timm. Модель содержит 48,6 млн параметров, обрабатывает изображения размером 256 × 256 пикселей и требует 5,2 GMAC на изображение. Помимо определения класса изображения, её можно использовать как backbone для получения карт признаков и эмбеддингов изображений. Модель принимает изображения и выдаёт метки классов либо визуальные представления. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
EfficientViT L2 — модель классификации изображений и извлечения визуальных признаков из семейства EfficientViT, разработанная авторами соответствующей научной работы и обученная на ImageNet-1k. Вариант r256 рассчитан на входные изображения размером 256 × 256 пикселей и содержит 63,7 млн параметров; вычислительная сложность составляет 9,1 GMACs. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения визуальных эмбеддингов. Её можно использовать как основу визуального конвейера или для анализа изображений в приложениях компьютерного зрения. Архитектура EfficientViT включает механизм многошкального линейного внимания, ориентированный на обработку изображений высокого разрешения. Модель принимает изображения и выдаёт метки классов либо визуальные признаки и эмбеддинги. Обучение на ImageNet-1k задаёт область её распознавания; качество на иных наборах данных может отличаться. Лицензия — Apache-2.0.
EVA-02 Base Patch14 448 — модель компьютерного зрения для классификации изображений и получения визуальных признаковых представлений. Чекпойнт опубликован в библиотеке timm; авторы статьи предварительно обучили его на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя, а затем дообучили на ImageNet-1k. Лицензия — MIT. Модель основана на Vision Transformer с mean pooling, SwiGLU, Rotary Position Embeddings и дополнительной LayerNorm в MLP. В ней 87,1 млн параметров; рекомендуемый размер изображения — 448 × 448. Веса репозитория представлены в форматах PyTorch и safetensors, а карточка timm указывает float32. Модель ориентирована на распознавание объектов и классов изображений; README также упоминает получение эмбеддингов. Она подходит для классификации изображений и использования в качестве визуального backbone. Результаты зависят от сходства входных данных с ImageNet и выбранной процедуры адаптации; специализированные домены и языковые задачи в карточке не заявлены.
FasterNet-M — модель классификации изображений и извлечения визуальных признаков из семейства FasterNet, разработанного авторами статьи «Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks». Вариант fasternet_m.in1k обучен на ImageNet-1k и предназначен для распознавания объектов на изображениях, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов. Модель содержит 53,5 млн параметров, имеет вычислительную сложность 8,7 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий предоставляет веса PyTorch и safetensors; использовать их можно, в частности, через библиотеку timm. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на категории этого набора данных. Для других предметных областей или нестандартных изображений может потребоваться адаптация; в карточке также не заявлена поддержка текстовых, аудио- или видеовходов.
FastViT-SA12 Apple Distilled — модель классификации изображений и визуальный backbone из семейства FastViT, опубликованная авторами статьи FastViT. Она обучена на ImageNet-1k с дистилляцией и подходит для присвоения изображению класса, извлечения карт признаков и получения векторных представлений изображений. Модель содержит 11,6 млн параметров, требует 2,0 GMACs и рассчитана на входные изображения размером 256 × 256 пикселей. FastViT использует гибридную архитектуру vision transformer и свёрточных компонентов с структурной репараметризацией. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия указана как other; README просит соблюдать исходную лицензию, поэтому перед использованием следует проверить её условия в источнике модели.
FastViT SA36 — модель классификации изображений и извлечения визуальных признаков семейства FastViT, опубликованная авторами FastViT и представленная в библиотеке timm. Она обучена на ImageNet-1k с дистилляцией и подходит для классификации изображений, извлечения карт признаков и построения эмбеддингов. Модель содержит 31,5 млн параметров, требует изображения размером 256 × 256 и имеет вычислительную сложность 5,6 GMACs. FastViT использует гибридную архитектуру свёрточных сетей и Vision Transformer со структурной репараметризацией. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия указана как other; README просит соблюдать исходную лицензию модели.
FBNetV3-B RA2 ImageNet-1k — сверточная модель классификации изображений и извлечения визуальных признаков, разработанная для библиотеки timm. Она обучена на ImageNet-1k с рецептом RandAugment RA2 и использует усреднение весов EMA; модель содержит около 8,6 млн параметров и требует примерно 0,4 GMAC на изображение. Размер изображения при обучении составляет 224×224 пикселя, при проверке — 256×256. Модель подходит для классификации объектов на изображениях, извлечения карт признаков и получения визуальных эмбеддингов. Она рассчитана на изображения общего назначения, соответствующие распределению ImageNet-1k; показатели качества для других областей README не приводит. Лицензия — Apache-2.0.
FlexiViT Base 600ep IN1K — модель классификации изображений и визуальный backbone, обученный авторами статьи на ImageNet-1k с использованием JAX и перенесённый в PyTorch Россом Уайтманом. Модель относится к семейству Vision Transformer и содержит 86,6 млн параметров; указанный размер входного изображения — 240 × 240 пикселей. Модель предназначена для классификации изображений по классам ImageNet-1k и может использоваться как визуальная основа для извлечения признаков и эмбеддингов изображений. FlexiViT обучается с поддержкой разных размеров патчей, что позволяет применять одну модель при различных настройках разбиения изображения на патчи. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
FlexiViT Large 300ep IN1K — модель классификации изображений и визуальный backbone. Её обучили авторы статьи на ImageNet-1k с использованием JAX, затем Ross Wightman перенёс веса в PyTorch. Модель содержит около 304,4 млн параметров и рассчитана на изображения размером 240 × 240 пикселей. Архитектура FlexiViT позволяет использовать разные размеры патчей. Модель подходит для классификации изображений и получения их эмбеддингов; её можно применять как визуальную основу для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors, библиотека — timm. Лицензия Apache-2.0. Карточка указывает обучение на ImageNet-1k; качество на других распределениях данных отдельно не описано.
FocalNet Base SRF — модель классификации изображений и извлечения визуальных признаков, опубликованная авторами FocalNet и представленная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Модель содержит 88,1 млн параметров; указанный размер входного изображения — 224 × 224 пикселя, вычислительная сложность — 15,3 GMACs. Архитектура FocalNet использует механизм focal modulation. Модель принимает изображения и выдаёт предсказания классов либо визуальные признаки и эмбеддинги. Для использования опубликована по лицензии MIT. Карточка не указывает специализированные прикладные области или языковые возможности.
ustc-community предоставляет реализацию HGNet-V2 B4 для Transformers. Это сверточная модель семейства HGNet-V2, предназначенная для извлечения признаков из изображений; пример использования в карточке загружает модель как классификатор изображений и показывает выход с двумя логитами. Модель принимает изображение и возвращает признаки либо оценки классов в зависимости от используемой головы. Карточка не сообщает целевые классы или конкретную область применения. Репозиторий содержит веса в формате safetensors; лицензия не указана в доступных данных.
Hiera Base Plus 224 — модель компьютерного зрения семейства Hiera, представленная в экосистеме timm. Она предварительно обучена на ImageNet-1k методом самообучения Masked Autoencoder (MAE), затем дообучена на ImageNet-1k для классификации изображений. Модель содержит 69,9 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя; также её можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель предназначена для классификации изображений и получения визуальных признаков в прикладных системах компьютерного зрения. В карточке указана точность Top-1 85,134% и Top-5 97,158% на ImageNet-1k. Веса доступны в форматах PyTorch и Safetensors, библиотека модели — timm. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения правообладателя.
Hiera Huge 224 MAE IN1K FT IN1K — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Модель опубликована в репозитории timm и относится к семейству иерархических Vision Transformer Hiera. Она предварительно обучена на ImageNet-1k методом Self-Supervised Masked Autoencoder (MAE), затем дообучена для классификации на ImageNet-1k. Модель содержит около 672,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. В карточке приведены результаты ImageNet-1k: точность Top-1 86,834% и Top-5 98,01%. Её можно использовать как классификатор, основу для извлечения карт признаков и для получения эмбеддингов изображений. Для запуска доступны веса PyTorch и Safetensors; библиотека модели — timm. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
Hiera Large — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная авторами библиотеки timm. Это иерархический Vision Transformer с 213,7 млн параметров, предварительно обученный на ImageNet-1k методом Masked Autoencoder и затем дообученный для классификации на ImageNet-1k. Модель рассчитана на изображения размером 224 × 224 пикселя; в README приведена точность top-1 86,042% и top-5 97,648% на ImageNet-1k. Модель можно использовать для определения объектов на изображениях, извлечения карт признаков и получения эмбеддингов изображений. Она принимает изображения и выдаёт метки классов, а также визуальные признаки для downstream-задач. Для работы предусмотрена библиотека timm; веса доступны в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
ImageShield-MMCF-0.8B — мультимодальная модель-классификатор для проверки визуального контента на безопасность. Её разработал автор prithivMLmods на основе Qwen/Qwen3.5-0.8B, дообучив примерно на 28 000 примерах фильтрации контента. Модель принимает изображения и текстовые инструкции, а результат выдаёт в структурированном JSON с описанием изображения, меткой Safe/Unsafe и обоснованием. Модель предназначена для модерации изображений, обнаружения NSFW и другого потенциально чувствительного визуального контента, а также для исследований систем безопасности и разработки фильтров. Она использует консервативный порог и при неоднозначности склонна выбирать более безопасную классификацию. Репозиторий содержит веса safetensors, модель построена на архитектуре Qwen3.5 и распространяется по лицензии Apache-2.0. Это экспериментальный выпуск: возможны ошибочные и нестабильные классификации. Модель может как ошибочно помечать безопасные изображения, так и пропускать небезопасный контент; результат зависит от качества изображения, контекста и инструкции и не является окончательным юридическим или экспертным заключением.
ImageShield-MMCF-0.8B-GGUF — мультимодальная модель-классификатор для обеспечения безопасности контента, разработанная prithivMLmods на основе Qwen/Qwen3.5-0.8B. Модель обучена примерно на 28 000 примерах для защитных механизмов модерации и предназначена прежде всего для классификации визуального контента по категориям «безопасный» и «небезопасный». Основное внимание уделено обнаружению NSFW-контента чувственного характера и других потенциально чувствительных изображений. Модель поддерживает обработку изображений и текста, использует формат GGUF и может применяться с llama.cpp; в репозитории также рекомендуются Transformers и точное соблюдение специального chat template. Доступны варианты BF16, F16 и квантованные сборки Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0, а также отдельные мультимодальные проекционные файлы. Заявлен английский язык. Размер базовой модели — 0,8 млрд параметров; сведения о размере контекста в README отсутствуют. Это экспериментальный выпуск, поэтому модель может демонстрировать непредсказуемое поведение и артефакты рассуждений. Она предназначена для исследовательских задач и классификации контента, а её результаты требуют ответственного использования и проверки. Лицензия — Apache-2.0.
LeViT-256 — сверточная модель компьютерного зрения для классификации изображений, доступная в библиотеке timm. Авторы статьи о LeViT обучили её с дистилляцией на ImageNet-1k. Архитектура сочетает подходы Vision Transformer и сверточных сетей; в этой версии используются nn.Conv2d и nn.BatchNorm2d. Модель содержит около 18,9 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность около 1,1 GMACs. Модель подходит для присвоения изображениям классов ImageNet-1k и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. В карточке для неё указана точность top-1 81,512% и top-5 95,48% на ImageNet-1k. Репозиторий распространяется по лицензии Apache-2.0. Ограничения: сведения о качестве относятся к ImageNet-1k и не гарантируют аналогичной точности на других наборах данных или предметных областях.
DeepGlint-AI/llava-mlcd-qwen2.5-7b — мультимодальная модель семейства LLaVA-Next, разработанная DeepGlint-AI. В ней визуальный энкодер MLCD используется вместе с языковой моделью Qwen2.5-7B, дообученной на общедоступных наборах LLaVA-Pretrain и LLaVA-NeXT-Data. Модель содержит 7,1 млрд параметров, имеет контекст 32 768 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для диалога и генерации ответов с учётом изображений. В экспериментах авторы заменили CLIP в LLaVA-Next на MLCD и сообщили о результатах на бенчмарках AI2D и ScienceQA_img; это демонстрирует применение модели к визуальным вопросам и задачам на понимание изображений. Метаданные Hugging Face классифицируют её как text-generation, поэтому задача image-text-to-text не добавляется к pipeline-тегам. README отмечает, что модели, обученные на более крупных наборах данных, могут лучше справляться с большим числом задач. В карточке приведены результаты экспериментов, но нет подробных инструкций по использованию или оценки качества за пределами указанных бенчмарков.
MambaOut Base Plus — модель классификации изображений и извлечения признаков из семейства MambaOut, опубликованная в экосистеме timm. Ross Wightman предварительно обучил её на ImageNet-12k, а затем дообучил на ImageNet-1k по рецепту, основанному на Swin и ConvNeXt. Вариант рассчитан на изображения размером 384 × 384; в README указаны 101,7 млн параметров и 56,4 GMACs. Модель подходит для классификации изображений по категориям, извлечения карт признаков и получения визуальных эмбеддингов, в том числе как базовая сеть для последующих задач компьютерного зрения. Для классификации ImageNet-1k в README приведена точность Top-1 87,506% и Top-5 98,428% при размере изображения 384 × 384. Модель принимает изображения и выдаёт метки классов либо признаки и эмбеддинги. Распространяется по лицензии Apache-2.0.
Это модель классификации изображений MaxViT от Ross Wightman, опубликованная для библиотеки timm. Она сочетает блоки MBConv и два вида self-attention — оконное и сеточное внимание; вариант с суффиксом rw адаптирован для работы в PyTorch eager. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Она рассчитана на изображения размером 224 × 224 пикселя и содержит около 116,1 млн параметров. В метаданных указаны форматы PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0.
maxvit_rmlp_small_rw_224.sw_in1k — модель классификации изображений семейства MaxViT из библиотеки timm, обученная Россом Уайтменом на ImageNet-1k. Она предназначена для присвоения изображению метки класса и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Архитектура MaxViT сочетает свёрточные блоки MBConv с механизмами внимания по окнам и сеткам; вариант использует MLP Log-CPB — позиционное смещение, мотивированное Swin Transformer V2. Модель содержит около 64,9 млн параметров и рассчитана на изображения 224 × 224 пикселя. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0. Модель обучена на ImageNet-1k и подходит для классификации изображений общего назначения и как backbone в компьютерном зрении. Её область применения ограничена визуальными задачами: карточка не описывает поддержку текста или других модальностей; качество на данных, отличающихся от ImageNet-1k, отдельно не характеризуется.