IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейYOLO26 — семейство моделей компьютерного зрения, разработанное Ultralytics. Репозиторий содержит модели на PyTorch; карточка описывает варианты для обнаружения объектов, сегментации, классификации изображений, оценки глубины и позы, а также обнаружения ориентированных объектов. Для отслеживания объектов поддерживается режим, совместимый с несколькими типами моделей семейства. Модели предназначены для анализа изображений и видеокадров в прикладных системах компьютерного зрения. В README приведены результаты для вариантов, предварительно обученных на COCO, COCO-Seg, Cityscapes, ImageNet и DOTAv1; размеры моделей и показатели производительности различаются между вариантами. Лицензия репозитория — AGPL-3.0; для коммерческого использования Ultralytics предлагает запросить корпоративную лицензию.
CaiT-S24-224 с дистилляцией на ImageNet-1k — модель классификации изображений и извлечения визуальных признаков из семейства Class-Attention in Image Transformers. Она предназначена для распознавания объектов и других визуальных категорий на изображениях; веса можно использовать и как основу для получения эмбеддингов изображений. Модель содержит 46,9 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует библиотеку timm для работы. Модель предварительно обучена на ImageNet-1k авторами статьи «Going deeper with Image Transformers». Доступны веса PyTorch и Safetensors. Лицензия Apache-2.0 разрешает использование, распространение и модификацию на её условиях. Карточка не описывает точность на других наборах данных, поэтому для специализированных классов может потребоваться дообучение.
CoAtNet RMLP 2 RW 224 — модель компьютерного зрения из библиотеки timm, разработанная Россом Уайтманом и обученная на ImageNet-1k. Она предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Архитектура CoAtNet сочетает свёрточные блоки MBConv на ранних этапах с блоками трансформерного внимания на поздних. В этой версии используется MLP Log-CPB — смещение относительных позиций, мотивированное Swin Transformer V2. Модель содержит 73,9 млн параметров, рассчитана на изображения 224 × 224 и требует 15,2 GMACs на проход. Модель принимает изображения и выдаёт классы ImageNet-1k; также её можно применять для извлечения карт признаков и эмбеддингов. Карточка не указывает отдельную специализацию по языкам или предметным областям. Веса распространяются по лицензии Apache-2.0.
ConvNeXt Small — сверточная модель классификации изображений из библиотеки timm, обученная Россом Уайтменом на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Модель также подходит для извлечения карт признаков и получения векторных представлений изображений. Модель содержит 58,5 млн параметров, имеет вычислительную сложность 8,7 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0. Карточка не указывает языковые характеристики: основная задача модели — визуальная классификация.
ConvNeXt V2 Base — свёрточная модель компьютерного зрения, разработанная командой ConvNeXt и представленная в статье Woo и соавторов. Модель предварительно обучена с помощью FCMAE, затем дообучена на ImageNet-22K для классификации изображений при разрешении 224×224 пикселя. Архитектура остаётся полностью свёрточной и включает слой Global Response Normalization (GRN). Модель предназначена для классификации изображений по классам ImageNet; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ConvNeXt-V2 Nano — модель компьютерного зрения для классификации изображений и извлечения признаков, распространяемая в составе библиотеки timm. Она предварительно обучена методом FCMAE, затем дообучена на ImageNet-22k и ImageNet-1k. Модель содержит 15,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для определения объектов и сцен на изображениях, а также для получения карт признаков и эмбеддингов в конвейерах компьютерного зрения. В README приведены результаты классификации на ImageNet и примеры извлечения признаков и эмбеддингов. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/convnextv2-tiny-1k-224 — свёрточная модель классификации изображений, разработанная командой ConvNeXt V2 и опубликованная в репозитории Hugging Face. Модель предварительно обучена в рамках FCMAE, затем дообучена на ImageNet-1K для классификации изображений с разрешением 224 × 224 пикселя. Архитектура ConvNeXt V2 — чистая свёрточная сеть с полностью свёрточным masked autoencoder-подходом FCMAE и слоем Global Response Normalization (GRN). Модель предназначена для отнесения изображений к одному из 1000 классов ImageNet-1K и может служить основой для дальнейшей адаптации под другие задачи распознавания изображений. Доступны веса PyTorch, Safetensors и TensorFlow. Модель распространяется по лицензии Apache-2.0. Карточка не приводит специальных ограничений, кроме назначения для классификации изображений и набора классов ImageNet-1K.
C-RADIOv4-SO400M — модель извлечения визуальных признаков NVIDIA на базе Vision Transformer, предназначенная для получения эмбеддингов изображений. Вариант SO400M содержит около 431 млн параметров; веса опубликованы в формате safetensors и доступны для работы через Transformers. Модель принимает RGB-изображения с разрешением до 2048×2028 пикселей с шагом 16 и возвращает глобальное представление изображения и пространственные признаки в виде тензоров. Эмбеддинги рассчитаны на использование в последующих моделях и приложениях: для классификации и отбора изображений, семантической сегментации, оценки глубины и интеграции с моделями «зрение — язык». При обучении использовались модели-учителя SigLIP2-g, DINOv3-7B и SAM3; в карточке также приведены результаты оценки на ImageNet и данные об обучении на NV-CC-Img-Text-Dataset. Для ускорения NVIDIA рекомендует GPU, хотя конкретная производительность зависит от оборудования и сценария. Модель ориентирована на извлечение признаков, а не на самостоятельную классификацию или генерацию ответов: для прикладного результата требуется последующая модель. NVIDIA указывает готовность к коммерческому и некоммерческому использованию при соблюдении NVIDIA Open Model License Agreement.
Это модель DeiT-III Large для классификации изображений, обученная авторами статьи на ImageNet-1k и опубликованная в библиотеке timm. Её также можно использовать как визуальную основу для извлечения признаков и эмбеддингов изображений. Модель основана на архитектуре Vision Transformer (ViT), содержит около 304,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Основной сценарий — отнесение изображения к одному из классов ImageNet-1k; полученные признаки подходят для построения систем поиска и анализа изображений. Весы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка описывает обучение на ImageNet-1k; качество на других наборах данных и вне стандартного разрешения может отличаться.
DeiT-III — модель классификации изображений из библиотеки timm, основанная на архитектуре Vision Transformer. Авторы статьи предварительно обучили её на ImageNet-22k, а затем дообучили на ImageNet-1k. Модель содержит 22,1 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Она принимает изображения и выдаёт классовые предсказания либо векторные представления. Доступны веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не приводит специальные сведения об ограничениях применения или о поддержке конкретных языков.
facebook/deit-base-patch16-224 — базовая модель Data-efficient Image Transformer (DeiT), представленная авторами DeiT; опубликованные веса преобразованы из репозитория timm. Это энкодер Vision Transformer с 113,2 млн параметров, обученный и дообученный на ImageNet-1k для классификации изображений на 1 000 классов. Модель принимает изображения, разбивает их на патчи 16×16 и обрабатывает последовательность трансформерными слоями; штатное разрешение — 224×224 пикселя. Модель подходит для классификации изображений и извлечения признаков, которые можно использовать в последующих задачах компьютерного зрения. Для входа применяют масштабирование и центрированную обрезку до 224×224 с нормализацией RGB-каналов. В README для DeiT-base приведена точность ImageNet top-1 81,8% и top-5 95,6%; при дообучении более высокие результаты достигаются с разрешением 384×384. Текстовые языки не применяются. Лицензия — Apache-2.0.
Это конвертированная в LiteRT модель DINOv2 ViT-S/14, разработанная сообществом LiteRT на основе весов facebookresearch/dinov2. Она извлекает плотные признаки из изображений: для входа RGB размером 448×448 выдаёт 1024 вектора патчей размерности 384, без CLS-токена. Архитектура — визуальный трансформер ViT-S/14 с 12 блоками и 6 головами внимания; веса сохранены в формате TFLite fp16, размер файла — около 45 МБ. Модель предназначена для извлечения признаков на устройстве, в том числе на Android через LiteRT GPU delegate. Плотные токены можно использовать для визуализации семантически похожих областей, поиска изображений или как признаки для последующей обработки. В README приведены результаты работы на Pixel 8a и других устройствах, но скорость зависит от выбранного ускорителя и варианта файла. Вход должен быть представлен как NCHW и нормализован по ImageNet; размер фиксирован, позиционные эмбеддинги рассчитаны на сетку 448×448. Лицензия — Apache-2.0.
dm_nfnet_f1.dm_in1k — модель классификации изображений семейства NFNet, опубликованная авторами научных работ и обученная на ImageNet-1k. Она использует архитектуру, похожую на ResNet с предварительной активацией, но без слоёв нормализации: вместо них применяются стандартизация весов и скалярные коэффициенты в остаточных связях и нелинейностях. Модель содержит 132,6 млн параметров и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Указанный размер изображения для обучения — 224 × 224 пикселя, для оценки — 320 × 320. Репозиторий использует timm и содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.
ECA-NFNet-L0 — предварительно обученная на ImageNet модель классификации изображений из семейства NFNet, опубликованная под организацией timm. Вариант уменьшен относительно F0 для повышения скорости работы и снижения потребления памяти на GPU. Архитектура не использует слои нормализации: вместо них применяются стандартизированные по весам свёртки с дополнительными коэффициентами масштабирования. Также модель использует Efficient Channel Attention (ECA) вместо Squeeze-Excitation и активации SiLU вместо GELU. Модель классифицирует изображения по 1000 меткам ImageNet; её также можно дообучить для классификации с другим набором меток, сегментации или обнаружения объектов. Для оценки ImageNet указаны точность top-1 82,6% и top-5 96,5%. Репозиторий доступен в форматах PyTorch и Safetensors, для работы предусмотрена библиотека timm. Лицензия — Apache-2.0. Обучающие изображения преимущественно представляют фотографии, ясно соответствующие одной из категорий ImageNet, поэтому модель может хуже работать с рисунками и сценами с несколькими объектами. Географическое распределение данных также может влиять на качество для изображений из разных стран; унаследованные от ImageNet смещения могут проявляться в предсказаниях.
EfficientViT-B2 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, созданная авторами статьи EfficientViT. Чекпойнт обучен на ImageNet-1k и рассчитан на входные изображения размером 224 × 224 пикселя. В модели 24,3 млн параметров; вычислительная сложность составляет 1,6 GMACs. Модель можно применять для отнесения изображения к категории ImageNet-1k, извлечения карты признаков и получения векторных представлений изображений. Архитектура EfficientViT использует многомасштабное линейное внимание; реализация доступна через библиотеку timm, веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Классификатор обучен на ImageNet-1k, поэтому его категории и качество ограничены этим набором данных. Для изображений другого размера или предметной области может потребоваться предварительная обработка либо адаптация модели.
EVA Large patch14 336 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Она реализована в библиотеке timm; согласно карточке, авторы статьи EVA предварительно обучили её на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя, а затем дообучили на ImageNet-1k. В модели около 304,5 млн параметров, стандартный размер входного изображения — 336 × 336 пикселей. Модель можно использовать для определения объектов и сцен на изображениях по классам ImageNet-1k, а также как визуальный backbone для получения эмбеддингов и построения прикладных систем компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; чекпойнты timm сохранены в float32. Лицензия — MIT. Модель обрабатывает изображения и выдаёт оценки классов либо визуальные представления. Её классификация ориентирована на набор классов ImageNet-1k; качество на других предметных областях и при других размерах входа в карточке не описано.
Это модель mcsabai, представляющая собой HuBERT base в версии cased, дообученную для ответов на вопросы на венгерском языке. Она использует архитектуру BERT и принимает вопрос вместе с текстом-контекстом, чтобы извлечь из него ответ; при настройке handle_impossible_answer может воздерживаться от ответа, если контекст его не подтверждает. Модель содержит 137,8 млн параметров и рассчитана на контекст длиной до 512 токенов. Модель предназначена для извлечения ответов из предоставленного текста, например для вопросно-ответных систем по документам на венгерском языке. Дообучение выполнено на венгерской версии SQuADv2, созданной машинным переводом датасета с помощью Google Translate API; это может ограничивать качество формулировок и ответов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.
Owen Elliott разработал лёгкий классификатор изображений для оценки их безопасности. Модель на архитектуре SwiftFormer относится к семейству дообученных моделей SwiftFormer; в этой версии 3,5 млн параметров. Она относит изображения к классам NSFW (порнографический или откровенный контент), NSFL (кровь и жестокие сцены) и SFW (остальные изображения). Модель предназначена для быстрой проверки изображений, в том числе на устройствах с ограниченными ресурсами. Доступны веса PyTorch и ONNX; лицензия — MIT. Модель обучена на частном наборе примерно из 320 тысяч изображений из интернета, включая фотографии, рисунки, мемы и изображения, созданные ИИ. Автор сообщает о точности 97,76% на своей оценке; этот результат относится к использованному набору данных и не гарантирует такую же точность в других условиях. Класс NSFL представлен в обучающих данных значительно слабее, чем NSFW и SFW, поэтому распознавание жестоких сцен может быть менее надёжным. Модель может ошибаться, а граница между безопасным и откровенным контентом зависит от контекста.
ImageShield-MMCF-2B-GGUF — мультимодальная модель для классификации контента и модерации изображений, разработанная prithivMLmods на основе Qwen/Qwen3.5-2B. Модель обучена примерно на 28 000 примерах для задач контентной безопасности и предназначена для определения визуального контента как Safe или Unsafe, в частности для выявления NSFW-сексуализированного содержания и других потенциально чувствительных материалов. Модель поддерживает обработку изображений и текста, относится к семейству image-text-to-text и распространяется в формате GGUF для запуска с llama.cpp, а также в нескольких вариантах квантования размером примерно от 1,02 до 3,78 ГБ. Точные параметры контекстного окна и полный перечень поддерживаемых языков не указаны; в метаданных заявлен английский язык. Для работы рекомендуется использовать конфигурацию на базе Transformers, отключить режим рассуждений и соблюдать оригинальный chat template. Это экспериментальный релиз, поэтому модель может демонстрировать неожиданные результаты и артефакты рассуждений. Её следует применять для исследовательских задач и классификации контента, а результаты проверять с учётом возможных ошибок. Модель распространяется по лицензии Apache-2.0.
imprt/kushinada-hubert-large — японская модель HuBERT Large, разработанная imprt и предварительно обученная на 62 215 часах аудио японских телевизионных передач. Для подготовки обучающих данных использовалось обнаружение голосовой активности; модель обучена с применением кода официального репозитория HuBERT. Модель предназначена для извлечения признаков из японской речи и аудио и может служить основой для последующих задач обработки речи. В README показан пример загрузки AutoFeatureExtractor из Transformers для аудиофайла с частотой дискретизации 16 кГц. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
lambda_resnet26rpt_256.c1_in1k — модель классификации изображений из библиотеки timm, разработанная Россом Уайтманом и обученная на ImageNet-1k. Она основана на ResNet и использует блоки LambdaNet для моделирования дальних пространственных взаимодействий. Архитектура реализована через BYOBNet и подходит также для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 11 млн параметров, имеет вычислительную сложность 3,2 GMAC и рассчитана на изображения размером 256 × 256 пикселей. В описании указано, что конфигурация не повторяет конкретную научную работу: она настроена на разумное время обучения и сокращённое число блоков self-attention. Модель обучена на ImageNet-1k; лицензия — Apache-2.0.
MambaVision-L3-512-21K — модель компьютерного зрения семейства MambaVision, разработанная NVIDIA. Это гибридная иерархическая архитектура, сочетающая Mamba и блоки self-attention из Transformer; модель предназначена для классификации изображений и извлечения визуальных признаков. Она предварительно обучена на ImageNet-21K и дообучена на ImageNet-1K с разрешением 512 × 512. Модель подходит для присвоения изображению метки класса и получения признаков с четырёх стадий архитектуры или после усреднённого pooling. В карточке заявлены высокая точность и пропускная способность, но численные результаты таблицы недоступны в предоставленном тексте. Для использования авторы рекомендуют пакет mambavision и PyTorch. Лицензия указана как other; конкретные условия в доступной карточке не раскрыты.
maxvit_rmlp_nano_rw_256.sw_in1k — модель классификации изображений из библиотеки timm, обученная Ross Wightman на ImageNet-1k. Она предназначена для распознавания объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Архитектура MaxViT сочетает блоки свёрточной обработки MBConv и внимание трансформера по окнам и сетке; вариант использует MLP Log-CPB для относительного позиционного смещения. В модели 15,5 млн параметров, расчётный размер входного изображения — 256 × 256 пикселей. Доступны веса PyTorch и safetensors; библиотека — timm. Модель обучена на ImageNet-1k и предназначена для задач общего распознавания изображений. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Результаты зависят от качества и предметной области изображений; для специализированных классов может потребоваться адаптация.
MaxViT Small TF 384 — модель классификации изображений и извлечения признаков из семейства MaxViT, разработанная авторами оригинальной работы. Исходные веса обучены в TensorFlow на ImageNet-1k, а в PyTorch их перенёс Ross Wightman; модель доступна через timm. Архитектура сочетает блоки MBConv с двумя видами внимания: оконным и сеточным. Вариант рассчитан на изображения размером 384 × 384 и содержит около 69 млн параметров. Его можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения. Карточка не приводит специальных ограничений качества или поддерживаемых языков. Лицензия — Apache-2.0.
Это свёрточная модель MobileNet-V1 для классификации изображений, обученная Россом Уайтманом с помощью скриптов библиотеки timm на ImageNet-1k. Она также может служить визуальной базовой сетью для извлечения карт признаков и эмбеддингов. Модель содержит около 4,2 млн параметров и рассчитана на эффективную обработку изображений: указано 0,6 GMACs. Размер изображения при обучении — 224 × 224 пикселя, при тестировании — 256 × 256. Её можно применять для распознавания объектов на изображениях и как основу для других задач компьютерного зрения. Опубликована в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. В карточке нет сведений о поддержке текстовых или иных языков; модель принимает изображения и выдаёт классы.
mobilenetv3_small_050.lamb_in1k — компактная модель классификации изображений семейства MobileNetV3, опубликованная командой timm. Она обучена на ImageNet-1k с рецептом оптимизации LAMB и усреднением весов EMA; модель содержит около 1,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Компактный размер делает её применимой в сценариях с ограниченными вычислительными ресурсами. В репозитории представлены веса PyTorch и safetensors; библиотека для работы — timm. Обучение на ImageNet-1k задаёт область распознаваемых классов и не гарантирует качество на других доменах. Лицензия — Apache-2.0.
MobileNetV4 Conv Medium — свёрточная модель для классификации изображений, разработанная Россом Уайтманом и обученная на ImageNet-12k. Она также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 23,6 млн параметров, требует 2,5 GMACs и рассчитана на изображения размером 384 × 384 пикселя. Репозиторий предоставляет веса PyTorch в формате safetensors; модель доступна через библиотеку timm. Лицензия — Apache-2.0.
Next-ViT Small — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная авторами статьи Next-ViT и размещённая в библиотеке timm. Она обучена на наборе Unknown-6M с дистилляцией SSLD и ImageNet-1k; содержит около 31,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. В карточке приведена точность top-1 85,964% и top-5 97,908% на ImageNet-1k. Модель можно применять для присвоения изображению класса из набора ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Это визуальный бэкбон на основе архитектуры Next-ViT, предназначенный для эффективного развёртывания. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.
onnx-community/nsfw_image_detection-ONNX — это ONNX-версия модели Falconsai/nsfw_image_detection, разработанная сообществом onnx-community. Модель предназначена для выявления контента сексуального характера на изображениях и может использоваться в сценариях автоматической модерации и фильтрации изображений. Модель автоматически преобразована и опубликована в формате ONNX для использования с библиотекой Transformers.js. В предоставленных данных не указаны точная архитектура, размер, поддерживаемые языки, модальности помимо изображений и ограничения контекста. Лицензия также не указана, поэтому условия использования необходимо уточнять в карточках исходной и ONNX-модели.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.