IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейEfficientViT-B2.r288-in1k — модель классификации изображений из семейства EfficientViT, разработанного авторами соответствующей научной работы. Она обучена на ImageNet-1k и также может использоваться как основа для извлечения карт признаков и визуальных эмбеддингов. Модель содержит около 24,3 млн параметров, требует входные изображения размером 288 × 288 пикселей и имеет вычислительную сложность 2,6 GMACs. Архитектура EfficientViT использует многомасштабное линейное внимание и рассчитана на эффективную обработку изображений высокого разрешения. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0.
EfficientViT-M5 — модель классификации изображений и извлечения признаков из семейства EfficientViT, разработанного MSRA. Авторы статьи обучили её на ImageNet-1k; модель также может выступать визуальным backbone и формировать карты признаков и эмбеддинги изображений. Модель содержит 12,5 млн параметров, рассчитана на изображения размером 224 × 224 и имеет вычислительную сложность 0,5 GMAC. Она предназначена для классификации изображений и использования в компьютерном зрении, где нужны компактные признаки или эмбеддинги. Для работы с моделью используется библиотека timm, веса доступны в форматах PyTorch и safetensors. Лицензия — MIT. Модель обучена на ImageNet-1k; сведения о специальных ограничениях или оценках качества в карточке не приведены.
Face_Recognition — конвейер биометрической идентификации лиц, разработанный группой студентов Университета технологии и образования Хошимина (HCMUTE). Он обнаруживает и выравнивает лица с помощью YOLOv8 в формате ONNX, а затем извлекает признаки сетью Wide ResNet-101-2. Обучение с ArcFace и Center Loss формирует эмбеддинги размерностью 512, пригодные для сравнения по косинусному сходству. Модель предназначена для распознавания и сопоставления лиц на изображениях; в README также описана возможность дообучения на собственном наборе данных. Авторы сообщают точность 90,5% на LFW и 90% на валидации. Для запуска предусмотрена Python-обёртка; доступны форматы PyTorch и ONNX. Лицензия — Apache-2.0.
FasterNet L — модель компьютерного зрения для классификации изображений и извлечения признаковых представлений. Она разработана авторами статьи «Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks» и обучена на ImageNet-1k. Модель доступна через библиотеку timm; в репозитории представлены веса PyTorch и Safetensors, лицензия — Apache-2.0. Модель содержит около 93,5 млн параметров, имеет 15,5 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Помимо предсказания класса изображения, её можно использовать как backbone для извлечения карт признаков и эмбеддингов изображений. Карточка не приводит сведения о дополнительных языковых возможностях.
FlexiViT Small — модель классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-1k с помощью JAX, а Ross Wightman перенёс веса в PyTorch; модель распространяется в форматах PyTorch и safetensors. Репозиторий относится к библиотеке timm и использует лицензию Apache-2.0. Модель подходит для классификации изображений по классам ImageNet-1k и получения эмбеддингов изображений как визуального представления. Она содержит 22,1 млн параметров, требует изображения размером 240 × 240 пикселей и имеет вычислительную стоимость 4,9 GMACs. FlexiViT разработана для работы с разными размерами патчей, хотя сведения о настройках такой работы для этого конкретного чекпойнта не приведены.
Модель eliya/forensics_0.3B_xlsr_wild_deepfake_classifier разработана как часть семейства Forensics для обнаружения синтетической и поддельной речи в аудио из реальных, неконтролируемых условий. Это классификатор аудио на базе дообученной facebook/wav2vec2-xls-r-300m с полностью размороженным backbone и графовым attention-пулингом AASIST; размер базовой модели — около 300 млн параметров. Модель принимает аудио и выдаёт оценку вероятности того, что запись является дипфейком. Она предназначена для проверки телефонных записей, сжатых аудиоклипов и записей с неизвестными микрофонами и условиями съёмки. По README, модель обучалась на более чем 5 млн речевых примеров, включая синтетические подделки, с аугментациями шума, кодеков и акустических условий. Разработчик сообщает EER 1,03% на тесте In-the-Wild и называет результат лучшим в семействе; это заявление из карточки модели, а не независимая оценка. Модель использует PyTorch и веса в форматах safetensors и PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Мультиязычность указана в метаданных, однако конкретные поддерживаемые языки не перечислены.
HATE-ITA Base — модель MilaNLProc для бинарной классификации итальянских публикаций в социальных сетях на наличие языка ненависти. Она дообучена на базе XLM-T; семейство XLM-RoBERTa и размер 305,2 млн параметров указаны в метаданных. Модель принимает текст и выдаёт метки классификации. В статье сообщается F1 0,83 на тестовой выборке; авторы описывают обучение на крупных англоязычных данных и доступных итальянских наборах данных, а также способность распознавать местные оскорбительные выражения. Модель предназначена для выявления языка ненависти в итальянском тексте, в том числе в сообщениях соцсетей, и для исследовательского анализа такого контента. Контекст — до 514 токенов. Лицензия — GPL-3.0. Авторы предупреждают, что результаты не гарантируют стабильную и справедливую точность для разных групп и категорий: модель может упускать важные нюансы. Поэтому классификацию следует трактовать осторожно, а не как окончательную оценку содержания.
hgnet_base.ssld_in1k — модель компьютерного зрения семейства HGNet (High Performance GPU Net), представленная авторами модели и доступная через библиотеку timm. Это модель классификации изображений и извлечения визуальных признаков; она обучалась на данных ImageNet-22k и ImageNet-1k с применением дистилляции SSLD. Веса содержат около 71,6 млн параметров. Для обучения использовался размер изображения 224 × 224, для тестирования — 288 × 288; модель подходит также для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для классификации объектов на изображениях и как визуальная основа в системах компьютерного зрения. В README приведены результаты ImageNet, включая Top-1 около 86,3% для вариантов HGNetv2 из сравнительной таблицы; это не следует считать гарантированной оценкой именно данного чекпойнта. Репозиторий предоставляет веса PyTorch и SafeTensors. Лицензия — Apache-2.0. Модель работает с изображениями и не предназначена для обработки естественного языка.
HGNet-V2 B1 — сверточная модель классификации изображений из семейства High Performance GPU Net. Её обучили авторы семейства на данных ImageNet-22k с дистилляцией SSLD, затем дообучили на ImageNet-1k. Модель содержит 6,3 млн параметров и доступна в форматах PyTorch и Safetensors; карточка указывает размер изображения 224 × 224 для обучения и 288 × 288 для тестирования. Модель предназначена для классификации изображений по категориям ImageNet и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она рассчитана на обработку изображений, а выдаёт предсказания классов или признаки для дальнейших задач компьютерного зрения. Лицензия — Apache-2.0.
Модель darelphilip/hinglish-toxicity-classifier разработана Darel Philip и дообучена на базе l3cube-pune/hing-roberta. Это трансформер XLM-RoBERTa для многометочной классификации текста: она выявляет токсичность, ненормативную лексику, травлю и ненавистнические высказывания против групп в хинглише — смешанном хинди и английском, записанном латиницей. Модель обучалась на более чем 116 тысячах размеченных разговорных комментариев; размер составляет 305,2 млн параметров, формат весов — Safetensors, максимальная длина контекста — 514 токенов. Лицензия — MIT. Модель предназначена для фильтрации комментариев и публикаций, анализа архивов обсуждений и поддержки модерационных ботов. Автор рекомендует использовать отдельные пороги для разных классов и сочетать классификатор с правилами и проверкой модератора в неоднозначных случаях. Валидационные результаты включают Macro F1 0,557 и Micro F1 0,655. Модель может хуже распознавать сарказм, необычные варианты написания хинглиша и редкие категории адресной ненависти; она не рассчитана на текст на деванагари, формальный английский или решения о санкциях без проверки человеком.
HRNet-W40 — модель классификации изображений и извлечения визуальных признаков, созданная авторами работы «Deep High-Resolution Representation Learning for Visual Recognition» и обученная на ImageNet-1k. Она содержит около 57,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; модель доступна в форматах PyTorch и safetensors и поддерживается библиотекой timm. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Архитектура HRNet поддерживает высокое пространственное разрешение представлений на разных этапах обработки, что полезно как для классификации, так и для использования в качестве визуального backbone в других системах компьютерного зрения. Лицензия — MIT. Модель обучена на ImageNet-1k, поэтому её классы и характеристики отражают этот набор данных; для иных предметных областей может потребоваться адаптация. В карточке не приведены сведения о мультиязычных функциях или обработке текста, аудио и видео.
timm/inception_next_base.sail_in1k_384 — модель классификации изображений семейства InceptionNeXt, обученная авторами статьи на ImageNet-1k. Она также предназначена для извлечения карт признаков и визуальных эмбеддингов, которые можно использовать в качестве основы для компьютерного зрения. Модель содержит 86,7 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Для запуска используется библиотека timm; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
MambaOut Base Wide — модель компьютерного зрения для классификации изображений и извлечения признаков. Версию с настройками архитектуры для timm обучил Ross Wightman на ImageNet-1k по рецепту обучения на основе Swin и ConvNeXt. В модели 94,4 млн параметров; рекомендованный размер изображения при обучении — 224 × 224, при проверке — 288 × 288. Модель подходит для отнесения изображений к классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальный бэкбон в системах компьютерного зрения. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.
MambaOut Small — модель компьютерного зрения для классификации изображений и извлечения признаков. Она основана на архитектуре MambaOut и предварительно обучена авторами статьи на ImageNet-1k; модельная карточка представлена в экосистеме timm. Веса содержат 48,5 млн параметров, вычислительная сложность указана как 9,0 GMACs. Обучение проводилось с размером изображения 224×224, для оценки используется 288×288. Модель подходит для отнесения изображений к классам ImageNet-1k, получения карт признаков и вычисления эмбеддингов изображений, например, как визуальный backbone в прикладных системах. Она принимает изображения и выдаёт метки классов либо признаки, в зависимости от выбранного сценария использования. Доступные форматы весов — PyTorch и Safetensors. Лицензия — Apache-2.0.
MaxViT Large TF 384 — модель классификации изображений семейства MaxViT, обученная авторами статьи на ImageNet-1k и перенесённая из официальной реализации TensorFlow в PyTorch Россом Уайтманом для timm. Архитектура сочетает блоки MBConv с двумя видами self-attention: оконным и сеточным. Модель содержит около 212 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может использоваться как визуальный backbone для извлечения признаков, карт признаков и эмбеддингов. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не указывает отдельной специализации на конкретной прикладной области или поддержки языковых входов.
timm/maxxvitv2_rmlp_base_rw_224.sw_in12k_ft_in1k — модель классификации изображений семейства MaxxViT-V2, опубликованная Ross Wightman в библиотеке timm. Она предварительно обучена на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом, а затем дообучена на ImageNet-1k. Модель рассчитана на изображения размером 224 × 224 пикселя и содержит 116,1 млн параметров. Архитектура MaxxViT-V2 сочетает блоки ConvNeXt и grid self-attention; в этой версии применяется MLP-вариант смещения относительных позиций, мотивированный Swin Transformer V2. Модель предназначена для распознавания классов объектов на изображениях, а также может служить backbone для извлечения признаковых карт и эмбеддингов. README не указывает специальную поддержку естественных языков. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Результаты классификации зависят от сходства входных изображений с ImageNet и его набором классов; сведений о других ограничениях в предоставленных источниках нет.
Это модель классификации изображений на архитектуре MLP-Mixer, опубликованная авторами статьи «MLP-Mixer: An All-MLP Architecture for Vision» и доступная через библиотеку timm. Она предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k; содержит около 59,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель можно использовать как для предсказания классов изображений, так и как основу для извлечения признаков и эмбеддингов. Модель предназначена для задач компьютерного зрения общего назначения, включая классификацию изображений и получение визуальных признаков для последующей обработки. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не указывает особых ограничений, кроме ориентации на входные изображения размером 224 × 224.
MobileNetV3 Small 0.75 — компактная модель классификации изображений, опубликованная авторами библиотеки timm. Она обучена на ImageNet-1k с рецептом LAMB, EMA-усреднением весов и ступенчатым затуханием скорости обучения. В модели около 2 млн параметров; рекомендуемый размер изображения — 224 × 224 пикселя. Модель предназначена для определения объектов на изображениях и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактный размер подходит для сценариев, где важны небольшая вычислительная нагрузка и классификация изображений общего назначения. Доступны веса PyTorch и safetensors; лицензия — Apache-2.0. Классификатор обучен на классах ImageNet-1k, поэтому его предсказания ограничены этим набором категорий. README не приводит метрики качества или сведений о поддержке изображений иных размеров.
mobilenetv4_conv_small.e3600_r256_in1k — модель семейства MobileNetV4 для классификации изображений и извлечения признаков. Её обучил Ross Wightman с помощью скриптов timm на ImageNet-1k; обучение использовало гиперпараметры, основанные на статье о MobileNetV4, с доработками timm. Веса опубликованы в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель содержит около 3,8 млн параметров и рассчитана на мобильные сценарии с ограниченными вычислительными ресурсами: README указывает 0,2 GMAC и размер изображения 256 × 256 для обучения и 320 × 320 для проверки. Её можно применять для распознавания классов объектов на изображениях, извлечения карт признаков и получения эмбеддингов. Обучение на ImageNet-1k ориентирует модель на классификацию категорий этого набора данных; качество для иных доменов и типов изображений может отличаться. В карточке отмечено, что официальные веса TensorFlow на момент её публикации не были доступны.
MobileNetV4 Hybrid Medium — модель классификации изображений и извлечения признаков семейства MobileNetV4, опубликованная Россом Уайтманом в библиотеке timm. Она предварительно обучена на ImageNet-12k, затем дообучена на ImageNet-1k и подходит для распознавания объектов на изображениях, получения карт признаков и эмбеддингов для последующих задач компьютерного зрения. Модель содержит 11,1 млн параметров и требует около 1,3 GMAC на изображение. Указанный размер изображения при обучении — 256 × 256, при тестировании — 320 × 320. Репозиторий предоставляет веса PyTorch и safetensors. Модель ориентирована на эффективную классификацию изображений; показатели качества для этой конкретной версии в приведённой части таблицы не указаны. Лицензия — Apache-2.0. Карточка не описывает поддержку естественных языков: модель принимает изображения и выдаёт классы или признаки, а не текст.
nostrbuild/nsfw-image-detection-large — модель классификации изображений на базе microsoft/focalnet-base с архитектурой FocalNetForImageClassification. Она относит изображения к одному из трёх классов: безопасное, сомнительное или небезопасное; размер входа, указанный в карточке, — 512×512 пикселей. Модель предназначена для первичной модерации изображений и фильтрации пользовательских загрузок в социальных сетях, интернет-магазинах, приложениях знакомств и образовательных сервисах. Модель принимает изображения и выдаёт метку класса. Карточка заявляет о настройке на NSFW-данных и приводит оценку точности свыше 95% на задачах обнаружения NSFW, но не описывает методику оценки, поэтому эти показатели не следует считать независимо подтверждёнными. Классификатор может ошибаться; для спорных или важных решений нужна проверка человеком. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.
PitchLens YOLO26x Ball-Detection Teacher — модель обнаружения футбольных мячей, разработанная для проекта PitchLens и основанная на YOLO26x с дообучением на наборе PitchLens Ball Detection v002. Это крупная модель на базе Ultralytics; основная версия для разметки обучена при разрешении 960 пикселей. Модель принимает изображения и возвращает рамки с обнаруженными мячами. Модель предназначена для автоматического предложения рамок мяча в футбольных кадрах перед проверкой человеком, а также для формирования псевдоразметки видео. На указанном наборе валидации версия 960 пикселей показала mAP50 75,2%, precision 82,5% и recall 70,9% при заданных в карточке порогах. Она настроена на качество и полноту разметки, а не на работу на мобильных устройствах. Мелкие, размытые и летящие мячи обнаруживать сложно; круглые статичные объекты, головы, вывески и запасные мячи могут давать ложные срабатывания. Обучающий домен пока не соответствует фиксированной любительской камере iPhone, а предсказания следует проверять и считать предложениями разметки, а не эталонной истиной. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Alfikrah дообучила Qwen2.5-3B-Instruct-bnb-4bit для генерации текста. Модель построена на плотной архитектуре Qwen2 с 3,1 млрд параметров и рассчитана на контекст до 32 768 токенов; карточка также указывает чат-возможности. В README не уточняется предметная область или конкретные сценарии дообучения, поэтому назначение модели за пределами генерации текста определить нельзя. Модель принимает текст и выдаёт текст. В метаданных указан английский язык. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. README сообщает, что при обучении использовались Unsloth и библиотека TRL от Hugging Face.
Это визуальный энкодер семейства Qwen3 ViT, перенесённый в формат timm из весов зрительной части Qwen3.8-27B. Модель разработана на основе Qwen и предназначена для извлечения признаков изображений и получения векторных представлений для последующей классификации или других задач компьютерного зрения. Веса не дообучались при переносе; языковые веса и обученная классификационная голова в чекпойнт не входят. Энкодер содержит около 415 млн параметров, использует абсолютные позиционные эмбеддинги с интерполяцией и двумерное осевое RoPE. Опорный размер изображения — 768 × 768; поддерживаются прямоугольные изображения, если каждая сторона кратна 16, а варианты с объединением токенов 2 × 2 требуют кратности 32. Модель принимает RGB-изображения, нормализованные со средним и стандартным отклонением 0,5 по каждому каналу, и возвращает карты признаков либо объединённые векторы изображения. Чекпойнт подходит как визуальный бэкбон для извлечения признаков и последующего обучения классификатора на целевом наборе данных. Сам классификационный слой отсутствует, поэтому для классификации требуется добавить и обучить новую голову. Лицензия — Apache 2.0.
RegNetV-6.4GF — модель классификации изображений и визуальный backbone, разработанный Россом Уайтманом и обученный в библиотеке timm на ImageNet-1k. Она относит изображения к классам и может использоваться как основа для извлечения признаков, карт признаков и эмбеддингов изображений. Модель содержит 30,6 млн параметров и выполняет около 6,4 GMACs. В карточке указаны размер изображения 224 × 224 для обучения и 288 × 288 для тестирования. Реализация timm поддерживает стохастическую глубину, градиентный чекпойнтинг, настройку шага выхода и варианты слоёв активации и нормализации. Доступны веса в форматах PyTorch и safetensors. Модель предназначена для задач компьютерного зрения общего назначения, в частности для классификации изображений из домена ImageNet. Лицензия — Apache-2.0. Показатели качества и ограничения за пределами приведённых сценариев ImageNet в карточке не описаны.
regnety_002.pycls_in1k — модель классификации изображений семейства RegNetY, представленная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для распознавания объектов на изображениях, извлечения карт признаков и получения эмбеддингов. Модель содержит 3,2 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность около 0,2 GMAC. Реализация timm поддерживает стохастическую глубину, контрольные точки градиентов и настройку выходного шага. Модель подходит как компактная основа для классификации изображений и визуальных конвейеров, которым нужны карты признаков или эмбеддинги. Карточка указывает лицензию MIT. Оценки качества для этой конкретной версии в приведённой карточке не указаны.
RegNetY-800MF — модель классификации изображений из семейства RegNet, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для распознавания объектов на изображениях, а также для использования в качестве визуального backbone и извлечения карт признаков или эмбеддингов. Модель содержит 6,3 млн параметров, обрабатывает изображения размером 224 × 224 и требует около 0,8 GMAC на изображение. Реализация timm поддерживает стохастическую глубину, градиентное чекпойнтирование, настройку шага выхода и слоёв активации и нормализации. Эти возможности позволяют применять модель как для готовой классификации, так и как основу для других компьютерно-зрительных систем. Лицензия — MIT.
RegNetY-128GF — сверточная модель классификации изображений из библиотеки timm. Она предварительно обучена авторами исследования SEER с помощью самообучения SwAV на 2 млрд случайных интернет-изображений, а затем дообучена на ImageNet-1k. Модель содержит около 644,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель определяет классы объектов на изображении; её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. В README приведён результат top-1 88,228% для модели с близким обозначением regnety_1280.swag_ft_in1k, но этот результат не следует считать оценкой данной SEER-модели. Лицензия SEER некоммерческая и ограничивает использование и распространение.
RegNetY-16GF — модель классификации изображений и извлечения признаков из семейства RegNet, опубликованная Ross Wightman в библиотеке timm. Она предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k; число параметров — около 83,6 млн. Для обучения указано разрешение 224×224 пикселя, для тестирования — 288×288. Модель подходит для классификации изображений по категориям ImageNet, извлечения карт признаков и получения эмбеддингов изображений. Реализация timm поддерживает, среди прочего, stochastic depth, gradient checkpointing и настройку выходного шага сети. Модель принимает изображения и выдаёт классы либо признаки, в зависимости от выбранного режима использования. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях по применению.
RepGhostNet 1.0 — модель классификации изображений и извлечения визуальных признаков из семейства RepGhostNet. Она обучена авторами статьи на ImageNet-1k и предназначена для распознавания объектов на изображениях, а также для использования в качестве компактной основы для извлечения карт признаков и эмбеддингов. В модели около 4,1 млн параметров; заявлены вычислительная сложность 0,2 GMAC и размер входного изображения 224 × 224. Репозиторий предоставляет веса PyTorch и SafeTensors, библиотека модели — timm. Модель рассчитана на классификацию изображений общего назначения и может применяться как лёгкая визуальная основа в компьютерном зрении. Лицензия — MIT. Карточка не описывает ограничения точности и состав классов подробнее, чем обучение на ImageNet-1k.