IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейMaskFormer Swin Small COCO — модель сегментации изображений, разработанная командой авторов MaskFormer и представленная в работе «Per-Pixel Classification is Not All You Need for Semantic Segmentation». Это компактный вариант MaskFormer с backbone Swin, обученный на COCO для паноптической сегментации; опубликованный чекпойнт предназначен для семантической сегментации. Модель предсказывает набор масок и соответствующих им меток, используя общий подход для сегментации объектов, семантической и паноптической сегментации. Она принимает изображение и выдаёт сегментационные маски с классами. Карточка указывает на поддержку семантической сегментации, а метаданные классифицируют её основную задачу как image-segmentation. Модель распространяется в форматах PyTorch и Safetensors. Лицензия указана как other, поэтому конкретные условия использования следует сверить с репозиторием. Чекпойнт обучен на COCO, и результаты могут зависеть от отличий целевых изображений от этого набора данных.
MaxViT XLarge TF 512 — модель Ross Wightman, перенесённая из официальной реализации TensorFlow в PyTorch и предназначенная для классификации изображений и извлечения визуальных признаков. Она предварительно обучена на ImageNet-21k и дообучена авторами оригинальной статьи на ImageNet-1k; для загрузки доступны веса PyTorch и safetensors. Архитектура MaxViT сочетает блоки MBConv с оконным и сеточным self-attention. Модель содержит около 475,8 млн параметров и рассчитана на входные изображения размером 512 × 512 пикселей. По данным карточки, точность классификации ImageNet-1k составляет 88,53% Top-1 и 98,64% Top-5. Модель подходит для классификации изображений, построения визуальных эмбеддингов и использования в качестве backbone для извлечения признаков. Её размер и вычислительная стоимость высоки: указано 534,1 GMACs, поэтому для инференса может потребоваться производительное оборудование. Лицензия — Apache-2.0.
Mezzo Content Guard v1.5 Nano — англоязычная модель для классификации и модерации текстового контента, разработанная RyanStudio. Она дообучена на Ettin Encoder 17M с архитектурой ModernBERT и использует mean pooling. Модель размечает пять категорий: hate speech, self-harm, sexual, toxic и violence; её можно применять для фильтрации пользовательских сообщений и выявления потенциально вредного контента. Размер этой версии — 16,8 млн параметров, максимальный контекст — 7999 токенов. Доступны веса в форматах ONNX и safetensors; лицензия — Apache-2.0. По опубликованным результатам серии Mezzo Content Guard v1.5 качество зависит от размера модели и порога классификации; порог можно менять, балансируя точность и полноту. Отдельные результаты именно Nano в карточке не приведены. Модель ориентирована на английский язык и может хуже работать с многоязычным текстом, современным сленгом и обходами фильтров; возможны ошибки разметки и чрезмерная блокировка упоминаний маргинализированных групп.
mixer_l16_224.goog_in21k_ft_in1k — модель классификации изображений на архитектуре MLP-Mixer, опубликованная авторами статьи и доступная через библиотеку timm. Она предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k; содержит около 208,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель также можно использовать как основу для извлечения признаковых представлений изображений. Модель предназначена для классификации изображений и получения их эмбеддингов в задачах компьютерного зрения. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache 2.0.
mobilenetv4_conv_small_050.e3000_r224_in1k — модель классификации изображений семейства MobileNetV4, обученная Россом Уайтманом на ImageNet-1k с использованием скриптов timm и гиперпараметров, основанных на статье MobileNetV4 с улучшениями timm. Это компактная сверточная модель с примерно 2,2 млн параметров и вычислительной сложностью около 0,1 GMACs; обучалась на изображениях 224×224, для проверки указано разрешение 256×256. Модель предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактный размер делает её подходящей для задач компьютерного зрения с ограниченными вычислительными ресурсами. В README отмечено, что это одни из немногих доступных весов MobileNetV4, а официальные веса TensorFlow на момент публикации не выпущены. Модель опубликована в форматах PyTorch и safetensors и распространяется по лицензии Apache-2.0. Обучение проводилось на ImageNet-1k; характеристики точности именно этой версии в приведённом фрагменте README не указаны.
MobileOne-S0 — компактная модель классификации изображений из семейства MobileOne, обученная авторами статьи на ImageNet-1k и опубликованная в репозитории timm. Она предназначена для распознавания объектов на изображениях и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит около 5,3 млн параметров, требует 1,1 GMAC на изображение и рассчитана на вход размером 224 × 224 пикселя. MobileOne разработана для эффективного выполнения задач компьютерного зрения, в том числе в сценариях с ограниченными вычислительными ресурсами. Репозиторий предоставляет веса PyTorch и SafeTensors. В метаданных Hugging Face указана лицензия other; README просит соблюдать исходную лицензию, поэтому условия использования следует сверять с лицензией оригинальной модели.
MobileViT-v2 — модель классификации изображений и извлечения визуальных признаков, обученная авторами статьи на ImageNet-1k и опубликованная в библиотеке timm. Она предназначена для присвоения изображениям классов, извлечения карт признаков и получения векторных представлений изображений. Модель содержит около 7,5 млн параметров, требует изображения размером 256 × 256 пикселей и имеет вычислительную сложность 2,9 GMAC. Архитектура сочетает мобильные сверточные компоненты с механизмом separable self-attention для мобильного компьютерного зрения. Репозиторий содержит веса PyTorch и SafeTensors; лицензия указана как other, поэтому перед использованием следует проверить её условия в источнике.
MobileViT-v2 — модель классификации изображений, обученная авторами статьи на ImageNet-1k. Репозиторий timm/mobilevitv2_175.cvnets_in1k содержит вариант с 14,3 млн параметров и вычислительной сложностью 5,5 GMACs; для классификации указана входная сторона изображения 256 × 256. Модель также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. Модель предназначена для отнесения изображений к классам ImageNet-1k и получения визуальных признаков для последующих задач компьютерного зрения. Архитектура MobileViT-v2 сочетает подходы мобильных свёрточных сетей и Vision Transformer; веса доступны в форматах PyTorch и Safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией авторов.
mrm8488 дообучил answerdotai/ModernBERT-base для классификации тональности финансовых новостей. Модель принимает текст и выдаёт метку класса; в README приведены результаты оценки: F1, точность и полнота — 0,9765, loss — 0,1293. Объём модели составляет 149 млн параметров, максимальная длина контекста — 8192 токена. Базовая ModernBERT — англоязычная модель понимания текста, поэтому модель предназначена для анализа финансовых новостей на английском языке. Репозиторий распространяется по лицензии Apache-2.0.
mt5-small-finetuned-amazon-en-es — дообученная модель на базе google/mt5-small, опубликованная пользователем yueyue1987. Это компактная модель семейства mT5 с архитектурой MT5ForConditionalGeneration и 157,4 млн параметров, предназначенная для суммаризации текста. Карточка сообщает метрики оценки: Loss 3,2159, ROUGE-1 6,8206, ROUGE-2 2,5316, ROUGE-L 6,5558 и ROUGE-Lsum 6,661. По названию репозитория модель связана с Amazon и английским и испанским языками, однако README не описывает набор данных и не уточняет ожидаемый формат входа или качество по отдельным сценариям. Базовая модель mT5 многоязычная и преобразует текст в текст; доступные сведения указывают на задачу суммаризации. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.
unitary/multilingual-toxic-xlm-roberta — модель классификации токсичности комментариев, разработанная Лаурой Хану и командой Unitary в рамках проекта Detoxify. Она предназначена для выявления токсичных высказываний и помогает модераторам быстрее находить потенциально вредный контент; также модель можно дообучать на тщательно подготовленных данных, отражающих реальные демографические группы. Модель основана на XLM-RoBERTa и содержит около 305,2 млн параметров. Она принимает текст и классифицирует его по токсичности; для этого варианта README указывает поддержку английского, французского, испанского, итальянского, португальского, турецкого и русского языков. В карточке указано окно контекста 514 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Модель может ошибочно считать токсичными комментарии с бранью или оскорбительными словами независимо от тона и намерения автора, например в шутке или самоиронии. README предупреждает о возможной предвзятости по отношению к уязвимым группам и рекомендует проверять качество и смещения на подходящих данных; результаты версии на Hugging Face могут отличаться от библиотеки Detoxify.
PoolFormer-v2 S36 — модель классификации изображений и извлечения признаков из семейства MetaFormer. Её обучили авторы статьи на ImageNet-1k; в модели 30,8 млн параметров, расчётный размер изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальную основу в системах распознавания и анализа изображений. Репозиторий содержит веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache 2.0. Описание не сообщает показатели качества и ограничения на применение; результаты могут зависеть от набора данных и последующей настройки.
RegNetX-800MF — сверточная модель классификации изображений из библиотеки timm, разработанная авторами статьи Designing Network Design Spaces и предварительно обученная на ImageNet-1k. Модель содержит 7,3 млн параметров, требует изображения размером 224 × 224 пикселя и выполняет классификацию по категориям ImageNet-1k. Модель также подходит как визуальная основа для извлечения карт признаков и эмбеддингов изображений. Реализация timm поддерживает стохастическую глубину, градиентный чекпоинтинг, послойное уменьшение скорости обучения и настраиваемый выходной шаг. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Модель ориентирована на изображения ImageNet-1k, поэтому результаты на других наборах данных могут отличаться.
RegNetY-4GF — свёрточная модель классификации изображений с 20,6 млн параметров, представленная авторами статьи Designing Network Design Spaces и доступная в реализации timm. Веса предварительно обучены на ImageNet-1k; модель также подходит как основа для извлечения признаковых карт и эмбеддингов изображений. Для классификации указано разрешение изображения 224 × 224, вычислительная сложность — 4,0 GMACs. Модель предназначена для присвоения изображению метки класса из набора ImageNet-1k и для получения визуальных признаков в компьютерном зрении. Реализация timm поддерживает стохастическую глубину, градиентное чекпойнтирование, послойное уменьшение скорости обучения и настройку выходного шага. Лицензия репозитория — MIT.
RepGhostNet 1.1 — компактная модель классификации изображений, обученная авторами статьи RepGhost на ImageNet-1k. Она также может служить свёрточной основой для извлечения карт признаков и визуальных эмбеддингов. Модель содержит около 4,5 млн параметров, требует примерно 0,2 GMACs вычислений и рассчитана на изображения размером 224 × 224. Архитектура RepGhost использует репараметризацию модулей Ghost для эффективного выполнения на аппаратных устройствах. Репозиторий содержит веса PyTorch и Safetensors; библиотека для работы — timm. Модель предназначена для классификации изображений по категориям ImageNet-1k и извлечения признаков в компьютерном зрении. Лицензия MIT разрешает использование с соблюдением её условий. Данные не описывают дополнительные языковые или мультимодальные возможности.
repvit_m2_3.dist_450e_in1k — модель классификации изображений семейства RepViT, обученная авторами статьи на ImageNet-1k с дистилляцией. Её также можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 23,7 млн параметров, имеет вычислительную стоимость 4,6 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий использует библиотеку timm и содержит веса в форматах PyTorch и safetensors. Модель предназначена для классификации изображений и извлечения визуальных признаков; сведения о поддержке естественных языков неприменимы. Распространяется по лицензии Apache-2.0.
Res2Net-50 26w 8s — модель классификации изображений и извлечения признаков на основе многомасштабной архитектуры Res2Net, опубликованная авторами статьи и представленная в библиотеке timm. Она обучена на ImageNet-1k и рассчитана на обработку изображений размером 224 × 224 пикселя. В модели около 48,4 млн параметров; вычислительная сложность составляет 8,4 GMACs. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Многомасштабная структура Res2Net позволяет строить признаки на нескольких масштабах внутри блока сети. В карточке указаны веса PyTorch и safetensors. Лицензия в предоставленных данных не определена.
timm/resnet32ts.ra2_in1k — модель классификации изображений, разработанная Россом Уайтманом и обученная на ImageNet-1k с использованием библиотеки timm. Она основана на архитектуре ResNet и реализована через гибкую систему BYOBNet в timm. Модель содержит около 18 млн параметров; в README указаны размеры изображений 256 × 256 для обучения и 288 × 288 для тестирования. Вариант ra2 использует трёхуровневый ступенчатый stem без pooling и активации SiLU. Модель предназначена для классификации изображений, а также может использоваться как backbone для извлечения признаковых карт и векторов изображений. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Заявленные характеристики вычислений составляют 4,6 GMACs и 11,6 млн активаций. README не приводит перечень классов, точность на тестовых наборах или параметры контекста; качество результатов зависит от входных изображений и используемого сценария.
timm/resnetrs200.tf_in1k — модель классификации изображений семейства ResNetRS-B, опубликованная авторами библиотеки timm. Она обучена авторами статьи на ImageNet-1k и подходит для отнесения изображений к классам, извлечения карт признаков и получения эмбеддингов изображений. Архитектура использует активации ReLU, начальную свёртку 7×7 с пулингом и shortcut-соединения с проекцией 1×1. Модель содержит 93,2 млн параметров; для обучения использовался размер изображения 256×256, для оценки — 320×320. Весовые файлы доступны в форматах PyTorch и safetensors, библиотека модели — timm. Лицензия Apache-2.0. Карточка приводит ImageNet-1k как обучающий датасет, поэтому модель ориентирована на классификацию изображений в рамках его классов; производительность на других наборах данных может отличаться.
ResNeXt-50 32x4d A1 — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back A1. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом, остаточные связи с проекцией 1×1 и групповые свёртки 3×3 в bottleneck-блоках. В модели около 25 млн параметров и 4,3 GMACs. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В карточке указаны размеры изображений 224×224 для обучения и 288×288 для тестирования. Доступны веса PyTorch и safetensors; модель распространяется по лицензии Apache-2.0. Классификация ограничена набором классов ImageNet-1k и не гарантирует корректную работу на изображениях, существенно отличающихся от обучающих данных. README не приводит языковых возможностей: модель работает с изображениями и выдаёт классовые предсказания, карты признаков или эмбеддинги.
ReXNet-100 — компактная сверточная модель классификации изображений из семейства ReXNet, опубликованная авторами научной работы «Rethinking Channel Dimensions for Efficient Model Design» и доступная в библиотеке timm. Модель предварительно обучена на ImageNet-1k и содержит около 4,8 млн параметров; для стандартного распознавания использует изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Компактный размер и вычислительная стоимость около 0,4 GMAC делают её подходящей для ресурсоограниченного компьютерного зрения. Карточка не описывает поддержку языкового ввода или генерацию изображений. Распространяется по лицензии MIT.
ReXNet-1.5x — сверточная модель классификации изображений, представленная в статье об архитектуре ReXNet и предварительно обученная на ImageNette. В остаточных блоках используется модифицированный слой Squeeze-Excitation, предназначенный для уменьшения избыточности каналов. Модель подходит для классификации изображений по категориям в сценариях компьютерного зрения. В репозитории доступны веса PyTorch и ONNX, а лицензия — Apache-2.0.
SelecSLS60.in1k — модель классификации изображений и извлечения признаков из семейства SelecSLS, опубликованная авторами соответствующей работы и обученная на ImageNet-1k. Она предназначена для классификации изображений, извлечения карт признаков и получения векторных представлений изображений; её можно использовать как визуальный backbone в компьютерном зрении. Модель содержит около 30,7 млн параметров, требует изображение размером 224 × 224 и имеет вычислительную стоимость около 3,6 GMACs. Доступна через библиотеку timm в форматах PyTorch и safetensors. Лицензия — CC BY 4.0. Карточка также связывает модель с работой о захвате движения нескольких людей по одному RGB-изображению, но сама модель обучена для классификации ImageNet-1k.
somosnlp-gemma-FULL-RAC-Colombia-GGUF — это набор GGUF-квантизованных файлов базовой модели somosnlp/gemma-FULL-RAC-Colombia. Квантизацию выполнила команда featherless-ai-quants. Модель предназначена для генерации текста и локального или ресурсоэффективного запуска с использованием совместимого программного обеспечения для GGUF. В репозитории доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 1,1 до 2,5 ГБ. Выбор варианта позволяет найти компромисс между размером файла, требованиями к памяти и сохранением качества, однако точные характеристики базовой архитектуры, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель может быть полезна для генерации и обработки текста в приложениях, где важны компактность и возможность использования квантизованной версии. Ограничения включают отсутствие сведений о качестве, результатах тестирования, специализации RAC-Colombia и рекомендуемых сценариях применения. Лицензия в предоставленных данных не указана.
Swin Transformer — модель компьютерного зрения семейства Swin, разработанная авторами статьи Swin Transformer: Hierarchical Vision Transformer using Shifted Windows и опубликованная Microsoft. Это базовая модель классификации изображений, предварительно обученная на ImageNet-21k: 14 млн изображений, 21 841 класс, разрешение 224×224. Архитектура Vision Transformer строит иерархические признаки, объединяя фрагменты изображения на более глубоких слоях; локальное внимание в сдвигаемых окнах обеспечивает линейную сложность вычислений относительно размера входного изображения. Модель подходит для классификации изображений и как визуальный backbone для задач плотного распознавания. В указанном репозитории представлены веса PyTorch, Safetensors и TensorFlow. Она принимает изображения и выдаёт оценки классов; для прикладных задач, отличных от исходной классификации, может потребоваться дообученная версия. Лицензия — Apache-2.0.
Swin Transformer Large — модель компьютерного зрения на архитектуре Vision Transformer с иерархическими картами признаков и локальным вниманием в сдвигаемых окнах. Разработана авторами статьи Swin Transformer и обучена для классификации изображений на ImageNet-1k с разрешением 224×224 пикселя; модель выпущена в репозитории Microsoft. Модель предназначена для отнесения изображения к одному из 1000 классов ImageNet. Иерархическое объединение патчей позволяет использовать её также как основу для задач плотного распознавания после дополнительной настройки. Локальное внимание даёт линейную по размеру изображения сложность вычислений. Доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0.
Swin Transformer v2 Tiny — модель компьютерного зрения, представленная авторами статьи Swin Transformer V2 и опубликованная в репозитории Microsoft. Это Vision Transformer с иерархическими картами признаков: он объединяет участки изображения в более глубоких слоях и выполняет внимание внутри локальных окон, что обеспечивает линейную по размеру изображения сложность вычислений. Вариант содержит 33 млн параметров и предварительно обучен на ImageNet-1k для изображений разрешением 256×256. Модель предназначена для классификации изображений по 1000 классам ImageNet. Архитектура также может использоваться как основа для задач плотного распознавания после адаптации. Swin Transformer v2 использует нормализацию после остаточного блока с косинусным вниманием для повышения стабильности обучения и непрерывное смещение позиции для переноса на разрешения выше обучающего. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.
tiny_vit_21m_224.dist_in22k — модель TinyViT для классификации изображений, опубликованная авторами timm. Она предварительно обучена на ImageNet-22k с дистилляцией и может использоваться как классификатор или визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 33,2 млн параметров, выполняет около 4,1 GMAC на изображение и рассчитана на вход размером 224 × 224 пикселя. Модель подходит для классификации изображений и получения визуальных признаков в прикладных конвейерах компьютерного зрения. Репозиторий распространяет веса в форматах PyTorch и safetensors; лицензия — Apache-2.0.
TinyViT 5M 224 dist.in22k — модель классификации изображений и извлечения визуальных признаков из семейства TinyViT, опубликованная авторами статьи TinyViT и распространяемая через timm. Она предварительно обучена на ImageNet-22k с дистилляцией. Модель содержит 12,1 млн параметров, требует изображений размером 224 × 224 и имеет вычислительную стоимость 1,2 GMACs. Модель предназначена для классификации изображений, получения карт признаков и визуальных эмбеддингов. Компактный ViT-бэкбон можно использовать в приложениях компьютерного зрения, которым нужны классификационные оценки или представления изображений. Метаданные указывают лицензию Apache-2.0.
TLive-Omni-9B — мультимодальная модель понимания прямых трансляций в электронной торговле от TaoLiveAIGC. Она принимает текст, изображения, аудио и видео и формирует текстовые ответы; предназначена для анализа эфиров и мультимодальных вопросов и ответов. Модель построена на основе Qwen3.5 с аудиоэнкодером AuT, подключённым через MLP-адаптер, и поддерживает контекст до 256 тысяч токенов. Обучение включало три этапа SFT и последующую донастройку с подкреплением Faithful-RFT. Среди заявленных возможностей — распознавание речи, анализ говорящих, визуальная привязка товаров, распознавание текста на изображениях, временная привязка событий, подробное описание видео и мультимодальные ответы на вопросы. Интерфейс вывода единый текстовый; временная сетка помогает согласовывать аудио- и видеосегменты в длинных эфирах. Для запуска карточка описывает окружение Python 3.10, Linux x86_64, CUDA 12.8 и PyTorch 2.10.0. Лицензия — Apache-2.0.