IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейtf_efficientnet_em.in1k — свёрточная модель классификации изображений семейства EfficientNet-EdgeTPU. Её обучили авторы исследований на ImageNet-1k в TensorFlow, а Ross Wightman перенёс веса в PyTorch для библиотеки timm. Модель также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Модель содержит 6,9 млн параметров, требует изображения размером 240 × 240 пикселей и выполняет около 3,0 GMACs вычислений. Она предсказывает классы из набора ImageNet-1k; данные не указывают на поддержку других модальностей или языковых задач. Репозиторий распространяет веса в форматах PyTorch и safetensors по лицензии Apache-2.0.
tf_efficientnetv2_l.in1k — модель семейства EfficientNetV2 для классификации изображений и извлечения признаков. Она обучена авторами статьи на ImageNet-1k в TensorFlow и перенесена в PyTorch Россом Уайтманом; репозиторий использует библиотеку timm и содержит веса PyTorch в формате safetensors. Модель насчитывает 118,5 млн параметров и выполняет 36,1 GMAC операций за проход. Модель предназначена для классификации изображений по категориям ImageNet-1k, а также может использоваться как визуальный backbone для получения карт признаков и эмбеддингов. Размер изображения при обучении составлял 384 × 384 пикселя, при тестировании — 480 × 480. Лицензия — Apache-2.0. Карточка не сообщает о поддержке естественного языка или иных модальностей.
timm/tnt_s_patch16_224.in1k — модель классификации изображений семейства TnT (Transformer in Transformer), опубликованная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит около 23,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель принимает изображения и выдаёт метки классов и оценки для классификации ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; лицензия репозитория — Apache-2.0. Карточка не сообщает о поддержке других наборов классов или языковых задач.
VGG16-BN — сверточная модель классификации изображений из библиотеки timm, основанная на оригинальных весах torchvision и обученная на ImageNet-1k. Она содержит около 138,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; также её можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Модель подходит для определения объектов и сцен по изображению, а также для получения визуальных признаков в системах компьютерного зрения. Репозиторий распространяет веса в форматах PyTorch и safetensors; библиотека timm. Лицензия — BSD-3-Clause.
Visformer Tiny — модель классификации изображений и извлечения визуальных признаков из семейства Visformer, опубликованная в библиотеке timm. Она обучена на ImageNet-1k и рассчитана на обработку изображений размером 224 × 224 пикселя. Модель содержит около 10,3 млн параметров и требует примерно 1,3 GMAC на изображение. Модель подходит для классификации изображений по категориям ImageNet-1k и получения визуальных эмбеддингов как основы для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. Карточка не уточняет точный список классов или качество на пользовательских данных, поэтому для иных наборов категорий может потребоваться адаптация.
Это модель классификации изображений на базе Vision Transformer (ViT), обученная авторами исследования в JAX на ImageNet-1k с дополнительной аугментацией и регуляризацией, а затем перенесённая в PyTorch Россом Уайтменом. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для распознавания объектов и других классов ImageNet-1k на изображениях; её также можно использовать как визуальную основу для извлечения признаков и эмбеддингов. Подходит для классификации изображений общего назначения и экспериментов с визуальными признаками. В репозитории доступны веса PyTorch и safetensors, библиотека для работы — timm. К модели относятся работы «How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers» и «An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale». Лицензия — Apache-2.0. Карточка описывает обучение на ImageNet-1k; качество на иных наборах данных и для классов вне этой области может отличаться.
timm/vit_small_r26_s32_384.augreg_in21k_ft_in1k — гибридная модель классификации изображений, объединяющая свёрточный ResNet и Vision Transformer. Её обучили авторы статьи на ImageNet-21k, а затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией. Ross Wightman перенёс веса в PyTorch; модель доступна в форматах PyTorch и Safetensors и рассчитана на работу с изображениями размером 384 × 384 пикселя. Модель можно применять для классификации изображений по категориям ImageNet, а также использовать как основу для извлечения визуальных признаков и эмбеддингов. В ней около 36,5 млн параметров; указанные вычислительные характеристики — 10,2 GMACs и 27,7 млн активаций. Лицензия — Apache-2.0. Модель ориентирована на классы и данные ImageNet, поэтому её точность может снижаться на изображениях и категориях, отличающихся от обучающих данных. Для специализированных классов или иных условий съёмки может потребоваться дообучение.
Это гибридная модель ResNet и Vision Transformer для классификации изображений и извлечения визуальных признаков. Её обучили авторы исследований на ImageNet-21k, затем дообучили на ImageNet-1k с аугментацией и регуляризацией; Ross Wightman перенёс веса в PyTorch. Модель доступна через библиотеку timm. В модели около 6,3 млн параметров; она рассчитана на изображения размером 224 × 224. Её можно применять для классификации изображений и получать эмбеддинги как визуальные признаки. Обучение охватывает классы ImageNet, поэтому качество на других типах изображений или специализированных данных может потребовать отдельной проверки и адаптации. Лицензия — Apache 2.0.
VOLO-D4 — модель семейства Vision Outlooker для классификации изображений и извлечения визуальных признаков. Она обучена авторами статьи на ImageNet-1k с разметкой токенов; карточка опубликована в репозитории timm. Модель содержит около 193 млн параметров, рассчитана на изображения размером 224 × 224 и имеет вычислительную сложность 44,3 GMACs. Модель подходит для классификации изображений по категориям ImageNet-1k и получения эмбеддингов изображений, например как визуальный backbone в компьютерном зрении. Репозиторий предоставляет веса PyTorch и SafeTensors. Лицензия — Apache-2.0. Классификатор обучен на ImageNet-1k, поэтому его категории и качество ориентированы на этот набор данных; для иных предметных областей может потребоваться адаптация. Работа с изображениями другого размера может требовать изменения предобработки.
Модель keystats/w2v-bert-2.0-lang-id-lug-sna-lin-xog предназначена для определения языка речи в коротком аудиофрагменте: она относит запись к одному из четырёх классов — луганда, шона, лингала или лусога. Это дообученная на корпусе WAXAL модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2BertForSequenceClassification и классификационной головой; размер модели — 402,7 млн параметров. Модель подходит для предварительной маршрутизации аудио к системе распознавания речи для выбранного языка. По данным карточки, точность на разбиениях WAXAL составляет около 99,9%, однако эти результаты не гарантируют такого же качества на записях с другими условиями, говорящими или диалектами. Это закрытый классификатор: он всегда выбирает один из четырёх языков, в том числе для речи на другом языке или неречевого аудио, и не расшифровывает речь. Модель опубликована под лицензией Apache-2.0.
Web-SSL DINO ViT-300M — визуальный энкодер на базе Vision Transformer, опубликованный Facebook и обученный методом DINOv2 без языковой супервизии. Модель содержит около 402,7 млн параметров по метаданным и принимает изображения с разрешением 224 × 224 пикселя. Энкодер обучен на 2 млрд веб-изображений из данных MetaCLIP и предназначен для извлечения визуальных признаков, которые можно использовать в задачах компьютерного зрения. README сообщает, что масштабированное обучение позволило модели сопоставить или превзойти CLIP в различных визуальных задачах. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Она не обучена связывать изображения с языком, поэтому сама по себе не предназначена для ответов на вопросы об изображениях или генерации текста.
Модель c-ho/2026-07-15-crf-classweights-clean — дообученная модель токенной классификации на базе Davlan/bert-base-multilingual-cased-ner-hrl. Она использует архитектуру BERT с CRF-слоем и предназначена для присвоения меток отдельным токенам текста. Базовая модель извлекает именованные сущности, включая имена людей, организации и географические названия, на десяти языках; эта версия демонстрирует метрики на наборе оценки для лингвистических категорий, однако назначение меток и обучающий датасет в карточке не описаны подробно. Модель содержит 205,1 млн параметров, принимает текст в контексте до 512 токенов и распространяется в формате safetensors. На оценочной выборке указаны F1 0,7962, precision 0,7749 и recall 0,8188; результаты по отдельным категориям различаются, а для Graphemicphenomenon F1 равен 0. Лицензия — AFL-3.0.
iioSnail разработал модель для многоклассовой классификации китайских слов: каждому слову назначается одна или несколько категорий из 12 тематических классов, основанных на типах словаря Sogou. Модель использует архитектуру BERT с классификационной головой BertForSequenceClassification, содержит 129,5 млн параметров и принимает текстовые входные данные длиной до 512 токенов. Модель предназначена для тематической разметки китайских слов, например для категоризации словарных записей и организации поиска по тематическим рубрикам. Она поддерживает китайский язык и доступна в форматах PyTorch и Safetensors. Лицензия — AFL-3.0. Карточка описывает назначение и набор категорий, но не приводит метрик качества или подробностей обучения. Классы охватывают гуманитарные и общественные науки, сельское хозяйство, медицину, города, развлечения, инженерию, повседневную жизнь, видеоигры, естественные науки, искусство и спорт с досугом.
caformer_b36.sail_in22k — модель классификации изображений и извлечения визуальных признаков из семейства CAFormer, основанного на архитектуре MetaFormer. Её обучили авторы исследования на ImageNet-22k; модель содержит 162,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальный backbone в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
caformer_b36.sail_in22k_ft_in1k_384 — модель компьютерного зрения семейства CAFormer, построенная на архитектуре MetaFormer и представленная авторами статьи о базовых моделях MetaFormer для зрения. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k для классификации изображений; также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Модель содержит 98,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для классификации изображений и получения признаков для последующих задач компьютерного зрения. Она распространяется в форматах PyTorch и Safetensors через библиотеку timm. Лицензия — Apache-2.0. Карточка не описывает поддержку конкретных естественных языков, поскольку модель работает с изображениями.
ConvFormer M36 SAIL in1k 384 — модель классификации изображений и извлечения визуальных признаков из семейства ConvFormer, разработанная авторами работы MetaFormer baselines for vision и обученная на ImageNet-1k. Она содержит 57,1 млн параметров и рассчитана на изображения размером 384 × 384 пикселя; вычислительная сложность составляет 37,9 GMACs. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения визуальных эмбеддингов для последующих задач компьютерного зрения. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы используется библиотека timm. Лицензия — Apache-2.0.
ConvNeXt-Base — модель компьютерного зрения для классификации изображений, разработанная авторами статьи «A ConvNet for the 2020s» и опубликованная в экосистеме timm. Она предварительно обучена на ImageNet-22k, а затем дообучена авторами на ImageNet-1k. Модель содержит около 88,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для определения объектов и категорий на изображениях, извлечения карт признаков и получения векторных представлений изображений. Её можно применять как готовый классификатор или как backbone для других компьютерно-зрительных систем. В README приведены результаты классификации ImageNet и показатели вычислительной нагрузки. Для работы с моделью используется библиотека timm; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель обрабатывает изображения и выдаёт классы или признаки; сведения о поддержке естественных языков к ней не применимы.
ConvNeXt Nano — свёрточная нейросеть для классификации изображений и извлечения признаков, обученная Ross Wightman с библиотекой timm на ImageNet-1k. Модель содержит 15,6 млн параметров; для обучения использовались изображения размером 224 × 224, для оценки — 288 × 288. В карточке приведены результаты классификации ImageNet-1k и примеры извлечения карт признаков и эмбеддингов. Модель подходит для определения объектов и категорий на изображениях, а также как компактная визуальная основа для прикладных систем компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
timm/convnextv2_base.fcmae — модель извлечения признаков изображений из семейства ConvNeXt-V2, распространяемая проектом timm. Это визуальный backbone с 87,7 млн параметров, предварительно обученный на ImageNet-1k методом самоконтролируемого обучения FCMAE — полностью свёрточного masked autoencoder. Модель принимает изображения; штатный размер входа — 224 × 224 пикселя. У модели нет предварительно обученной классификационной головы, поэтому она предназначена для извлечения признаков и карт признаков или для дообучения под классификацию и другие задачи компьютерного зрения. Она может служить визуальным энкодером в прикладных системах, где признаки изображения передаются следующему этапу обработки. В репозитории указаны веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование без отдельного разрешения. Сам чекпойнт не предназначен для классификации без добавления и обучения подходящей головы.
ConvNeXt-V2 Huge FCMAE — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная в репозитории timm. Она предварительно обучена методом fully convolutional masked autoencoder (FCMAE) на ImageNet-1k и дообучена для классификации на ImageNet-1k. Архитектура — свёрточная ConvNeXt-V2, размер — около 660,3 млн параметров; в карточке указаны размеры изображений 224 × 224 для обучения и 288 × 288 для оценки. Модель присваивает изображениям классы и может использоваться как основа для извлечения карт признаков и эмбеддингов. В README для варианта с размером изображения 288 указана точность top-1 88,848% и top-5 98,742% на ImageNet-1k. Модель работает с изображениями и выдаёт метки классов либо признаки для дальнейшей обработки. Для запуска доступны веса PyTorch и Safetensors, библиотека из метаданных — timm. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
ConvNeXt V2 Large — сверточная модель компьютерного зрения, разработанная авторами работы ConvNeXt V2 и опубликованная в репозитории Hugging Face Facebook. Модель предварительно обучена с помощью FCMAE и дообучена для классификации изображений ImageNet-1K при разрешении 224×224 пикселя; архитектура включает слой Global Response Normalization (GRN). Модель предназначена для отнесения изображений к одному из классов ImageNet-1K и может служить основой для последующей адаптации к другим задачам распознавания изображений. Она принимает изображение и выдаёт оценки классов. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.
ConvNeXT XLarge — сверточная модель компьютерного зрения, разработанная авторами статьи «A ConvNet for the 2020s» и представленная в репозитории Hugging Face. Она обучена на ImageNet-1k для классификации изображений с разрешением 224×224 пикселя и предсказывает один из 1000 классов ImageNet. Архитектура ConvNeXT — чистая сверточная сеть, дизайн которой вдохновлён Vision Transformers и Swin Transformer. Модель можно использовать для классификации изображений общего назначения или как основу для специализированных версий. Репозиторий содержит веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Она предназначена для классификации изображений; карточка не описывает другие задачи и специализированные области применения.
CrossViT 18-Dagger 408 — модель классификации изображений семейства Vision Transformer, обученная авторами статьи CrossViT на ImageNet-1k. Она также может служить визуальным backbone для извлечения признаков и эмбеддингов изображений. Модель содержит 44,6 млн параметров, обрабатывает изображения размером 408 × 408 пикселей и имеет вычислительную сложность 32,5 GMAC. CrossViT использует многомасштабное представление и перекрёстное внимание для классификации изображений. Модель доступна в форматах PyTorch и Safetensors и предназначена для задач компьютерного зрения. Лицензия — Apache-2.0. Обучение на ImageNet-1k задаёт область распознаваемых классов; качество на других наборах данных или при иных размерах входного изображения может отличаться.
cs3sedarknetl.c2ns_in1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Архитектура CS3-SE-DarkNet сочетает блоки Cross-Stage-Partial с тремя свёртками и канальное внимание Squeeze-and-Excitation; её также можно использовать как основу для извлечения признаков и эмбеддингов изображений. Модель содержит 21,9 млн параметров и требует 4,9 GMACs на обработку изображения. Размер изображения при обучении — 256 × 256 пикселей, при тестировании — 288 × 288. В README описана процедура обучения на основе рецептов ResNet Strikes Back с оптимизатором SGD с Nesterov, адаптивным отсечением градиентов и косинусным расписанием скорости обучения. Вариант ns обучался без stochastic depth. Модель предназначена для классификации изображений общего назначения и извлечения визуальных признаков. В метаданных указана лицензия Apache-2.0. Карточка не сообщает о поддержке текстовых или иных языковых входов.
DatedGPT-2013-Instruct — англоязычная инструктивная чат-модель из семейства DatedGPT, разработанная для ответов и предсказаний с учётом состояния знаний на 2013 год. Она предназначена для сценариев, где важно исключить заглядывание в будущее, например для анализа данных и прогнозирования с временной отсечкой. Модель использует плотную архитектуру LlamaForCausalLM и содержит около 1,3 млрд параметров. Она принимает текстовые инструкции и диалоговые запросы, выдаёт текст; контекст составляет 2048 токенов. Это instruction-tuned вариант, а базовая предварительно обученная модель — datedgpt/datedgpt-2013-base. Знания модели ограничены данными, доступными до 2013 года. В README отмечено отсутствие RLHF и настройки безопасности, поэтому ответы могут быть уверенными, но ошибочными. Условия лицензии в предоставленных данных не указаны.
DaViT Small — модель компьютерного зрения для классификации изображений и извлечения признаков, обученная авторами статьи DaViT на ImageNet-1k и опубликованная в библиотеке timm. Архитектура Dual Attention Vision Transformer сочетает механизмы внимания для обработки визуальных данных. Модель содержит около 49,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. В карточке указана точность Top-1 84,25% и Top-5 96,94% на ImageNet-1k. Распространяется по лицензии Apache-2.0. Ограничена задачами анализа изображений и размером входа, на котором приведены характеристики; карточка не описывает поддержку других модальностей.
mo-thecreator разработал эту модель на основе wav2vec2-base-finetuned, дообучив её для классификации аудио. Модель содержит 113,3 млн параметров и сохраняется в формате Safetensors. README сообщает о точности 0,9882 и потере 0,0829 на оценочном наборе, но не описывает состав этого набора и условия оценки. Модель предназначена для классификации аудиозаписей; название репозитория указывает на обнаружение дипфейкового аудио. Она может подойти для проверки записей на признаки синтетической или поддельной речи. Указана лицензия Apache-2.0. README не приводит подробностей об архитектурных настройках, поддерживаемых языках, длительности аудио и ограничениях применения.
deit3_base_patch16_384.fb_in22k_ft_in1k — модель классификации изображений семейства DeiT-III, опубликованная авторами статьи DeiT III: Revenge of the ViT. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k. Модель содержит 86,9 млн параметров и принимает изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений по категориям, а также может использоваться как визуальный backbone для извлечения эмбеддингов и построения прикладных систем компьютерного зрения. Она работает с библиотекой timm и доступна в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Качество модели зависит от соответствия входных изображений обучающим данным и классовому набору ImageNet-1k; для других предметных областей может потребоваться адаптация. Карточка не приводит измерений качества и не описывает дополнительные ограничения.
DETR-ResNet50-DC5 — модель обнаружения объектов, разработанная на основе реализации DETR от Facebook Research и оптимизированная Qualcomm для устройств с чипами Qualcomm. Модель обучена на наборе данных COCO и предназначена для обнаружения объектов на изображениях, в том числе в мобильных и периферийных приложениях на Android и других устройствах Qualcomm. Архитектура использует ResNet50-DC5 в качестве контрольной точки; входное разрешение составляет 480×480 пикселей, размер модели в формате float — около 160 МБ. Это визуальная модель с поддержкой развертывания через ONNX, QNN_DLC и TFLITE; доступны варианты с плавающей точкой и смешанной квантизацией w8a16. Предварительно экспортированные версии рассчитаны на универсальные конфигурации, а Qualcomm AI Hub Models позволяет задавать собственные веса, размеры входа, целевое устройство и runtime. Сильная сторона модели — готовность к запуску на NPU устройств Qualcomm и наличие оптимизированных артефактов для разных runtime и чипсетов. Производительность зависит от устройства и конфигурации: для ONNX float заявленное время инференса составляет примерно от 18 до 68 мс на перечисленных платформах. Ограничения включают фиксированное входное разрешение по умолчанию, зависимость производительности и потребления памяти от аппаратной платформы и отсутствие в README сведений о точности, поддерживаемых языках и качестве работы вне распределения COCO. Модель распространяется по лицензии Apache-2.0.
facebook/dinov2-base — базовая по размеру модель Vision Transformer, обученная командой Meta с помощью метода DINOv2 на большом наборе изображений без разметки. Модель содержит около 113,2 млн параметров и предназначена для извлечения визуальных признаков; специализированных дообученных голов для классификации или других задач в ней нет. Изображение разбивается на последовательность патчей, которые обрабатывает трансформерный энкодер. Полученные представления можно использовать как входные признаки для обучения классификатора и других downstream-систем компьютерного зрения. Модель принимает изображения и выдаёт их векторные представления. Репозиторий содержит веса PyTorch и safetensors и распространяется по лицензии Apache-2.0.