IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейTResNet-M — сверточная модель классификации изображений из семейства TResNet, опубликованная авторами исследовательских работ и доступная в библиотеке timm. Модель предварительно обучена на ImageNet-21K-P, подмножестве ImageNet-22k примерно из 11 тысяч классов, а затем дообучена на ImageNet-1k. В репозитории приведены веса с заменой InplaceABN на стандартный BatchNorm для совместимости с современными вариантами запуска PyTorch. Модель предназначена для классификации изображений и может использоваться как backbone для извлечения карт признаков и эмбеддингов. В карточке указаны 31,4 млн параметров, 5,8 GMACs и входное разрешение 224 × 224. Это модель для изображений, поэтому естественные языки к её применению не относятся. Лицензия репозитория — Apache-2.0.
UTMOS22 strong learner — модель для оценки качества речи по аудиозаписи, опубликованная пользователем prj-beatrice. Это перенос реализации SpeechMOS с использованием PyTorch, torchaudio и Transformers; модель возвращает числовую оценку для переданного аудио. Репозиторий содержит веса в формате safetensors, а для пакетной обработки предусмотрена подача дополненных до общей длины волн и их фактических длин. Модель предназначена для автоматической оценки качества синтезированной или записанной речи в задачах анализа и сравнения аудиоматериалов. Она принимает аудиосигнал и выдаёт оценку качества; сведения о конкретном наборе поддерживаемых языков и аудиоформатов в карточке не приведены. Лицензия — MIT.
Это модель классификации изображений на базе Vision Transformer (ViT), разработанная Россом Уайтманом для библиотеки timm. Вариант архитектуры использует патчи 16×16, четыре регистра и глобальное усреднение признаков. Модель содержит 60,4 млн параметров и рассчитана на изображения размером 256×256 пикселей. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В сравнительной таблице README для этой версии указаны точности top-1 86,608% и top-5 97,934%. Для практического использования доступны веса в форматах PyTorch и safetensors; модель распространяется по лицензии Apache-2.0. Она ориентирована на категории ImageNet и не предназначена сама по себе для распознавания объектов, сегментации или анализа изображений с естественно-языковыми запросами.
vit_pe_core_small_patch16_384.fb — модель зрения из семейства Perception Encoder, опубликованная PyTorch Image Models (timm). Это компактная версия визуального энкодера на базе Vision Transformer (ViT), предназначенная для извлечения признаков из изображений. Модель содержит 23,8 млн параметров, использует патчи 16×16 и рассчитана на изображения с разрешением 384 пикселя. Модель принимает изображения и выдаёт визуальные признаки, которые можно использовать как представления для последующих задач компьютерного зрения. Репозиторий предоставляет веса PyTorch и safetensors; модель доступна по лицензии Apache-2.0. Веса timm из этой коллекции не работают с оригинальным кодом моделирования Perception Encoder.
copperscout1/vitpose-plus-base — форк модели ViTPose+ Base, подготовленный для развёртывания через Hugging Face Inference Endpoints. Базовая модель разработана командой ViTAE-Transformer; в карточке также указаны авторы Yufei Xu, Jing Zhang, Qiming Zhang и Dacheng Tao. Форк добавляет обработчик запросов, а модельные веса происходят от usyd-community/vitpose-plus-base. Модель оценивает позу человека по изображению: находит ключевые точки тела, например плечи, локти, запястья, бёдра, колени и лодыжки. Использует обычный Vision Transformer в качестве основы и лёгкий декодер для оценки позы. При запросе можно передать изображение по URL или в base64; детектор людей запускается автоматически, но его можно пропустить, указав рамки людей. MoE-эксперты ViTPose+ поддерживают наборы COCO, AIC, MPII, AP-10K, APT-36K и COCO-WholeBody. В метаданных указан английский язык карточки, однако модель анализирует изображения и не требует текстового ввода. Модель подходит для анализа положения тела на изображениях и может служить компонентом систем отслеживания упражнений, движений или действий. В README приведён результат 81,1 AP на тестовом наборе MS COCO Keypoint. Этот показатель не гарантирует такое же качество на других данных; модельный форк предназначен для инференса через Endpoints. Лицензия — Apache-2.0.
timm/xception65.tf_in1k — модель классификации изображений на архитектуре Aligned Xception, обученная на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. Модель содержит 39,9 млн параметров и предназначена для классификации изображений, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Рекомендуемый размер входного изображения — 299 × 299 пикселей. Архитектура использует глубинные свёртки, разделённые по каналам и пространственным измерениям. Модель принимает изображения и выдаёт оценки классов; обучена на ImageNet-1k. Распространяется по лицензии Apache-2.0.
timm/xcit_nano_12_p8_224.fb_in1k — компактная модель классификации изображений на архитектуре XCiT (Cross-Covariance Image Transformer), опубликованная авторами статьи и представленная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений и использования в качестве визуального backbone для получения признаков. Модель содержит около 3 млн параметров, требует изображение размером 224 × 224 и имеет вычислительную стоимость 2,2 GMACs. Модель подходит для прикладных сценариев, где важны компактность и извлечение признаков из изображений. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
Модель poltextlab/xlm-roberta-large-pooled-cap-v4 — многоязычный классификатор текстов на основе xlm-roberta-large, дообученный на данных из разных предметных областей с разметкой по тематическим кодам Comparative Agendas Project (CAP). Она предназначена для автоматического определения тематики текста в исследовательских проектах, включая сравнительный анализ политических повесток. Модель используется в CAP Babel Machine — бесплатном инструменте для обработки естественного языка.
Модель amengemeda/amharic-hate-speech-detection-mBERT разработана путём дообучения многоязычной модели mBERT для выявления языка вражды в текстах на амхарском языке. Базовая модель — Davlan/bert-base-multilingual-cased-finetuned-amharic; архитектура — BERT с классификационной головой BertForSequenceClassification, размер — 205,1 млн параметров. Модель принимает текст и выдаёт метку классификации. Контекстное окно составляет 512 токенов. Модель предназначена для автоматической модерации и анализа амхароязычных сообщений. В README указаны F1-score 0,9172 и точность 91,59%; дообучение проводилось в течение 15 эпох на наборе данных из 30 000 строк. Эти показатели относятся к описанному эксперименту и не гарантируют аналогичного качества на других данных. Лицензия в предоставленных сведениях не указана.
Карточка модели yrrhall/bert-tiny-toxicity на Hugging Face совпадает с карточкой gravitee-io/bert-tiny-toxicity, поэтому описание составлено по ней. gravitee-io разработала компактный классификатор токсичности на базе BERT-tiny, дообученный на наборе gravitee-io/textdetox-multilingual-toxicity-dataset. Модель относит текст к одному из двух классов: «not-toxic» или «toxic», поэтому подходит для автоматической модерации пользовательских сообщений и фильтрации потенциально токсичного контента. Модель содержит 4,4 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в форматах Safetensors и ONNX. В карточке приведены результаты оценки для нескольких языков; качество различается между языками. Лицензия — OpenRAIL++.
ClimateGPT-13B — языковая модель для вопросов и ответов о климате, разработанная Erasmus AI при обучении с AppTek. Это декодерный трансформер на архитектуре Llama, дообученный на основе Llama 2 13B: продолженное предобучение на 4,2 млрд токенов документов о климате дополнили инструкционной настройкой на примерах вопросов и ответов. Модель содержит 12,9 млрд параметров, принимает и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана на английский язык. Модель подходит для ответов на климатические вопросы и синтеза междисциплинарных исследований, в том числе для учёных, журналистов и лиц, принимающих решения. Для повышения полноты и фактической точности рекомендуется использовать поиск по источникам (RAG); в контексте модель поддерживает до пяти ссылок. Она не предназначена для общего чат-бота и может выдавать предвзятые, оскорбительные или неточные ответы. Указана лицензия ClimateGPT Community License.
timm/coat_mini.in1k — модель классификации изображений семейства CoaT (Co-Scale Conv-Attentional Transformer), обученная авторами статьи на ImageNet-1k. Она также предназначена для использования в качестве визуального backbone и извлечения признаков. Модель содержит 10,3 млн параметров, выполняет 6,8 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по классам ImageNet-1k и получения эмбеддингов изображений для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В карточке не описаны ограничения качества или дополнительные обучающие данные за пределами ImageNet-1k.
ConvFormer M36 — модель классификации изображений и визуальный backbone семейства MetaFormer. Она предварительно обучена на ImageNet-22k, а затем дообучена авторами статьи на ImageNet-1k. Модель содержит 57,1 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Её можно использовать как основу для компьютерного зрения и как backbone в собственных системах анализа изображений. Репозиторий предоставляет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0.
convformer_s36.sail_in1k — модель классификации изображений семейства ConvFormer, относящаяся к архитектурному подходу MetaFormer. Модель обучена авторами статьи на ImageNet-1k и предназначена для распознавания объектов на изображениях; её также можно использовать как визуальный backbone для извлечения признаков и получения эмбеддингов изображений. Модель содержит около 40 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную стоимость 7,7 GMACs. Репозиторий использует библиотеку timm, веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на классы этого набора данных. Карточка не описывает поддержку других размеров изображений или специализированных предметных областей.
ConViT Small — модель классификации изображений и визуальный backbone из библиотеки timm. Её обучили авторы работы ConViT на ImageNet-1k; модель сочетает подход Vision Transformer с мягкими свёрточными индуктивными смещениями. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель предназначена для классификации изображений и извлечения визуальных признаков. Она рассчитана на изображения размером 224 × 224 пикселя и содержит 27,8 млн параметров; вычислительная стоимость составляет 5,8 GMACs. Обучение на ImageNet-1k делает её подходящей для стандартных задач распознавания объектов и как основу для прикладных систем компьютерного зрения. Карточка не описывает ограничения качества вне ImageNet-1k или специальные гарантии для иных наборов данных и сценариев. Для таких применений результаты следует проверять отдельно.
CrossViT 15 Dagger 408 — модель классификации изображений семейства CrossViT, обученная авторами статьи на ImageNet-1k. Она также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов изображений. Архитектура объединяет обработку изображения в нескольких масштабах с помощью vision transformer; модель содержит 28,5 млн параметров и рассчитана на изображения размером 408 × 408 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k и получения визуальных представлений для последующих задач компьютерного зрения. Репозиторий предоставляет веса PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0.
Data2vec-Vision Large — модель компьютерного зрения от Facebook, основанная на архитектуре BEiT и обученная для классификации изображений. Сначала модель предварительно обучили методом self-supervised learning, затем дообучили на ImageNet-1k: 1,2 млн изображений и 1000 классов. Число параметров — 411 млн; для обработки изображения используется разрешение 224×224 пикселя. Модель принимает изображение и предсказывает класс из набора ImageNet-1k. Она подходит для классификации объектов на фотографиях и для экспериментов с распознаванием изображений. В описанной оценке точность top-1 на ImageNet-1k составила 86,50%. Для обучения и оценки изображения нормализуют по RGB-каналам; авторы отмечают, что при дообучении более высокое разрешение может дать лучшие результаты. Модель распространяется по лицензии Apache-2.0. Она предназначена для классификации в пределах 1000 классов ImageNet-1k; карточка не заявляет поддержку других задач или языков.
EfficientFormer L1 — компактная модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Модель разработана для семейства EfficientFormer; веса предварительно обучены с дистилляцией на ImageNet-1k. Репозиторий предоставляет веса в форматах PyTorch и safetensors для библиотеки timm. Модель содержит 12,3 млн параметров, требует около 1,3 GMACs вычислений и рассчитана на изображения размером 224 × 224 пикселя. Она подходит для распознавания объектов и получения признаковых представлений изображений при ограниченных вычислительных ресурсах. Указана лицензия Apache-2.0.
EfficientFormerV2-S1 — компактная модель компьютерного зрения для классификации изображений и извлечения признаков. Модель опубликована в репозитории timm и обучена с дистилляцией на ImageNet-1k; число параметров составляет около 6,2 млн, вычислительная сложность — около 0,7 GMACs. Входной размер изображения — 224 × 224 пикселя. Модель подходит для классификации изображений на классы ImageNet-1k, получения эмбеддингов изображений и извлечения карт признаков. Архитектура семейства EfficientFormerV2 рассчитана на компактность и скорость, что делает модель подходящей для сценариев компьютерного зрения с ограниченными вычислительными ресурсами. Лицензия репозитория — Apache-2.0.
EfficientViT B1 — модель классификации изображений из семейства EfficientViT, созданная авторами статьи и обученная на ImageNet-1k. Она также может использоваться как backbone для извлечения карт признаков и как модель для получения эмбеддингов изображений. Модель содержит около 9,1 млн параметров и рассчитана на входные изображения размером 288 × 288 пикселей. Она предназначена для классификации изображений по категориям ImageNet-1k и для извлечения визуальных признаков в последующих задачах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k, поэтому её категории и качество ограничены этим набором данных; для других классов и предметных областей может потребоваться адаптация.
Модель prithivMLmods/facial-age-detection разработана на основе SigLIP 2 от Google и дообучена для классификации изображений лиц по возрастным группам. Архитектура — SiglipForImageClassification; модель относит лицо к одному из восьми диапазонов: 1–10, 11–20, 21–30, 31–40, 41–55, 56–65, 66–80 лет или старше 80 лет. Модель предназначена для оценки возрастных распределений на изображениях и может применяться в демографической аналитике, розничных исследованиях и адаптации интерфейсов. Карточка также перечисляет контроль доступа и наблюдение как предполагаемые сценарии. Это оценка возраста по изображению, а не проверка личности или подтверждение возраста документами. Модель работает с изображениями и выдаёт класс возрастной группы. Она дообучена на наборе данных Face-Age-10K; в метаданных указана английская локаль карточки, но это не свидетельствует об ограничении языковой поддержки. Лицензия — Apache-2.0.
Guard-Against-Unsafe-Content2-Siglip2 — модель классификации изображений, разработанная prithivMLmods и дообученная на базе google/siglip2-base-patch16-224 с архитектурой SiglipForImageClassification. Она присваивает изображению один из двух классов: «normal» или «nsfw», чтобы автоматически выявлять контент для систем модерации и фильтрации. Модель принимает изображения и выдаёт метку класса. Автор приводит результаты оценки на выборке из 10 000 примеров, однако предупреждает, что модель экспериментальная и её качество может быть нестабильным из-за ограничений обучающего набора данных. Лицензия — Apache-2.0.
HaloNet26t.a1h_in1k — модель Ross Wightman из библиотеки timm для классификации изображений и извлечения визуальных признаков. Она обучена на ImageNet-1k по рецепту A1 из ResNet Strikes Back с изменёнными настройками регуляризации и аугментации; конфигурация не повторяет в точности конкретную научную работу. Модель использует архитектуру HaloNet на основе ResNet-подобного BYOBNet с блоками пространственного внимания. В ней 12,5 млн параметров, вычислительная сложность составляет 3,2 GMAC, рекомендуемый размер входного изображения — 256 × 256 пикселей. Помимо предсказания классов, модель подходит для извлечения карт признаков и эмбеддингов изображений. Модель принимает изображения и выдаёт классовые предсказания или визуальные признаки. Она обучена на ImageNet-1k; поддерживаемые языки не применимы к её основным задачам. Распространяется по лицензии Apache-2.0.
facebook/hiera-base-224-hf — базовая версия иерархического Vision Transformer Hiera от Meta, дообученная на ImageNet-1K. Чекпойнт содержит около 33 млн параметров и предназначен прежде всего для извлечения признаков из изображений; полученные признаки можно использовать в последующих задачах компьютерного зрения, например для классификации изображений. Архитектура Hiera меняет разрешение пространственных представлений и число признаков по мере прохождения сети. В README отмечены простота архитектуры и эффективность; семейство также описано как применимое к задачам распознавания изображений и видео. Этот чекпойнт принимает изображения и выдаёт векторные признаки. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.
HRNet-W30 — сверточная модель классификации изображений из библиотеки timm, обученная авторами архитектуры на ImageNet-1k. Она предназначена для распознавания объектов на изображениях и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Модель содержит около 37,7 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность 8,2 GMACs. Её архитектура HRNet поддерживает высокое пространственное разрешение признаков на протяжении обработки изображения. Репозиторий предоставляет веса в форматах PyTorch и safetensors; лицензия — MIT.
facebook/ijepa_vith14_1k — модель I-JEPA от Meta для извлечения признаков изображений. Она обучена методом self-supervised learning: предсказывает представления скрытых областей изображения по представлениям других его частей. Вместо восстановления пикселей модель работает в латентном пространстве, чтобы формировать семантически значимые представления. Этот чекпойнт Huge предназначен прежде всего для извлечения признаков и может использоваться для классификации изображений и других задач компьютерного зрения, опирающихся на визуальные признаки. Модель содержит 838,9 млн параметров; в метаданных указаны архитектура IJepaModel и библиотека Transformers. Для обучения использовался датасет ILSVRC/imagenet-1k. Модель принимает изображения и выдаёт их признаки. В карточке также описан предиктор латентных представлений, способный учитывать пространственную неопределённость и предсказывать высокоуровневую информацию о скрытых областях изображения. Лицензия CC BY-NC 4.0 разрешает использование на условиях некоммерческой лицензии.
Модель michelleli99/inappropriate_text_classifier разработана на основе DistilBERT и дообучена для классификации текста по двум классам: NSFW (неподходящий или непрофессиональный текст) и SFW. Она предназначена для фильтрации публикаций и сообщений, например постов Reddit, по признаку уместности содержания. Модель обучена на 19 604 публикациях Reddit из Comprehensive Abusiveness Detection Dataset. Это текстовый классификатор на базе DistilBERT с контекстом до 512 токенов, доступный в формате PyTorch. Лицензия — CreativeML OpenRAIL-M. Классификатор может помогать модерировать текстовые публикации, однако его вывод ограничен бинарной оценкой и может не совпадать с контекстной оценкой уместности. Обучающие данные связаны с Reddit, поэтому качество на других источниках и жанрах может различаться.
OK-AI/lejepa-vits16-pretrain-in1k — предобученный методом LeJEPA визуальный энкодер для извлечения признаков из изображений. Модель разработана в рамках коллекции Open-Knowledge-AI ImageNet-1K SSL и обучена на 1,45 млн изображений ImageNet-1K. В основе — ViT-S/16 архитектуры ViT-v2 без register-токенов; основная ветка репозитория содержит чекпойнт после 300 эпох обучения. LeJEPA использует самоконтролируемое обучение без учителя, негативных примеров и эвристик: SIGReg регуляризует распределение латентных представлений, а функция потерь на инвариантность сохраняет их различающую структуру. Модель предназначена для получения векторных признаков изображений, которые можно использовать в последующих задачах компьютерного зрения. В README указано, что метрики доступны только для весов учителя; результаты линейной оценки, k-NN и прикладных оценок заявлены как ожидающие публикации. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
LeViT Conv 384 fb dist in1k — модель классификации изображений из семейства LeViT, опубликованная авторами модели для библиотеки timm. Это вариант LeViT с 39,1 млн параметров, вычислительной сложностью 2,4 GMAC и входным размером 224 × 224 пикселя. Модель обучена на ImageNet-1k с дистилляцией; в указанном режиме использует линейные слои nn.Linear и nn.BatchNorm1d. Модель предназначена для присвоения изображениям классов ImageNet-1k и может использоваться как визуальный backbone для извлечения эмбеддингов и карт признаков. В карточке указана точность top-1 82,596% и top-5 96,012% на ImageNet-1k. Лицензия репозитория — Apache-2.0.
Llama-goodlens-mpnet — модель эмбеддингов предложений, разработанная beeformer для рекомендательных систем. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для контентной фильтрации, а также для использования текстовых описаний объектов как дополнительной информации при рекомендациях для новых пользователей или объектов. Модель основана на sentence-transformers/all-mpnet-base-v2 и дообучена без изменения архитектуры или исходных параметров на объединении датасетов Goodbooks-10k и MovieLens20M. Тексты описаний объектов для обучения были сгенерированы с помощью meta-llama/Meta-Llama-3.1-8B-Instruct. Архитектура — MPNet, размер — 136,7 млн параметров; ограничение обработанной последовательности при обучении было снижено до 384 токенов, а контекст модели составляет 514 токенов. Вход — текст на английском языке, выход — векторы эмбеддингов. Карточка указывает, что результаты оценки пока не опубликованы, а модель создана как демонстрация возможностей beeFormer и предназначена для исследований. Лицензия — Llama 3.1.