IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейResNet-101 v1.5 — свёрточная нейросеть с остаточными связями, представленная в работе He et al. и опубликованная командой Microsoft. Модель предварительно обучена на ImageNet-1k для классификации изображений с разрешением 224×224 и предсказывает один из 1000 классов ImageNet. Вариант v1.5 переносит операцию уменьшения разрешения в bottleneck-блоках с первой свёртки 1×1 на свёртку 3×3. В карточке отмечено, что для ResNet50 такая схема немного повышает точность top-1, но снижает скорость обработки; это сравнение не является отдельной оценкой ResNet-101. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.
ResNeXt-101 32x16d — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её распространяет библиотека timm; авторы исходной работы предварительно обучили модель на наборе хештегов Instagram-1B методом полу-слабого обучения, а затем дообучили на ImageNet-1k. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом, групповые свёртки 3×3 в блоках bottleneck и свёрточные короткие связи 1×1. Модель содержит около 194 млн параметров и рассчитана на изображения размером 224×224. Её можно использовать для предсказания классов ImageNet-1k, получения карт признаков и эмбеддингов изображений. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель ориентирована на классификацию изображений ImageNet-1k; качество на других наборах данных может отличаться.
seresnext101_64x4d.gluon_in1k — свёрточная модель классификации изображений из библиотеки timm, основанная на архитектуре SE-ResNeXt-B с механизмом внимания к каналам Squeeze-and-Excitation. Модель содержит 88,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Она обучена на ImageNet-1k в Apache Gluon с рецептами Bag of Tricks. Модель подходит для классификации изображений и может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Архитектура включает ReLU-активации, свёртку 7 × 7 с пулингом, групповые свёртки в bottleneck-блоках и свёрточные проекции в обходных соединениях. Веса распространяются в форматах PyTorch и safetensors по лицензии Apache-2.0. README не указывает русскоязычные текстовые возможности; модель принимает изображения и выдаёт классовые предсказания либо признаки для дальнейшей обработки.
Swin Base Patch4 Window7 224 — модель компьютерного зрения для классификации изображений из семейства Swin Transformer, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k; содержит около 87,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Иерархическая архитектура Vision Transformer обрабатывает изображение с помощью сдвинутых окон. Модель также может служить основой для извлечения карт признаков и эмбеддингов изображений. Основной сценарий применения — определение классов объектов на изображениях. Веса доступны в форматах PyTorch и Safetensors; лицензия — MIT. Карточка не описывает языковые возможности, поскольку модель принимает изображения и выдаёт предсказания классов или признаки.
Swin Small Patch4 Window7 224, распространяемая проектом timm, — модель классификации изображений на основе иерархического Vision Transformer с механизмом сдвинутых окон. Авторы статьи Swin Transformer предварительно обучили её на ImageNet-22k; в карточке указаны 65,6 млн параметров и входной размер 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный бэкбон для извлечения карт признаков и эмбеддингов. Она подходит для построения систем распознавания изображений и визуального поиска. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — MIT.
Swin Transformer v2 Base — модель компьютерного зрения семейства Vision Transformer, представленная авторами Swin Transformer v2 и опубликованная командой Hugging Face. Она предварительно обучена на ImageNet-1k для классификации изображений с разрешением 256×256 и содержит около 33 млн параметров. Иерархическая архитектура объединяет патчи на более глубоких уровнях и вычисляет внимание в локальных окнах, формируя признаки для классификации и других задач распознавания изображений. В версии v2 применяются нормализация после остаточного блока с cosine attention для стабильности обучения и непрерывное смещение позиции с логарифмической шкалой для переноса на изображения более высокого разрешения. Модель принимает изображения и выдаёт класс из набора ImageNet-1k. Для использования указана лицензия Apache-2.0. Для прикладной задачи, отличной от классификации ImageNet, может потребоваться дообученная версия.
TowerInstruct-7B-v0.2 — языковая модель Unbabel, Instituto Superior Técnico и CentraleSupélec University of Paris-Saclay, дообученная на базе TowerBase на наборе TowerBlocks. Она предназначена прежде всего для задач, связанных с машинным переводом: переводит предложения и абзацы, учитывает контекст и терминологию, а также выполняет автоматическое постредактирование перевода, распознавание именованных сущностей, исправление грамматических ошибок и перефразирование. Модель основана на плотной архитектуре Llama и содержит 6,6 млрд параметров; формат весов — safetensors, контекст — до 4096 токенов. Поддерживает английский, португальский, испанский, французский, немецкий, нидерландский, итальянский, корейский, китайский и русский языки. Версия v0.2, согласно карточке, надёжнее справляется с переводом документов по сравнению с v0.1, однако разработчики отдельно указывают, что модель не предназначена для документного перевода, чат-ботов или помощи с кодом. Она не выравнивалась по человеческим предпочтениям и может выдавать галлюцинации, вредоносный контент или ложные сведения. Лицензия — CC-BY-NC-4.0; базовая Llama 2 распространяется по лицензии Llama 2 Community License.
TrOCR Devanagari — модель Anil Paudel, Aayush Puri и Yubaraj Sigdel для распознавания рукописного текста на непальском языке письмом деванагари. Она преобразует изображения рукописных слов в машинно-читаемый текст и предназначена для оцифровки непальских документов. В основе — архитектура Vision Encoder-Decoder: Vision Transformer (ViT) кодирует изображение, а трансформерный декодер NepBERT генерирует текст. Модель использует компоненты amitness/roberta-base-ne и google/vit-base-patch16-224-in21k; веса опубликованы в формате safetensors и доступны по лицензии MIT. Карточка описывает обработку изображений с изменением размера и дополнением полей перед распознаванием. Хотя в README упомянуто выделение текстовых областей в документах, основной задачей модели указано распознавание текста на изображении; отдельная проверка качества или заявленные ограничения не приведены.
vit_base_patch14_reg1_tipsv2.webli — визуальный энкодер на основе Vision Transformer (ViT), опубликованный в библиотеке timm. Модель содержит 86,3 млн параметров и обрабатывает изображения размером 448 × 448 пикселей. Она дистиллирована от учительской модели ViT-g/14 TIPSv2 с помощью сопоставления признаков патчей на отфильтрованной подвыборке WebLI из 116 млн изображений. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также карт признаков для последующих задач компьютерного зрения. В архитектуре используется дополнительный register-токен. Лицензия — Apache-2.0. Карточка не приводит специальных ограничений по качеству или сценариям применения.
Это модель классификации изображений на базе Vision Transformer (ViT) с патчами 14×14, разработанная и опубликованная в экосистеме timm. Модель предварительно обучена на парах изображений и текста LAION-2B с помощью OpenCLIP, затем дообучена на ImageNet-1k. Она содержит около 632 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Для практического применения нужны изображения на входе, а результатом классификации служат метки классов; при извлечении признаков модель выдаёт векторы.
Это модель классификации изображений на архитектуре Vision Transformer (ViT) с патчами 16×16. Её обучили авторы исследований на ImageNet-21k с расширенной аугментацией и регуляризацией; Ross Wightman перенёс веса в PyTorch для библиотеки timm. Модель содержит 325,7 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель предназначена для классификации изображений и может использоваться как основа для извлечения визуальных признаков и эмбеддингов. Она подходит для распознавания объектов и сцен в изображениях и построения систем компьютерного зрения. Весам предоставлена лицензия Apache-2.0.
Это модель Vision Transformer (ViT) для классификации изображений и использования в качестве визуального backbone. Её обучили авторы научной работы на ImageNet-21k с дополнительной аугментацией и регуляризацией; Ross Wightman перенёс веса из JAX в PyTorch. Модель содержит около 30,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для распознавания объектов и категорий на изображениях, а также для извлечения визуальных признаков и эмбеддингов в компьютерном зрении. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
Это модель классификации изображений на базе Vision Transformer (ViT), разработанная Россом Уайтманом для библиотеки timm. Вариант архитектуры использует патчи 16×16, четыре register-токена и глобальное усреднение признаков; размер входного изображения — 384×384. Модель содержит 134,4 млн параметров и выполняет 88 GMACs. Модель предварительно обучена на ImageNet-12k, затем дообучена на ImageNet-1k. Она предназначена для присвоения изображениям классов ImageNet, а также может использоваться как основа для извлечения признаков и эмбеддингов изображений. В README приведены примеры применения для классификации, извлечения карт признаков и получения эмбеддингов. Модель доступна в форматах PyTorch и safetensors через timm. Лицензия — Apache-2.0. Результаты и назначение ориентированы на классификацию ImageNet; для других наборов классов может потребоваться адаптация.
onnx-community/yolov10s — модель обнаружения объектов YOLOv10s в формате ONNX, опубликованная сообществом onnx-community. Карточка описывает её как веса для сквозного обнаружения объектов в реальном времени; модель предназначена для нахождения объектов на изображениях и может использоваться через Transformers.js. Модель относится к семейству YOLOv10 и распространяется в формате ONNX. Лицензия AGPL-3.0. Карточка не содержит сведений о размере модели, списке классов и количественных показателях точности или задержки.
AfrimBert-QA — модель amidblue, дообученная на базе amidblue/mBertKE для извлечения ответов на вопросы по тексту. Она рассчитана на одноязычный и межъязыковой поиск ответов в материалах на африканских языках и английском; обучение включает AfriQuAD, KENSQUAD, AFRIQA и дополнительные данные. Модель построена на BERT, содержит 205,1 млн параметров, принимает текстовые вопросы и контекст и возвращает найденный фрагмент текста. Максимальная длина контекста — 512 токенов. В карточке заявлена поддержка 15 языков: суахили, луо, киньяруанда, игбо, твийского, фон, зулу, бемба, лингала, английского и других африканских языков. Суахили преобладает в данных; для ряда языков примеров мало, поэтому качество может заметно различаться. Модель доступна через Transformers в формате safetensors; доступ к репозиторию ограничен и требует запроса на Hugging Face. Лицензия в предоставленных данных не указана.
Карточка модели tals/albert-xlarge-vitaminc на Hugging Face совпадает с карточкой tals/albert-xlarge-vitaminc-mnli, поэтому описание составлено по ней. tals/albert-xlarge-vitaminc-mnli — модель классификации последовательностей на архитектуре ALBERT. Она использована в работе «Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence» (Schuster и соавторы, NAACL 2021) и предназначена для проверки утверждений с опорой на контекст и контрастные свидетельства. Модель можно применять для классификации пар «утверждение — свидетельство», например при проверке фактов и оценке того, поддерживает ли текст утверждение или противоречит ему. Максимальная длина контекста — 512 токенов; доступны веса PyTorch, Safetensors и TensorFlow. В карточке указаны наборы данных GLUE, MultiNLI и tals/vitaminc. Карточка не раскрывает точную схему меток и метрики качества, поэтому перед использованием в прикладной системе стоит проверить формат входа и выхода и оценить качество на целевых данных. При использовании модели авторы просят цитировать научную работу; лицензия в доступных данных не приведена.
BEiT-3 Large Patch16 224 — модель классификации изображений и извлечения визуальных признаков из семейства BEiT, опубликованная в репозитории timm. Она содержит 304,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; архитектура использует патчи 16 × 16. Чекпойнт предварительно обучался на изображениях ImageNet-22k, текстовых документах и парах изображение–текст, а затем дообучался на ImageNet-22k и ImageNet-1k. В этом варианте оставлена обработка изображений для задач компьютерного зрения. Модель подходит для классификации изображений, получения карт признаков и визуальных эмбеддингов, в том числе как визуальная основа для прикладных систем. В карточке указана лицензия Apache-2.0. Метаданные указывают библиотеку timm и форматы PyTorch и safetensors.
BEiT-base — модель компьютерного зрения Microsoft на основе Vision Transformer с энкодером-трансформером, похожим на BERT. Она содержит 119,5 млн параметров и принимает изображения, разбитые на патчи 16×16. Модель предварительно обучена без учителя на ImageNet-21k при разрешении 224×224, а затем дообучена для классификации изображений на ImageNet-21k; в описании также указана настройка на ImageNet с 1000 классами. Модель предназначена для классификации изображений и извлечения визуальных признаков для последующих задач, например обучения классификатора на размеченных данных. Для входа изображения масштабируются до 224×224 и нормализуются по RGB-каналам. Репозиторий содержит веса PyTorch и Flax. Модель распространяется по лицензии Apache-2.0. Классификатор ориентирован на классы ImageNet; для специализированных наборов данных может потребоваться дополнительное обучение. В README отмечено, что более высокое разрешение при дообучении может давать лучшие результаты.
BEiT Large Patch16-224 — предварительно обученная модель зрения Microsoft на базе Vision Transformer с трансформерным энкодером, похожим на BERT. Модель содержит 411 млн параметров и была обучена без учителя на ImageNet-21k (ImageNet-22k), включающем около 14 млн изображений и 21 841 класс. При предобучении модель восстанавливает визуальные токены для скрытых фрагментов изображения. Модель предназначена для классификации изображений и получения признаков, которые можно использовать в последующих задачах компьютерного зрения. Она принимает RGB-изображения, разбивает их на патчи 16×16 и рассчитана на разрешение 224×224 пикселя. Относительные позиционные эмбеддинги и предобучение на большом наборе изображений помогают сформировать полезные представления для адаптации к новым размеченным данным. Для специализированной классификации на целевых классах может потребоваться дообучение или отдельный классификационный слой; более высокое разрешение при дообучении может улучшить результаты. Модель распространяется по лицензии Apache-2.0.
KasuleTrevor разработал эту модель как дообученный чекпойнт Qwen3-ASR для распознавания речи на лугандийском языке, в том числе речи с нарушениями разной степени тяжести. Это выбранный чекпойнт 1000-го шага третьего этапа обучения на наборе cdli/ugandan_luganda_nonstandard_speech_v1.0; базовая модель — KasuleTrevor/cdli-qwen3-asr-lg-typical-1p7b-base-finetune. Модель принимает аудио и выдаёт распознанный текст. На тестовой выборке средний нормализованный WER по высказываниям составил 0,497, а CER — 0,231; без ограничения нормализованный корпусный WER составил 0,633, CER — 0,323. Ошибки чаще возникали на речи с тяжёлыми нарушениями: средний WER составил 0,597 против 0,397 для лёгких нарушений. Модель распространяется по лицензии Apache-2.0.
tbluhm/clf-sentimentos-cmts — классификатор тональности коротких текстов в социальных сетях на бразильском португальском языке. Модель разработана на основе XLM-RoBERTa и дообучена для определения положительной, отрицательной или нейтральной тональности комментариев; README также описывает обработку эмодзи. Архитектура — XLM-RoBERTa для классификации последовательностей, размер — 305,2 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для анализа комментариев, отзывов и других коротких текстов, например, для мониторинга реакции аудитории на товары, услуги и публичные профили. README упоминает датасет с комментариями к профилям политиков, артистов и автомобильных компаний; карточка также приводит более общее описание обучающих данных как многоязычного набора из отзывов и коротких текстов. Эти сведения расходятся, поэтому область применения лучше считать ориентированной прежде всего на бразильские соцсети. Модель может ошибаться в интерпретации сложных оттенков человеческих эмоций и отражать смещения обучающих данных. Распространяется по лицензии MIT.
CoAtNet-3 rw 224 — модель классификации изображений семейства CoAtNet, разработанная Ross Wightman и обученная в timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она предназначена для распознавания объектов и других категорий на изображениях, а также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Архитектура сочетает блоки свёрток MBConv на ранних этапах с блоками self-attention на поздних. Модель содержит около 181,8 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Реализация доступна через библиотеку timm; веса представлены в форматах PyTorch и safetensors. Модель подходит для классификации изображений по категориям, представленным при обучении, и как основа для визуальных признаков в прикладных системах. Обучение на ImageNet-12k даёт широкий набор классов, но само по себе не гарантирует качество на специализированных или существенно отличающихся от обучающих данных изображениях. Лицензия — Apache-2.0.
ConvNeXt Base — модель классификации изображений и визуальный backbone, опубликованная Ross Wightman в библиотеке timm. Её визуальная часть предварительно обучена в OpenCLIP на LAION-2B, затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 88,6 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений и извлечения признаковых карт или эмбеддингов изображений, которые можно использовать в последующих задачах компьютерного зрения. В карточке приведены результаты на ImageNet-1k; лицензия репозитория — Apache-2.0. Количество классов классификации и показатели качества именно этой модели в предоставленной части карточки не приведены.
ConvNeXt-Tiny — сверточная модель классификации изображений из семейства ConvNeXt, опубликованная в timm. Авторы статьи предварительно обучили её на ImageNet-22k, а затем дообучили на ImageNet-1k. Модель содержит 28,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений по категориям и может использоваться как базовая сеть для извлечения признаковых карт и эмбеддингов изображений. Она подходит для построения систем распознавания объектов на изображениях и для визуального поиска или кластеризации на основе признаков. Модель принимает изображения и выдаёт оценки классов либо признаки изображения. В карточке приведены результаты на ImageNet, но они не гарантируют такого же качества на данных из других областей. Лицензия — Apache-2.0.
facebook/convnextv2-large-22k-384 — большая свёрточная модель классификации изображений от команды ConvNeXt V2, представленная в работе Woo и соавторов. Модель предварительно обучена методом FCMAE и дообучена на ImageNet-22K; она использует архитектуру ConvNeXt V2 с полностью свёрточным masked autoencoder подходом и слоем Global Response Normalization (GRN). Вариант рассчитан на изображения разрешением 384×384. Модель предназначена для присвоения изображениям классов ImageNet и может служить основой для последующего дообучения под другие задачи распознавания изображений. Она принимает изображения и выдаёт оценки классов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — Apache-2.0.
ConvNeXT XLarge — свёрточная модель компьютерного зрения, представленная авторами статьи «A ConvNet for the 2020s» и опубликованная в репозитории Facebook. Модель предварительно обучена на ImageNet-22k, а затем дообучена на ImageNet-1k для классификации изображений с разрешением 384×384 пикселя. Модель принимает изображение и предсказывает один из классов ImageNet-1k. Архитектура — чистая ConvNet, дизайн которой модернизирован с учётом идей ResNet и Swin Transformer. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Модель подходит для классификации изображений общего назначения и как основа для дообучения под другие задачи компьютерного зрения. Она выдаёт классы из ImageNet-1k, поэтому для специализированных классов потребуется другая версия или дообучение.
DeiT-III Base Patch16 224 — модель классификации изображений из семейства Vision Transformer, обученная авторами статьи на ImageNet-1k. Веса распространяются через timm в форматах PyTorch и safetensors по лицензии Apache-2.0. Модель принимает изображения размером 224 × 224 и относит их к классам ImageNet-1k. Её также можно использовать как визуальную основу для получения эмбеддингов изображений. В модели около 86,6 млн параметров; вычислительная сложность составляет 17,6 GMACs. Модель подходит для классификации изображений и извлечения визуальных признаков. Её специализация и обучение на ImageNet-1k ограничивают применимость задачами, близкими к распознаванию объектов из этого набора классов; качество на других данных может отличаться.
EfficientNet-B4 — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту RandAugment RA2. Модель содержит 19,3 млн параметров; при обучении использовался размер изображения 320×320, при проверке — 384×384. Также её можно применять как основу для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для отнесения изображения к одному из классов ImageNet-1k и для получения визуальных признаков в задачах компьютерного зрения. В карточке описаны RMSProp с поведением TensorFlow 1.0, усреднение весов EMA и ступенчатое экспоненциальное снижение скорости обучения с разогревом. Распространяется по лицензии Apache-2.0.
EfficientViT-M3 — модель классификации изображений семейства EfficientViT, разработанная MSRA и обученная авторами статьи на ImageNet-1k. Она предназначена для присвоения изображениям меток классов, а также может служить компактной визуальной основой для извлечения карт признаков и эмбеддингов. Модель содержит 6,9 млн параметров, обрабатывает изображения размером 224 × 224 пикселя и имеет вычислительную сложность около 0,3 GMAC. Архитектура использует каскадное групповое внимание. Модель распространяется в форматах PyTorch и safetensors и доступна по лицензии MIT.
EVA-02 Base Patch14 448 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная в библиотеке timm. Авторы статей EVA-02 предварительно обучили её на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя, а затем дообучили на ImageNet-22k. Модель содержит 103,1 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. Архитектура — Vision Transformer с mean pooling, SwiGLU, Rotary Position Embeddings и дополнительной нормализацией в MLP. Модель подходит для классификации изображений и как визуальный backbone для задач, которым нужны признаки изображения; также можно получать эмбеддинги изображений. Контрольная точка timm сохранена в float32; README отмечает, что исходные версии в некоторых случаях доступны в float16 или bfloat16. Лицензия — MIT.