IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейЭто модель MaxViT Base для классификации изображений, перенесённая из официальной реализации TensorFlow в PyTorch Россом Уайтменом и доступная в библиотеке timm. Авторы статьи предварительно обучили её на ImageNet-21k, а затем дообучили на ImageNet-1k. Архитектура MaxViT сочетает блоки свёрточной обработки MBConv с механизмами внимания по оконным и сеточным разбиениям изображения. Модель принимает изображения размером 384 × 384 и выдаёт классы изображённых объектов. В ней около 119,7 млн параметров; также её можно использовать как основу для извлечения признаков и эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения, а не для отдельной прикладной области. Распространяется по лицензии Apache-2.0.
MaxxViT-V2 RMLP Base RW 384 — модель классификации изображений из библиотеки timm, обученная Ross Wightman. Она предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k для распознавания объектов на изображениях и извлечения визуальных признаков. Архитектура MaxxViT-V2 сочетает блоки ConvNeXt и grid self-attention; вариант использует MLP Log-CPB для позиционного смещения. Модель содержит 116,1 млн параметров, рассчитана на изображения размером 384 × 384 пикселя и требует значительных вычислительных ресурсов. Веса доступны в форматах PyTorch и safetensors. Модель подходит для классификации изображений общего назначения и как визуальная основа для извлечения признаков. Карточка сообщает метрики ImageNet для семейства моделей, но не приводит здесь точные результаты этого варианта. Лицензия — Apache-2.0.
mergekit-community/mergekit-ties-cmdmayc — языковая модель на основе архитектуры Mistral, полученная объединением весов методом TIES с помощью mergekit. В объединение вошли mistralai/Mistral-7B-v0.1 в качестве базовой модели, mistralai/Mistral-7B-Instruct-v0.2 и BioMistral/BioMistral-7B. Модель содержит 7,1 млрд параметров, использует формат Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговых сценариях. Включение BioMistral указывает на связь с биомедицинской тематикой, однако карточка не описывает специализированные медицинские возможности или результаты оценки качества. Модель выпущена 17 апреля 2024 года; условия лицензии в предоставленных данных не приведены.
Skiuphill/my_awesome_qa_model — дообученная Skiuphill модель DistilBERT для ответа на вопросы. Она использует архитектуру DistilBertForQuestionAnswering и предназначена для извлечения ответа из текста по заданному вопросу. Контекст ограничен 512 токенами. Модель основана на distilbert/distilbert-base-uncased, работает с текстом на английском языке и сохранена в формате safetensors. В карточке указана оценка Loss 1.5332 на тестовой выборке, но набор данных и подробности оценки не описаны. Лицензия — Apache-2.0.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed4-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed5-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-inoculation-prompting-seed2 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
RepViT m0.9 distill — модель классификации изображений и извлечения визуальных признаков из семейства RepViT. Она обучена авторами статьи на ImageNet-1k с дистилляцией. Модель содержит 5,5 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 0,8 GMACs. Модель предназначена для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Компактный размер делает её подходящей для визуальных задач, где важны небольшие вычислительные затраты. Репозиторий предоставляет веса PyTorch и Safetensors для библиотеки timm. Лицензия — Apache-2.0.
ResNet-18 — сверточная модель компьютерного зрения семейства ResNet, опубликованная Microsoft и обученная на ImageNet-1k. Карточка модели подготовлена командой Hugging Face; архитектура использует остаточные связи, которые помогают обучать глубокие нейронные сети. Модель предназначена для классификации изображений: она принимает изображение и предсказывает его класс. Её можно использовать как готовый классификатор или как основу для дальнейшей адаптации под специализированные задачи компьютерного зрения. Репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Модель распространяется по лицензии Apache-2.0. Обучение на ImageNet-1k ограничивает её распознавание классами этого набора данных; для других предметных областей может потребоваться дообучение.
ResNet18.a1_in1k — модель классификации изображений семейства ResNet, опубликованная командой timm. Она обучена на ImageNet-1k по рецепту ResNet Strikes Back A1 и использует активации ReLU, начальную свёртку 7×7 с пулингом и свёрточные shortcut-соединения 1×1 для уменьшения размерности. Модель содержит 11,7 млн параметров; рекомендуемый размер изображения при проверке — 288×288 пикселей, при обучении использовался размер 224×224. Модель предназначена для распознавания объектов на изображениях, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. В карточке приведены результаты ImageNet-классификации и характеристики вычислительной стоимости. Доступна по лицензии Apache-2.0.
ResNet-50 B2k In1k — модель классификации изображений из библиотеки timm, обученная авторами timm на ImageNet-1k по рецепту ResNet Strikes Back B (RA2). Архитектура ResNet использует активации ReLU, свёртку 7×7 с пулингом и остаточные соединения с проекцией через свёртку 1×1. Модель содержит 25,6 млн параметров и требует 4,1 GMACs. Модель предназначена для классификации изображений и может использоваться как визуальный бэкбон, для извлечения карт признаков и получения эмбеддингов изображений. При обучении использовались изображения размером 224×224, при оценке — 288×288. Репозиторий предоставляет веса PyTorch и Safetensors. Лицензия Apache-2.0.
ResNet-50 — сверточная модель классификации изображений из библиотеки timm. Она предварительно обучена авторами статьи на подмножестве YFCC100M с использованием полу-контролируемого обучения, а затем дообучена на ImageNet-1k. Архитектура использует ReLU, свертку 7×7 с пулингом и остаточные связи с проекцией через свертки 1×1. Модель предназначена для классификации изображений и может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Она рассчитана на вход размером 224×224 и содержит 25,6 млн параметров. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
ResNet50.ra_in1k — модель классификации изображений семейства ResNet-B, разработанная для библиотеки timm. Она обучена на ImageNet-1k с рецептом RandAugment RA, оптимизатором RMSProp, усреднением EMA и ступенчатым расписанием скорости обучения. Архитектура использует активации ReLU, свёртку 7×7 с последующим пулингом и короткие соединения с понижающими проекциями 1×1. Модель содержит 25,6 млн параметров и требует около 4,1 GMACs; размер изображения при обучении — 224×224, при тестировании — 288×288. Помимо классификации, её можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Лицензия — Apache-2.0.
ResNetV2-34d — сверточная модель для классификации изображений и извлечения признаков, обученная Россом Уайтманом с помощью инструментов timm на ImageNet-1k. Вариант ra4_e3600_r384_in1k содержит 21,8 млн параметров; обучение проводилось на изображениях 384 × 384, а для оценки использовались изображения 448 × 448. Модель доступна в форматах PyTorch и safetensors. Модель определяет объекты на изображении по классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений в задачах компьютерного зрения. Для работы нужны изображения; языковой ввод и текстовая генерация не поддерживаются. Распространяется по лицензии Apache-2.0.
RF-DETR Nano — компактная модель обнаружения объектов из семейства RF-DETR, представленного в работе Robinson и соавторов. Она предназначена для поиска объектов и определения их рамок на изображениях; чекпойнт обучен на COCO 2017 с 80 категориями. Модель доступна в формате safetensors и поддерживается библиотекой Transformers. Архитектура сочетает Vision Transformer на основе DINOv2 с чередованием оконного и полнослойного внимания, многоуровневый проектор признаков и декодер Deformable DETR с объектными запросами. Семейство RF-DETR ориентировано на компромисс между точностью и задержкой, а вариант Nano рассчитан на компактное обнаружение объектов в реальном времени. Модель принимает изображения и выдаёт классы объектов с ограничивающими рамками. Карточка не приводит конкретных показателей скорости или точности именно для Nano. Лицензия — Apache-2.0.
matei-dorian/segformer-b5-finetuned-human-parsing — дообученная модель сегментации изображений на основе NVIDIA SegFormer MiT-B5. Она выполняет семантический разбор людей на изображении, присваивая пикселям классы частей тела и предметов одежды, включая лицо, волосы, руки, ноги, головные уборы, очки, верхнюю одежду, юбки, брюки, обувь, сумки и шарфы. Модель подходит для анализа изображений людей и выделения отдельных частей тела и одежды. В README приведены результаты оценки: mean IoU 0,6258 и общая точность 0,8256. Метрики заметно различаются по классам: например, IoU лица составляет 0,8294, а шарфа — 0,2956; для фона указана нулевая IoU. Модель распространяется в форматах PyTorch и Safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в репозитории; сведения о датасете обучения в README не раскрыты.
Это модель классификации изображений семейства Swin Transformer, опубликованная авторами статьи Swin Transformer и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k и может использоваться для определения объектов и категорий на изображениях, а также как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит около 228,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Иерархическая архитектура Swin Transformer обрабатывает изображения с помощью окон внимания со сдвигом. Модель распространяется по лицензии MIT. Карточка описывает классификацию и извлечение визуальных признаков; сведения о поддержке текстового ввода или других модальностей отсутствуют.
Swin S3 Base 224 — модель семейства Swin Transformer для классификации изображений и извлечения визуальных признаков. Репозиторий опубликован командой timm; модель рассчитана на изображения размером 224 × 224 пикселя и содержит 71,1 млн параметров. В README также заявлены извлечение карт признаков и создание эмбеддингов изображений. Модель обучена на ImageNet-1k и может использоваться для классификации изображений, получения карт признаков и эмбеддингов в компьютерном зрении. В метаданных указан тип задачи image-classification, библиотека timm и форматы PyTorch и Safetensors. Лицензия — MIT.
Swin Transformer V2 Base — модель компьютерного зрения, представленная авторами Swin Transformer V2 и опубликованная командой Hugging Face. Она предварительно обучена на ImageNet-1k для классификации изображений размером 256 × 256 и содержит около 33 млн параметров. Модель построена на архитектуре Vision Transformer: формирует иерархические карты признаков, объединяя патчи на более глубоких уровнях, а механизм внимания вычисляется внутри локальных окон. Это позволяет масштабировать вычисления линейно с размером изображения и использовать модель как основу для задач распознавания изображений. В Swin Transformer V2 применены residual-post-norm с косинусным вниманием для повышения стабильности обучения, непрерывное смещение позиций с логарифмическим масштабированием для переноса на изображения высокого разрешения и самоконтролируемое предварительное обучение SimMIM. Готовая модель предназначена для классификации изображений на 1000 классов ImageNet; для других задач компьютерного зрения можно использовать дообученные варианты. Лицензия — Apache 2.0.
Это сверточная модель EfficientNet-B3 для классификации изображений и извлечения признаков. Её обучили авторы работ по EfficientNet и Noisy Student на ImageNet-1k и неразмеченных данных JFT-300M; Ross Wightman портировал веса в PyTorch. Модель доступна через библиотеку timm, а репозиторий содержит веса PyTorch и SafeTensors. Модель насчитывает 12,2 млн параметров и рассчитана на изображения размером 300 × 300 пикселей. Её можно применять для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Она предназначена для задач компьютерного зрения общего назначения; сведения о поддержке текстовых или других модальностей отсутствуют. Лицензия — Apache-2.0.
tf_efficientnet_b7.ap_in1k — сверточная модель классификации изображений семейства EfficientNet. Её обучили авторы исследовательской работы на ImageNet-1k с использованием AdvProp, а Ross Wightman перенёс веса из TensorFlow в PyTorch; модель доступна через библиотеку timm. В ней 66,3 млн параметров, вычислительная сложность составляет 38,3 GMACs, рекомендуемый размер входного изображения — 600 × 600 пикселей. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения признаковых карт и векторных представлений изображений. Она принимает изображения и выдаёт метки классов либо признаки, в зависимости от выбранного способа применения. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает поддержку других наборов классов или языковых задач.
tf_efficientnet_b7.ns_jft_in1k — свёрточная модель EfficientNet-B7 для классификации изображений и извлечения признаков. Исходную модель обучили авторы статей на ImageNet-1k и неразмеченных данных JFT-300M методом полуобучения Noisy Student; Ross Wightman перенёс веса в PyTorch. Репозиторий использует timm и содержит веса в форматах PyTorch и safetensors. Модель насчитывает 66,3 млн параметров и рассчитана на изображения размером 600 × 600 пикселей. Она предсказывает классы ImageNet-1k, а также может служить основой для извлечения карт признаков и эмбеддингов изображений. Подходит для классификации объектов на фотографиях и как визуальный backbone в прикладных системах компьютерного зрения. Лицензия — Apache-2.0. Модель ориентирована на классы ImageNet-1k; для других наборов классов может потребоваться дообучение или настройка. Высокое разрешение входа и вычислительная сложность модели могут увеличить требования к памяти и времени обработки.
tf_efficientnetv2_b1.in1k — модель классификации изображений из семейства EfficientNetV2. Её обучили авторы статьи на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 8,1 млн параметров, вычислительная сложность — 0,8 GMACs. Размер изображения для обучения — 192 × 192 пикселя, для оценки — 240 × 240. Модель предназначена для классификации изображений по категориям ImageNet-1k и может использоваться как основа для извлечения признаков и получения эмбеддингов изображений. Она принимает изображения и выдаёт предсказания классов; вычислительно компактна по сравнению с крупными визуальными моделями. Лицензия репозитория — Apache-2.0.
vit_base_patch16_clip_224.openai_ft_in1k — модель классификации изображений на базе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображение–текст WIT-400M с использованием CLIP, а затем дообучена в timm на ImageNet-1k. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по классам ImageNet-1k, а также как визуальный backbone и для получения эмбеддингов изображений. Обучение на парах изображение–текст даёт ей визуальные представления, пригодные для переноса на связанные задачи. Это модель для обработки изображений: текстовые промпты не указаны как входной режим данного чекпойнта. Репозиторий содержит веса PyTorch в формате safetensors; модель доступна по лицензии Apache-2.0. Карточка не описывает ограничения точности за пределами ImageNet-1k и не приводит оценки на других наборах данных.
Это визуальный энкодер семейства DINOv3 на архитектуре ViT-Huge с патчами 16×16, опубликованный в репозитории timm. Модель дистиллирована на наборе LVD-1689M от DINOv3 ViT-7B и предназначена для извлечения признаков изображений. В ней 840,6 млн параметров; указанный размер изображения — 256×256 пикселей. Вариант qkvb сохраняет включённые смещения QKV, равные нулю, для согласования с поведением исходной модели и Transformers. Полученные признаки и эмбеддинги можно использовать для классификации, сегментации и других задач компьютерного зрения, в том числе как представления изображений для последующей обработки. Карточка приводит сравнительные результаты на глобальных и плотных визуальных задачах, а также на GEO-Bench. Веса доступны в форматах PyTorch и safetensors; лицензия указана как DINOv3, при этом README обозначает её как other. Модель рассчитана на обработку изображений и сама по себе не является генератором текста или изображений.
Это модель классификации изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Её предварительно обучили с помощью CLIP на парах изображений и текстов из WIT-400M, а затем дообучили на ImageNet-1k. Модель насчитывает 304,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и эмбеддингов изображений. Она подходит для распознавания объектов и категорий на изображениях, а также для экспериментов с переносом визуальных представлений. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — Apache-2.0.
Это модель классификации изображений на архитектуре Vision Transformer (ViT), обученная авторами исследований на ImageNet-21k и дообученная на ImageNet-1k с дополнительной аугментацией и регуляризацией. Ross Wightman перенёс веса из JAX в PyTorch; модель распространяется в форматах PyTorch и safetensors через библиотеку timm. Модель содержит 22,2 млн параметров, рассчитана на изображения размером 384 × 384 и может использоваться как классификатор или основа для извлечения признаков и эмбеддингов изображений. Она предназначена для распознавания объектов и других классов ImageNet на изображениях. Лицензия — Apache-2.0. Модель обучена на ImageNet, поэтому её качество и набор распознаваемых категорий ограничены содержимым и разметкой этого датасета; для изображений вне этого распределения точность может снижаться.
Это гибридная модель ResNet и Vision Transformer (ViT) для классификации изображений и извлечения признаков. Её обучили авторы исследований на ImageNet-21k, затем дообучили на ImageNet-1k с аугментациями и регуляризацией; Росс Уайтман перенёс веса в PyTorch для библиотеки timm. Модель принимает изображения размером 224 × 224 и может классифицировать их либо получать эмбеддинги изображений для последующего использования. В ней 36,4 млн параметров; вычислительная сложность составляет 3,5 GMACs. Веса доступны в форматах PyTorch и safetensors. Модель подходит для классификации объектов общего назначения и как визуальная основа в компьютерном зрении. Она обучена на ImageNet, поэтому её классы и поведение ориентированы на эту задачу; применение к специализированным изображениям может потребовать дополнительной адаптации. Лицензия — Apache-2.0.
Это модель классификации изображений на базе Vision Transformer (ViT), разработанная Ross Wightman в библиотеке timm. Вариант архитектуры использует патчи 16×16, один регистр и глобальное среднее пулингование; число параметров — около 136,5 млн, рекомендованный размер изображения — 448×448 пикселей. Модель предварительно обучена на ImageNet-12k, затем дообучена на ImageNet-1k. Она предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. В README приведены результаты на ImageNet-1k: top-1 88,068% и top-5 98,588% для варианта с размером изображения 448. Модель работает с изображениями и выдаёт классы; сведения о поддержке естественных языков неприменимы. Для использования необходимы вычислительные ресурсы, соответствующие ViT с 136,5 млн параметров и обработке изображений высокого разрешения. Распространяется по лицензии Apache-2.0.