IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейКарточка модели zohaib99k/Bert_Arabic-SQuADv2-QA на Hugging Face совпадает с карточкой ZeyadAhmed/AraElectra-Arabic-SQuADv2-QA, поэтому описание составлено по ней. AraElectra-Arabic-SQuADv2-QA — модель ZeyadAhmed для извлечения ответов на вопросы по тексту на арабском языке. Она дообучена на AraElectra на наборе Arabic-SQuADv2.0, включающем вопросы без ответа, и использует классификацию для определения таких вопросов. Модель построена на архитектуре ELECTRA и содержит 162,4 млн параметров. Она принимает вопрос и контекст и возвращает найденный в контексте ответ либо определяет, что ответа нет. Максимальная длина контекста — 512 токенов. README рекомендует использовать препроцессор AraBERT для арабского текста. Модель предназначена для извлечения ответов из текстовых отрывков, включая контексты из арабской Википедии и пользовательские тексты. В README описана оценка на тестовой части Arabic-SQuAD 2.0, однако численные результаты не приведены. Лицензия в предоставленных данных не указана.
CAFormer B36 SAIL — модель для классификации изображений и извлечения визуальных признаков, разработанная авторами статьи о базовых моделях MetaFormer для компьютерного зрения и обученная на ImageNet-1k. Архитектура CAFormer относится к семейству MetaFormer. Модель содержит около 98,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для определения объектов и сцен на изображениях, извлечения карт признаков и получения векторных представлений изображений. Она может служить визуальным backbone в системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache 2.0.
Celadon — модель классификации токсичности текста, разработанная Eliot Jones во время работы в Pleias. Это дообученная DeBERTa-v3-small с пятью классификационными головами, обученная на 600 тысячах примеров набора Toxic Commons. Она оценивает текст по пяти направлениям: предвзятость по признаку расы, происхождения или миграционного статуса; предвзятость по гендеру и сексуальности; религиозная предвзятость; дискриминация по способностям или инвалидности; графическое насилие, угрозы и призывы к насилию. Модель предназначена для автоматической разметки и фильтрации потенциально токсичного текста. Она использует архитектуру DeBERTa-v2 для классификации последовательностей, содержит 155 млн параметров и принимает текст длиной до 512 токенов. В карточке указана поддержка английского, нидерландского, испанского, немецкого, польского, итальянского, французского и португальского языков. Модель распространяется под лицензией Apache-2.0.
CoAtNet RMLP 1 RW2 224 SW IN12k FT IN1k — модель классификации изображений из библиотеки timm, разработанная Россом Уайтманом. Она предварительно обучена на подмножестве ImageNet-22k с 11 821 классом, затем дообучена на ImageNet-1k. Модель сочетает сверточные блоки MBConv на ранних этапах с блоками self-attention на поздних; вариант использует MLP Log-CPB — смещение относительных позиций, мотивированное Swin Transformer V2. Модель предназначена для классификации изображений и может использоваться как backbone для извлечения карт признаков и эмбеддингов. Размер входного изображения — 224 × 224 пикселя, число параметров — 41,7 млн, вычислительная сложность — 8,1 GMAC. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ConvNeXT Base — сверточная модель компьютерного зрения, разработанная авторами статьи «A ConvNet for the 2020s» (Liu и соавторы). Она обучена на ImageNet-22k и дообучена для классификации изображений на ImageNet-1k при разрешении 224×224. Архитектура использует чистую сверточную сеть, дизайн которой основан на ResNet и модернизирован с учетом идей Swin Transformer. Модель предназначена для отнесения изображения к одному из классов ImageNet-1k и может служить основой для прикладных систем классификации изображений. Доступны веса в форматах PyTorch, SafeTensors и TensorFlow. Лицензия — Apache-2.0.
ConvNeXT Large — свёрточная модель компьютерного зрения, обученная на ImageNet-1k для классификации изображений с разрешением 384×384 пикселя. Архитектуру разработали Liu и соавторы; модель впервые опубликована в этом репозитории, а карточку подготовила команда Hugging Face. Модель использует чистую сверточную архитектуру ConvNet, дизайн которой модернизирован с оглядкой на Vision Transformers и Swin Transformer. Она присваивает входному изображению один из 1000 классов ImageNet-1k и подходит как готовый классификатор или отправная точка для дообучения под другие задачи компьютерного зрения. Доступны веса PyTorch, SafeTensors и TensorFlow. Модель распространяется по лицензии Apache-2.0. Карточка описывает применение для классификации изображений; другие задачи требуют подходящей дообученной версии.
Это модель компьютерного зрения на архитектуре ConvNeXt Large MLP, разработанная Ross Wightman. Веса визуального энкодера CLIP предварительно обучены OpenCLIP на наборе LAION-2B, затем модель дообучена для классификации изображений на ImageNet-12k. Она предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит около 216,8 млн параметров и рассчитана на входные изображения размером 384 × 384 пикселя. Её визуальные представления можно использовать как основу для переноса обучения и других задач компьютерного зрения. Карточка приводит сравнительные метрики классификации, но не раскрывает численные результаты именно этой модели. Лицензия — Apache-2.0.
ConvNeXt Nano OLS — модель классификации изображений из библиотеки timm, обученная Россом Уайтменом на ImageNet-1k. Она также подходит как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 15,6 млн параметров и требует около 2,7 GMACs на изображение. Размер изображения при обучении — 224 × 224 пикселя, при оценке — 288 × 288. В карточке приведены метрики классификации ImageNet-1k и примеры использования для классификации и извлечения признаков. Лицензия — Apache-2.0. Модель предназначена для распознавания объектов и категорий на изображениях; её качество и набор классов ориентированы на ImageNet-1k, поэтому для специализированных предметных областей может потребоваться адаптация.
ConvNeXt-V2 Tiny — сверточная модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная авторами timm. Модель с 28,6 млн параметров предварительно обучена методом FCMAE, затем дообучена на ImageNet-22k и ImageNet-1k. Для оценки в карточке указаны размер изображения 288 × 288 и вычислительная сложность 4,5 GMACs. Модель подходит для определения объектов и сцен на изображении, получения карт признаков и эмбеддингов, а также как визуальная основа для других систем. Карточка сообщает результаты классификации на ImageNet, но они не гарантируют такого же качества на других наборах данных. Для адаптации к новым классам или предметным областям может потребоваться дополнительное обучение. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
ConvNeXT-XLarge — сверточная модель компьютерного зрения, разработанная авторами работы «A ConvNet for the 2020s» и впервые опубликованная в этом репозитории. Она обучена на ImageNet-22k и принимает изображения размером 224×224 для классификации объектов по категориям ImageNet. Архитектура ConvNeXT представляет собой чистую сверточную сеть, дизайн которой основан на ResNet и обновлён с учётом идей Vision Transformer и Swin Transformer. Модель предназначена для классификации изображений; доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Модель подходит для распознавания объектов на фотографиях и как основа для прикладных версий, дообученных под другие задачи. В исходном виде она ограничена классификацией по категориям ImageNet и не предназначена для генерации описаний изображений или классификации по произвольным пользовательским меткам без адаптации.
CSP-ResNeXt-50 RA — сверточная модель классификации изображений из семейства timm, обученная на ImageNet-1k. Архитектура сочетает идеи CSPNet и ResNeXt; в карточке указано 20,6 млн параметров, 4,0 GMACs и рекомендованный размер входного изображения 256 × 256 пикселей. Модель также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Обучение выполнено с рецептом RandAugment, оптимизатором RMSProp с усреднением весов EMA и ступенчатым экспоненциальным спадом скорости обучения с прогревом. Подходит для классификации изображений и получения визуальных признаков в прикладных системах компьютерного зрения. Распространяется по лицензии Apache-2.0.
DeiT-III Base Patch16 384 — модель классификации изображений и визуальный backbone, разработанный авторами исследования DeiT III и обученный на ImageNet-1k. Она принимает изображения размером 384 × 384 пикселя и предсказывает класс объекта; также её можно использовать для извлечения визуальных признаков и эмбеддингов. Модель построена на архитектуре Vision Transformer с патчами 16 × 16 и содержит 86,9 млн параметров. Для инференса доступны веса PyTorch и Safetensors, а основная библиотека репозитория — timm. Модель подходит для классификации изображений общего назначения и как backbone в системах компьютерного зрения. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях; качество зависит от соответствия входных изображений данным ImageNet-1k и выбранной предобработки.
DeiT-III Large Patch16 384 fb_in1k — модель классификации изображений и визуальный backbone из семейства Vision Transformer, обученная авторами статьи на ImageNet-1k. Репозиторий публикуется проектом timm и содержит веса в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель принимает изображения размером 384 × 384 пикселя и предсказывает класс изображения. Её также можно использовать как визуальный backbone для получения эмбеддингов изображений. В модели около 304,8 млн параметров. Модель предназначена для классификации изображений и извлечения визуальных признаков. Она обучена на ImageNet-1k, поэтому её качество и применимость к данным других предметных областей могут отличаться; характеристики на таких данных в карточке не приведены.
ECA-ResNet-D Pruned — сверточная модель семейства ResNet с механизмом Efficient Channel Attention, опубликованная в библиотеке timm. Она предназначена для классификации изображений и может использоваться как основа для извлечения признаковых карт и эмбеддингов изображений. Модель содержит около 24,9 млн параметров и выполняет классификацию при размере тестового изображения 288 × 288 пикселей; обучение указано для размера 224 × 224. Модель подходит для распознавания категорий на фотографиях и получения визуальных признаков в прикладных системах компьютерного зрения. В карточке упомянуты работы о ResNet, ECA-Net и практических приёмах обучения CNN. Репозиторий использует PyTorch и формат safetensors. Лицензия — Apache-2.0.
eca_resnet33ts.ra2_in1k — сверточная модель классификации изображений из библиотеки timm, разработанная Россом Уайтманом и обученная на ImageNet-1k. Она основана на ResNet с эффективным канальным вниманием ECA и реализована через архитектуру BYOBNet. Модель содержит 19,7 млн параметров; в ней используются трёхуровневый stem без pooling и активации SiLU. Размер изображения при обучении — 256 × 256, при оценке — 288 × 288. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ECA-ResNet-50t — свёрточная модель классификации изображений, опубликованная в экосистеме timm. Она сочетает остаточную архитектуру ResNet с Efficient Channel Attention и предназначена для классификации изображений, а также может использоваться как основа для извлечения карт признаков и эмбеддингов. Модель обучена на ImageNet-1k по рецепту ResNet Strikes Back A3; содержит 25,6 млн параметров и требует около 2,2 GMACs. Размер изображения при тестировании — 224 × 224 пикселя. Модель принимает изображения и выдаёт классы ImageNet-1k; её свёрточные признаки также подходят для визуальных конвейеров. В карточке указаны ReLU, трёхслойный входной блок из свёрток 3 × 3 с пулингом и механизм Efficient Channel Attention. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
EfficientViT L3 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная авторами исследования EfficientViT и доступная в библиотеке timm. Она обучена на ImageNet-1k и рассчитана на изображения размером 384 × 384 пикселя. Модель содержит около 246 млн параметров и использует архитектуру EfficientViT с многомасштабным линейным вниманием. Модель подходит для классификации изображений по классам ImageNet, извлечения карт признаков и получения визуальных эмбеддингов, которые можно использовать в последующих задачах компьютерного зрения. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
FabricDiffusion - Texture Model — модель генерации текстур, опубликованная Yuanhao-Harry-Wang. Метаданные указывают на архитектуру StableDiffusionInstructPix2PixPipeline и библиотеку Diffusers; модель предназначена для генерации изображений по текстовым запросам. Её можно применять для создания текстур по описанию. README не содержит подробностей о данных обучения, поддерживаемых языках, размере модели, контексте или условиях лицензии.
HGNet-V2 B2 — сверточная модель для классификации изображений и извлечения визуальных признаков из библиотеки timm. Авторы обучали её на данных ImageNet-22k с дистилляцией SSLD, а затем дообучили на ImageNet-1k. Модель содержит 11,2 млн параметров и требует около 1,1 GMAC на изображение. Для обучения указано разрешение 224 × 224 пикселя, для тестирования — 288 × 288. Модель подходит для отнесения изображений к классам ImageNet, извлечения карт признаков и получения эмбеддингов изображений. Она принимает изображения и выдаёт оценки классов либо визуальные признаки. В репозитории доступны веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не описывает ограничения за пределами оценки на ImageNet, поэтому качество на других наборах данных не установлено.
HGNet-V2 B5 — сверточная модель классификации изображений из семейства High Performance GPU Net. Модель обучена авторами на данных ImageNet-22k с применением дистилляции SSLD, а затем дообучена на ImageNet-1k. Репозиторий предоставляет веса PyTorch и Safetensors и поддерживает библиотеку timm. Модель предназначена для классификации изображений и может использоваться как визуальный backbone: README также описывает извлечение карт признаков и получение эмбеддингов изображений. Для обучения указан размер изображения 224×224 пикселя, для оценки — 288×288. В карточке приведены характеристики версии B5: 39,6 млн параметров и 6,6 GMACs. Модель подходит для задач распознавания объектов и построения признаков в прикладных системах компьютерного зрения. Результаты и применимость за пределами ImageNet зависят от данных и способа использования; карточка не сообщает специальных ограничений качества. Лицензия — Apache-2.0.
Inception-v3 — модель классификации изображений и извлечения визуальных признаков из семейства Inception. Её обучили авторы оригинальной работы на ImageNet-1k; Ross Wightman перенёс веса из TensorFlow. Модель содержит около 23,8 млн параметров и рассчитана на изображения размером 299 × 299 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальную основу для прикладных систем компьютерного зрения. Репозиторий предоставляет веса PyTorch и safetensors; для работы используется библиотека timm. Лицензия — Apache-2.0.
Koyal Indic-4 Dual-Mode ASR 600M — мультиязычная модель распознавания речи от Adalat AI для подготовки транскриптов на хинди, каннада, малаялам и телугу. Модель содержит около 600 млн параметров и использует кэшируемый энкодер FastConformer с декодером RNN-T, обусловленным языковым промптом. Она дообучена на базе nvidia/nemotron-3.5-asr-streaming-0.6b с новой токенизацией SentencePiece на 6 000 токенов. Один чекпойнт поддерживает пакетную офлайн-транскрипцию и потоковое распознавание с несколькими настройками задержки. Модель выдаёт транскрипты в расширенной орфографии: с пунктуацией и форматированием числительных по письменным нормам. Она предназначена, в частности, для диктовки документов и судебных записей, когда важен готовый к использованию текст. Качество для отдельных языков в офлайн-режиме может быть ниже, чем у специализированных одноязычных моделей Koyal. Целевой язык нужно указать при запуске; распознавание переключения языков в одной фразе не обучалось. Оценка расширенной орфографии проводилась на FLEURS-RO, отражающем чтение подготовленной речи; характеристики на аудио с другими частотами дискретизации не охарактеризованы. Для работы требуется NVIDIA NeMo версии 3.0.0 или новее. Лицензия указана как other.
Latxa-Llama-3.1-70B-Instruct-v2 — языковая модель HiTZ Research Center и исследовательской группы IXA Университета Страны Басков UPV/EHU, дообученная на расширенном баскском корпусе Latxa Corpus v2 на основе Meta-Llama-3.1-70B-Instruct. Это плотная модель семейства Llama с 69,5 млрд параметров, предназначенная для следования инструкциям и диалогового общения. Она принимает и генерирует текст; заявленная длина контекста — 131 072 токена. Модель рассчитана прежде всего на работу с баскским языком: в карточке сообщается о результатах выше исходной Llama-3.1-Instruct на баскских тестах, включая диалоговые сценарии. Её можно применять для ответов на вопросы, чтения и объяснения баскских текстов, а также для подготовки к экзаменам и общения на баскском. Для других языков качество не гарантируется. Модель наследует ограничения и риски Llama 3.1, включая возможные смещения и генерацию вредного содержания; перед использованием в производственных системах рекомендуется оценка рисков и меры снижения вреда. Лицензия указана как Llama 3.1, допускающая коммерческое и исследовательское использование на условиях этой лицензии.
Это модель MambaOut для классификации изображений и извлечения признаков, представленная в библиотеке timm. Версия с настройками архитектуры timm обучена Россом Уайтманом: предварительно на ImageNet-12k, затем дообучена на ImageNet-1k по рецепту на основе Swin и ConvNeXt. Модель содержит около 101,7 млн параметров и рассчитана на изображения размером 224 × 224 при обучении и 288 × 288 при тестировании. Модель подходит для классификации изображений по категориям, извлечения карт признаков и получения эмбеддингов изображений. В карточке приведены результаты ImageNet-1k: точность top-1 составляет 86,912% при размере изображения 288 пикселей и 86,632% при 224 пикселях. Для использования доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.
MambaVision-B-21K — модель классификации изображений из семейства MambaVision, разработанная NVIDIA. Это гибридный визуальный backbone с иерархической архитектурой: он сочетает Mamba с блоками self-attention на последних слоях, чтобы эффективно извлекать визуальные признаки и учитывать пространственные зависимости на большом расстоянии. Модель предварительно обучена на ImageNet-21K и дообучена на ImageNet-1K. Модель предназначена для классификации изображений и может использоваться как экстрактор признаков: доступны признаки четырёх стадий и финальное усреднённое представление. Репозиторий содержит веса в формате safetensors; для работы README рекомендует библиотеку mambavision. Метаданные указывают лицензию «other», но её конкретные условия здесь не раскрыты.
Mask2Former — модель компьютерного зрения, разработанная командой авторов архитектуры Mask2Former и опубликованная Hugging Face. Этот чекпойнт обучен на COCO для сегментации отдельных объектов на изображениях; он предсказывает маски объектов и соответствующие им классы. Архитектура объединяет многошкальный декодер признаков на основе deformable attention и Transformer-декодер с masked attention. Модель предназначена для выделения объектов и их классификации по пикселям на изображениях. Общая парадигма Mask2Former также применяется к семантической и паноптической сегментации, однако данный чекпойнт рассчитан на сегментацию экземпляров. Это версия base с backbone Swin. Данные не уточняют число параметров или поддерживаемые естественные языки; вход — изображение, выход — маски и метки классов. Лицензия указана как other, поэтому условия её использования следует проверить в репозитории модели.
MaxViT Base TF 224 — модель классификации изображений из семейства MaxViT, разработанная авторами оригинальной работы и перенесённая из TensorFlow в PyTorch Россом Уайтманом для библиотеки timm. Модель обучена на ImageNet-21k и предназначена для классификации изображений и использования в качестве визуального backbone для извлечения признаков и эмбеддингов. Архитектура MaxViT сочетает блоки свёрток MBConv с двумя видами self-attention: оконным и сеточным. Веса рассчитаны на изображения размером 224 × 224; модель содержит около 135,5 млн параметров и требует 24,1 GMAC на проход. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Модель подходит для распознавания объектов и категорий на изображениях, а также для построения признаков в последующих задачах компьютерного зрения. Лицензия — Apache-2.0.
Это модель классификации изображений семейства MobileNetV3, опубликованная проектом timm и обученная на ImageNet-1k. Она предназначена для определения объектов на изображениях, а также может использоваться как компактная основа для извлечения карт признаков и визуальных эмбеддингов. Модель содержит около 5,5 млн параметров, требует примерно 0,2 GMAC на изображение и рассчитана на входной размер 224 × 224 пикселя. Вариант обучен с оптимизатором RMSProp, усреднением весов EMA и аугментациями, включая RandomErasing и mixup. Репозиторий предоставляет веса PyTorch в формате safetensors; лицензия — Apache-2.0. Модель подходит для классификации изображений в сценариях, где важны компактность и вычислительная экономичность. Карточка указывает обучение на ImageNet-1k, поэтому качество на других типах изображений и предметных областях может отличаться; отдельные показатели точности в предоставленных данных не приведены.
Sindhu/muril-large-squad2 — модель на базе BERT, дообученная на Google MuRIL Large для задачи question answering по датасету SQuAD 2.0. Она предназначена для извлечения ответа из предоставленного текста по заданному вопросу, в том числе для обработки вопросов без ответа в контексте. Модель содержит 604,7 млн параметров, работает с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors через Transformers. Модель рассчитана на английский и индийские языки, на которых обучалась MuRIL; README предупреждает, что на других языках качество не ожидается хорошим. Это не универсальная диалоговая модель: для ответа ей нужен текстовый контекст. Лицензия в предоставленных данных не указана.
MViTv2 Small — модель компьютерного зрения семейства multi-scale Vision Transformer, опубликованная авторами работы MViTv2 и доступная в формате библиотеки timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений; также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Модель содержит около 34,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для распознавания объектов и категорий на изображениях, а также для построения визуальных признаков в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.