IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейResNet50.tv2_in1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k с рецептами обучения torchvision v2. Архитектура ResNet-B использует активации ReLU, начальную свёртку 7×7 с пулингом и проекции 1×1 в shortcut-соединениях. Модель содержит около 25,6 млн параметров и требует 2,6 GMACs; для обучения использовался размер изображения 176×176, для оценки — 224×224. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может использоваться как backbone для извлечения карт признаков и визуальных эмбеддингов. Доступны веса в форматах PyTorch и safetensors. Лицензия — BSD 3-Clause.
SegGPT — модель сегментации изображений, представленная авторами Xinlong Wang, Xiaosong Zhang, Yue Cao, Wen Wang, Chunhua Shen и Tiejun Huang в работе «Segmenting Everything In Context». Она использует decoder-only Transformer GPT-типа и содержит около 402,7 млн параметров. Модель предназначена для сегментации по одному примеру: на вход подаются изображение для обработки, изображение-пример и соответствующая ему маска, а на выходе получается маска сегментации. Такой режим подходит для переноса заданной разметки на новые изображения без обучения под каждый новый класс. В карточке приведены результаты 56,1 mIoU на COCO-20 и 85,6 mIoU на FSS-1000. Модель распространяется в формате safetensors по лицензии Apache-2.0.
SENet-154 — свёрточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецептам Bag of Tricks с использованием Apache Gluon. В ней применены блоки Squeeze-and-Excitation для внимания к каналам, трёхслойный stem из свёрток 3×3 с пулингом и групповые свёртки в bottleneck-блоках. Модель содержит около 115,1 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k; её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Большое число параметров и вычислительная стоимость около 20,8 GMACs могут быть ограничением при работе на устройствах с небольшими ресурсами. Распространяется по лицензии Apache-2.0.
seresnext101_32x4d.gluon_in1k — свёрточная модель классификации изображений из библиотеки timm. Она основана на архитектуре SE-ResNeXt-101 с блоками ResNeXt и механизмом Squeeze-and-Excitation для внимания к каналам. Модель содержит 49 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность около 8 GMACs. Модель обучена на ImageNet-1k с использованием рецептов Bag-of-Tricks и исходно реализована в Apache Gluon. Её можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса PyTorch в формате Safetensors; лицензия — Apache 2.0.
StarNet S3 in1k — модель классификации изображений и извлечения признаков из семейства StarNet, опубликованная авторами исследования и обученная на ImageNet-1k. Она содержит около 5,8 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность около 0,8 GMACs. Модель можно использовать для присвоения изображению класса, извлечения карт признаков и получения эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения, в частности для классификации изображений по классам ImageNet-1k и использования в качестве визуального бэкбона. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы предусмотрена библиотека timm. Лицензия — Apache-2.0.
Swin Tiny Patch4 Window7 224 — модель классификации изображений и визуальный backbone из семейства Swin Transformer, опубликованный авторами статьи и доступный через timm. Модель предварительно обучена на ImageNet-1k и предназначена для присвоения изображениям меток классов, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит 28,3 млн параметров, обрабатывает изображения размером 224 × 224 и требует около 4,5 GMACs на проход. Иерархическая архитектура Swin Transformer использует сдвинутые окна внимания. Веса опубликованы в форматах PyTorch и safetensors; лицензия — MIT. Модель рассчитана на задачи компьютерного зрения общего назначения. Карточка не описывает отдельные ограничения качества; классификация ImageNet-1k не гарантирует точность на изображениях из других областей или распределений.
SwinV2 Base window 8 256 — модель классификации изображений семейства Swin Transformer V2, опубликованная авторами соответствующей научной работы и доступная в библиотеке timm. Модель предварительно обучена на ImageNet-1k и содержит около 87,9 млн параметров; она рассчитана на изображения размером 256 × 256 пикселей. Модель присваивает изображению класс из набора ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Подходит для классификации фотографий и как компонент более крупных систем компьютерного зрения. Вычислительная сложность указана как 20,4 GMACs. Веса доступны в форматах PyTorch и safetensors. Лицензия — MIT.
Tashkeel-700M — модель для расстановки диакритических знаков в арабском тексте, разработанная Etherll. Это дообученная версия LiquidAI/LFM2-700M на наборе данных arbml/tashkeela. Модель использует плотную архитектуру LFM2 и содержит около 956,3 млн параметров; максимальная длина контекста — 128 000 токенов. Модель принимает арабский текст и возвращает его с огласовками, например преобразует «السلام عليكم» в «السَّلَامُ عَلَيْكُمْ». Она предназначена для автоматической огласовки арабских текстов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.
TheDrummer-Rocinante-12B-v1.1-GGUF — набор GGUF-квантизаций модели TheDrummer/Rocinante-12B-v1.1, подготовленный командой featherless-ai-quants. Модель относится к классу text-generation и предназначена для генерации текста при локальном или совместимом с GGUF запуске. В README не указаны конкретные сценарии применения, поддерживаемые языки, архитектура исходной модели, длина контекста или сведения о модальностях, поэтому эти характеристики нельзя определить по представленным данным. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размеры составляют примерно от 4,57 до 12,42 ГБ. Разные варианты позволяют выбирать компромисс между размером файла и сохранением качества модели, однако результаты такого выбора в README не описаны. Ограничением является отсутствие подробной информации о качестве, бенчмарках, требованиях к оборудованию и рекомендованных параметрах запуска. Лицензия модели в README не указана, поэтому условия коммерческого и иного использования требуют уточнения в карточке исходной модели TheDrummer/Rocinante-12B-v1.1.
VGG11 — свёрточная модель классификации изображений из семейства VGG, опубликованная в репозитории timm. Веса модели взяты из оригинальной реализации torchvision и обучены на ImageNet-1k. Модель содержит около 132,9 млн параметров, требует изображения размером 224 × 224 пикселя и выполняет классификацию по категориям ImageNet-1k. Модель также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Она подходит для распознавания объектов общего назначения и построения визуальных признаков в компьютерном зрении. В репозитории доступны веса PyTorch и safetensors; лицензия — BSD 3-Clause.
Это модель ROPE-ViT для классификации изображений, разработанная авторами исследования «Rotary Position Embedding for Vision Transformer» и обученная на ImageNet-1k. Она также может использоваться как основа для извлечения признаковых карт и получения эмбеддингов изображений. Модель построена на архитектуре Vision Transformer с rotary position embedding. Она содержит 86,4 млн параметров и рассчитана на изображения 224 × 224 пикселя. Авторы сообщают о способности сохранять качество при обработке изображений с разрешением выше обучающего, в частности 320 × 320. Модель предназначена для задач компьютерного зрения общего назначения, включая классификацию и извлечение признаков. Репозиторий распространяется по лицензии Apache-2.0.
vit_betwixt_patch16_rope_reg4_gap_256.sbb_in1k — модель классификации изображений на основе Vision Transformer из библиотеки timm, обученная авторами timm на ImageNet-1k. Вариант архитектуры сочетает патчи 16×16, rotary position embeddings (RoPE), четыре регистрационных токена и глобальное усреднение признаков. Модель содержит около 60,2 млн параметров и рассчитана на изображения размером 256×256; также её можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель предназначена для классификации изображений и получения визуальных признаков в системах компьютерного зрения. В README приведены метрики для близкого варианта с суффиксом in12k_ft_in1k, поэтому они не подтверждают качество именно этого чекпойнта. Лицензия — MIT.
Это модель проекта Wespeaker для распознавания и сравнения голосов. Она использует архитектуру ResNet34 и формирует r-vector — векторное представление голоса; после обучения на VoxCeleb2 Dev с 5994 говорящими модель дополнительно дообучена с large-margin целью. В таблице результатов указаны 6,63 млн параметров и 4,55 млрд операций для варианта ResNet34-TSTP-emb256. Модель предназначена для получения эмбеддингов речи, сравнения голосовых записей и задач идентификации или верификации говорящего. В репозитории есть формат ONNX. Лицензия — CC BY 4.0. Метаданные Hugging Face помечают модель как summarization, однако README описывает голосовые эмбеддинги, поэтому этот тег не подтверждается карточкой модели.
timm/wide_resnet101_2.tv_in1k — модель классификации изображений семейства Wide ResNet, опубликованная в библиотеке timm. Она использует активации ReLU, начальную свёртку 7×7 с пулингом и свёрточные shortcut-связи 1×1. Модель обучена на ImageNet-1k и основана на оригинальных весах torchvision. Модель предназначена для классификации изображений и может использоваться как базовая сеть для извлечения карт признаков и эмбеддингов изображений. В карточке указаны 126,9 млн параметров и стандартный размер входного изображения 224×224 пикселя. Для запуска доступны веса PyTorch и safetensors. Лицензия — BSD-3-Clause. Карточка не описывает поддержку текстовых или иных модальностей; качество классификации за пределами ImageNet-1k и ограничения на таких данных отдельно не охарактеризованы.
XCiT Medium 24 P8 384 — модель классификации изображений на основе архитектуры Cross-Covariance Image Transformer, опубликованная авторами работы XCiT и доступная через timm. Она предварительно обучена на ImageNet-1k с дистилляцией. Модель содержит 84,3 млн параметров и рассчитана на изображения размером 384 × 384 пикселя; её также можно использовать как визуальный backbone для получения эмбеддингов изображений. Модель подходит для классификации изображений и извлечения признаков в компьютерном зрении. Доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.
YanoljaNEXT-Rosetta-27B-2511-GGUF — GGUF-версия 27-миллиардной декодерной языковой модели, разработанной Yanolja NEXT на базе google/gemma-3-27b-pt. Для текстовой генерации из исходной архитектуры используется компонент Gemma3ForCausalLM; расширенный токенизатор, применявшийся в некоторых предыдущих моделях EEVE, отсутствует. Модель предназначена прежде всего для многоязычного перевода структурированных данных в форматах JSON, YAML и XML с сохранением исходной структуры и ключей. Она подходит для локализации каталогов товаров, перевода отзывов об отелях и обработки других структурированных текстов, а также может выполнять обычный перевод в виде простого текста. Обучение проводилось на синтетических многоязычных данных, созданных на основе FineWeb Edu и FineWeb2. Поддерживаются арабский, болгарский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, греческий, гуджарати, иврит, хинди, венгерский, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, словацкий, испанский, шведский, тагальский, тайский, турецкий, украинский и вьетнамский языки. Поставляется в различных квантованных вариантах GGUF для запуска через llama.cpp и совместимые графические интерфейсы. Варианты с активационной матрицей IMX могут обеспечивать более высокое качество при сопоставимом размере. Сильными сторонами являются специализация на сохранении структуры при переводе и конкурентное качество: для перевода с английского на корейский модель получила CHrF++ 37,21 на WMT24++. Ограничения включают ориентацию главным образом на структурированные данные; размер контекста в README не указан, а качество для других языковых пар и нестандартных сценариев может отличаться. Лицензия указана как gemma.
AX-3.1-Light-sft_v3_1_C_recommended — это экспериментальная корейскоязычная чат-модель на 6,8 млрд параметров, созданная дообучением skt/A.X-3.1-Light. Разработчик объединил LoRA-адаптер с базовыми весами; модель использует архитектуру Llama, формат BF16 safetensors и официальный шаблон диалога токенизатора A.X. Контекстное окно — 32 768 токенов. Модель предназначена для исследований и контролируемой оценки на корейском языке. Дообучение охватывает инструкции по гражданскому, уголовному и административному праву, бухгалтерским стандартам, базовым медицинским знаниям, анализу новостных статей и оценке технологий. Модель поддерживает генерацию текста в диалоговом формате и рассчитана на прямую загрузку в vLLM без отдельного адаптера или пользовательского кода модели. Модель может допускать фактические ошибки и не предназначена для замены профессиональной юридической, бухгалтерской, медицинской или финансовой консультации. Лицензия — Apache-2.0; исходные данные AI Hub сохраняют собственные условия доступа.
Модель разработана Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal и Animesh Mukherjee для классификации англоязычных текстов как оскорбительных (язык ненависти или offensive) либо обычных. Это дообученная uncased-версия BERT base с 136,7 млн параметров; при обучении использовались публикации из Gab и Twitter, а также человеческие обоснования разметки HateXplain. Помимо классификации, модель включает голову предсказания обоснований для оскорбительных предложений. Модель рассчитана на анализ текста, например для первичной модерации сообщений и изучения признаков оскорбительной речи. Максимальная длина контекста — 512 токенов. README указывает английский язык и лицензию Apache-2.0. Предсказания могут отражать вредные стереотипы и быть несправедливыми по отношению к отдельным группам. Модель не учитывает внешний контекст автора или публикации, не предназначена для многоязычной классификации и не должна использоваться для создания враждебной среды; результаты требуют осторожной интерпретации.
Модель ruanchaves/bert-large-portuguese-cased-hatebr — версия BERTimbau large, дообученная автором на наборе HateBR для классификации португалоязычных текстов на оскорбительные и неоскорбительные. Она предназначена для автоматической модерации пользовательских сообщений и анализа оскорбительной речи. Модель использует архитектуру BERT для классификации последовательностей, содержит 433,2 млн параметров и принимает текст длиной до 512 токенов. Модель рассчитана на португальский язык. В README указано, что набор данных HateBR предназначен строго для академических и исследовательских целей; коммерческое и иное неакадемическое использование запрещено без предварительного письменного согласия SINCH. Это ограничение относится к набору данных и требует проверки условий лицензии самой модели отдельно.
ConvMixer 768/32 — модель классификации изображений семейства ConvMixer, обученная авторами статьи на ImageNet-1k. Она предназначена для присвоения изображению метки из набора классов ImageNet, а также может использоваться как визуальный backbone для извлечения признаков и получения эмбеддингов изображений. Модель содержит около 21,1 млн параметров, обрабатывает изображения размером 224 × 224 и имеет вычислительную стоимость 19,5 GMACs. Репозиторий предоставляет веса PyTorch и Safetensors; модель доступна через библиотеку timm. Лицензия — MIT.
ConvNeXT-Large — сверточная модель компьютерного зрения, опубликованная командой ConvNeXT и представленная в работе «A ConvNet for the 2020s» Лю и соавторов. Модель предварительно обучена на ImageNet-22k, а затем дообучена на ImageNet-1k для классификации изображений при разрешении 224×224 пикселя. Архитектура — чистая ConvNet, дизайн которой модернизирован с опорой на идеи Vision Transformers и Swin Transformer. Модель принимает изображение и предсказывает один из 1000 классов ImageNet-1k; её можно использовать как готовый классификатор или отправную точку для адаптации к другим задачам компьютерного зрения. Доступны веса в форматах PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование, изменение и распространение модели с соблюдением её условий. Классификатор ограничен набором из 1000 классов ImageNet-1k и входным разрешением 224×224; для иных категорий или задач потребуется подходящая донастройка.
ConvNeXt Small — сверточная модель классификации изображений из библиотеки timm, подготовленная Россом Уайтменом. Модель предварительно обучена на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом, а затем дообучена на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0. Модель содержит около 50,2 млн параметров и рассчитана на классификацию изображений. В README указаны размеры изображений 224×224 для обучения и 288×288 для тестирования. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения, включая классификацию объектов на изображениях и получение признаковых представлений для последующей обработки. Она обучена на ImageNet, поэтому её классы и качество могут не соответствовать специализированным предметным областям или данным, заметно отличающимся от обучающих.
ConvNeXt-Tiny — сверточная модель классификации изображений из библиотеки timm, созданная авторами работы «A ConvNet for the 2020s» и предварительно обученная на ImageNet-22k. Модель содержит около 44,6 млн параметров; указанный размер изображения — 224 × 224 пикселя. Её можно использовать для классификации, извлечения карт признаков и получения векторных представлений изображений. Модель предназначена для распознавания объектов на изображениях и построения визуальных признаков в системах компьютерного зрения. Карточка приводит вычислительные характеристики: 4,5 GMACs и 13,5 млн активаций. Репозиторий предоставляет веса в форматах PyTorch и safetensors; лицензия — Apache-2.0.
ConvNeXt-V2 Large FCMAE — сверточная модель компьютерного зрения из семейства ConvNeXt-V2, опубликованная в репозитории timm. Она предварительно обучена на ImageNet-1k методом самоконтролируемого обучения FCMAE — полносверточного masked autoencoder. Модель содержит 196,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель служит визуальным энкодером для извлечения признаков и эмбеддингов изображений, а также основой для дообучения под задачи классификации. У неё нет предварительно обученной классификационной головы, поэтому для готовой классификации требуется отдельная голова и дообучение. Репозиторий предоставляет веса PyTorch и SafeTensors; лицензия — CC BY-NC 4.0, допускающая использование с соблюдением её условий и ограничений на коммерческое применение.
facebook/convnextv2-nano-1k-224 — сверточная модель семейства ConvNeXt V2, разработанная командой ConvNeXt и опубликованная в репозитории Facebook. Модель предварительно обучена с помощью FCMAE, затем дообучена на ImageNet-1K для классификации изображений с разрешением 224×224. Архитектура включает полностью сверточный masked autoencoder и слой Global Response Normalization (GRN). Модель предназначена для отнесения изображения к одному из 1000 классов ImageNet-1K и может служить отправной точкой для классификации изображений в компьютерном зрении. Доступны реализации весов для PyTorch и TensorFlow, включая safetensors. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит подробностей об ограничениях помимо специализации на классификации по ImageNet-1K.
CPUBone B1 bfrobust — модель компьютерного зрения для классификации изображений и извлечения признаков, разработанная авторами работы CPUBone и опубликованная в формате state-dict для timm. Архитектура сочетает варианты MBConv с групповыми свёртками, уменьшенные свёрточные ядра и механизм внимания LowFormer в двух последних стадиях. Модель содержит около 12,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения эмбеддингов и многошкальных карт признаков. Авторы ориентировали CPUBone на эффективный CPU-инференс, сочетая небольшое число операций с аппаратно-эффективным исполнением; в README приведена точность ImageNet-1k Top-1 78,928% и Top-5 94,188% при разрешении 224 пикселя. Предобработка использует bicubic resize, центрированное кадрирование с crop_pct=0.95 и среднее со стандартным отклонением ImageNet. Зависимость задержки на CPU от оборудования, среды инференса, способа экспорта и размера пакета означает, что приведённые результаты нельзя напрямую считать показателем скорости на любом устройстве. Модель распространяется по лицензии Apache 2.0.
CrossViT Base 240 — модель классификации изображений и извлечения визуальных признаков, обученная авторами статьи CrossViT на ImageNet-1k. Она использует многомасштабную архитектуру Vision Transformer с перекрёстным вниманием между масштабами. Модель содержит около 105 млн параметров, рассчитана на изображения размером 240 × 240 пикселей и требует примерно 21,2 GMACs на проход. Модель подходит для классификации изображений по категориям ImageNet-1k, а также для получения визуальных эмбеддингов как основы для последующих задач компьютерного зрения. Она принимает изображение и выдаёт классовые оценки либо признаки изображения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
Data2vec-Vision large — модель компьютерного зрения семейства data2vec, выпущенная командой Facebook. Это Transformer, предварительно обученный методом самообучения на ImageNet-1k; модель училась предсказывать контекстные латентные представления по маскированному изображению. В репозитории доступны веса PyTorch, Safetensors и TensorFlow; размер модели — 411 млн параметров. Модель предназначена для классификации изображений и может служить исходной точкой для дообучения под задачи компьютерного зрения. При предобучении использовались изображения ImageNet-1k размером 224×224 пикселя с нормализацией RGB-каналов. В README не приведены результаты конкретных метрик; для дообучения авторы отмечают преимущество более высокого разрешения. Лицензия — Apache-2.0.
DatedGPT-2020-Instruct — англоязычная инструктивная чат-модель семейства DatedGPT, разработчик — datedgpt. Она обучена на данных, доступных до 2020 года, и предназначена для генерации ответов на инструкции и диалоговых сценариев, где важно исключить утечку сведений из будущего при прогнозировании и анализе на момент времени. Модель использует плотную архитектуру LlamaForCausalLM, содержит около 1,3 млрд параметров и принимает контекст длиной до 2048 токенов. Ограниченная временная отсечка делает её применимой для экспериментов с прогнозированием и анализа, имитирующего доступные в 2020 году знания. Модель не проходила RLHF и настройку безопасности, поэтому ответы могут быть уверенными, но ошибочными. Лицензия в предоставленных данных не указана.
DaViT Tiny — модель компьютерного зрения для классификации изображений и извлечения признаков. Её разработали авторы статьи DaViT и обучили на ImageNet-1k; модель доступна в библиотеке timm. Архитектура DaViT сочетает механизмы внимания для обработки визуальных признаков. Версия Tiny содержит около 28,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. В опубликованной оценке на ImageNet-1k она показывает точность Top-1 82,676% и Top-5 96,276%. Распространяется по лицензии Apache-2.0.