IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейЭто модель для получения визуальных признаков стиля плотно обрезанного текста на изображениях. Она построена на дообученном backbone DINOv2 ViT-B/14 и выдаёт нормализованные эмбеддинги общей типографики и внешнего вида, а также отдельные эмбеддинги шрифта и оформления — заливки, обводки, тени и прозрачности. Дополнительно доступны локальные исследовательские токены, не проверенные для управления генерацией. Модель предназначена для поиска похожего оформления текста внутри одного языка и между китайским и английским языками. В контролируемом синтетическом тесте на ранее не встречавшихся шрифтах точность font R@1 составила от 61,08% до 87,88% в зависимости от направления и языка поиска; эти результаты не характеризуют точность на реальных фотографиях. Это публичный inference-артефакт в формате safetensors, распространяемый по лицензии Apache-2.0. Обычное OCR, другие письменности и использование токенов для генерации не заявлены как проверенные сценарии.
MambaVision-T2-1K — модель компьютерного зрения от NVIDIA из семейства MambaVision, сочетающего архитектуры Mamba и Transformer. Иерархическая сеть использует блоки self-attention на последних этапах для моделирования дальних пространственных зависимостей; вариант 1K предназначен для классификации изображений на 1000 классов ImageNet-1K. Модель подходит для классификации изображений и извлечения визуальных признаков: она выдаёт метки классов или признаки четырёх этапов сети и усреднённые признаки последнего слоя. В README заявлены высокая точность Top-1 и пропускная способность, однако приведённые материалы не содержат численных результатов для этого варианта. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверить с карточкой модели.
maxvit_rmlp_tiny_rw_256.sw_in1k — модель классификации изображений семейства MaxViT, разработанная Ross Wightman и обученная в timm на ImageNet-1k. Она предназначена для распознавания объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Архитектура MaxViT сочетает свёрточные блоки MBConv с механизмами внимания по окнам и сетке; вариант использует MLP Log-CPB для относительных позиционных смещений. Модель содержит около 29,1 млн параметров и рассчитана на входные изображения размером 256 × 256 пикселей. Веса доступны в форматах PyTorch и safetensors. Модель обучена на ImageNet-1k, поэтому её классы и качество распознавания ориентированы на этот набор данных. Для специализированных предметных областей может потребоваться дообучение. Лицензия — Apache-2.0.
MobileNetV4 Conv Medium — модель классификации изображений семейства MobileNetV4, обученная Россом Уайтманом на ImageNet-12k. Она предназначена для распознавания объектов на изображениях и может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит 23,6 млн параметров, имеет вычислительную сложность 2,5 GMACs и рассчитана на входные изображения размером 384 × 384 пикселя. Репозиторий предоставляет веса PyTorch и safetensors и использует библиотеку timm. Лицензия — Apache-2.0. Модель ориентирована на визуальные задачи общего назначения. README не приводит отдельные показатели качества для этой версии; ограничения также связаны с обучением на ImageNet-12k и тем, что модель предназначена для изображений фиксированного размера, а не для понимания текста или других модальностей.
Qwen3.8-27B Uncensored ROCmFP4-STRIX-MTP-GGUF — это исследовательская квантованная версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель поставляется в формате GGUF и оптимизирована для запуска через llama.cpp на графике AMD Strix Halo (gfx1151) с ROCm. Вариант Uncensored создан методом abliteration, уменьшающим отказы от ответов на вредоносные запросы; этот метод не добавляет модели новых возможностей. Модель предназначена для генерации текста и кода, локального инференса и экспериментов со speculative decoding через отдельную MTP-модель-черновик. Доступны варианты ROCmFP4 FAST и STRIX_LEAN, а также Q6-квантизации; размер STRIX_LEAN составляет около 13,59 GiB, FAST — около 13,33 GiB. Для заявленной производительности рекомендуется AMD Ryzen AI Max+ 395 с Radeon 8060S, ROCm 7.2.4, контекстом 8192 и MTP с параметром n=4; в этих условиях приведены скорости до 24,73 токена/с для прозы и около 42,70 токена/с для кода. Для работы требуется совместимая сборка llama.cpp или ROCmFPX и отдельный draft-файл Q4_0. Преимущества модели — локальный запуск, поддержка AMD ROCmFP4 и сниженное число отказов, а ограничения — экспериментальный статус, зависимость производительности от оборудования и настроек, отсутствие гарантий сохранения выравнивания и потенциальные проблемы совместимости отдельных сборок. Лицензия — Apache-2.0.
RegNetX-400MF — сверточная модель классификации изображений из библиотеки timm, опубликованная под идентификатором timm/regnetx_004_tv.tv2_in1k. Весовые коэффициенты предварительно обучены на ImageNet-1k участниками проекта torchvision; модель также подходит как основа для извлечения признаков и карт признаков. Версия timm включает стохастическую глубину, градиентный чекпойнтинг, послойное уменьшение скорости обучения и настраиваемые параметры выходного шага, активаций и нормализации. Модель содержит около 5,5 млн параметров, требует примерно 0,4 GMACs и рассчитана на изображения размером 224 × 224. Она принимает изображение и выдаёт его класс; также её можно использовать для получения признаковых представлений. Языковые возможности не являются основным назначением модели. Лицензия репозитория — BSD-3-Clause. Качество может зависеть от предметной области и отличий изображений от ImageNet-1k; карточка не приводит отдельной оценки качества для других наборов данных.
ResNet-152 v1.5 — сверточная нейросеть Microsoft для классификации изображений, предобученная на ImageNet-1k. Модель использует остаточные связи и блоки bottleneck; вариант v1.5 переносит операцию уменьшения разрешения на свёртку 3×3 в блоках с понижением разрешения. В README указано входное разрешение 224×224. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и TensorFlow. Модель предназначена для отнесения изображения к одному из 1000 классов ImageNet и может служить базой для дообученных вариантов под другие задачи компьютерного зрения. Она принимает изображения и выдаёт метки классов. Распространяется по лицензии Apache-2.0. README отмечает, что v1.5 может быть немного точнее оригинального варианта, но иметь небольшое снижение скорости обработки.
ResNet152D.ra2_in1k — сверточная модель классификации изображений из библиотеки timm. Она обучена на ImageNet-1k с рецептом RandAugment RA2, оптимизатором RMSProp и усреднением весов EMA. Архитектура ResNet-D использует активации ReLU, трехслойный ствол из сверток 3×3 с пулингом и shortcut-соединения с усредняющим пулингом 2×2 и сверткой 1×1. Модель содержит около 60,2 млн параметров и выполняет классификацию изображений; также она может служить основой для извлечения карт признаков и эмбеддингов изображений. При обучении использовался размер изображения 256×256, для оценки — 320×320. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия Apache-2.0 допускает использование и модификацию на её условиях.
Карточка модели DollasAndSpence/resnet-50 на Hugging Face совпадает с карточкой microsoft/resnet-50, поэтому описание составлено по ней. microsoft/resnet-50 — сверточная ResNet-50 v1.5, представленная в статье Deep Residual Learning for Image Recognition Хэ и соавторов. Модель предварительно обучена на ImageNet-1k и классифицирует изображения по 1000 классам. Расчётный размер входного изображения при обучении — 224×224 пикселя. Остаточные связи и блоки с узким местом позволяют обучать глубокую сеть. Вариант v1.5 переносит шаг уменьшения разрешения на свёртку 3×3; по данным карточки, это даёт примерно на 0,5% более высокую точность top-1, чем v1, при снижении пропускной способности примерно на 5%. Модель подходит для классификации изображений общего назначения и может служить отправной точкой для дообученных версий под конкретные задачи. Распространяется по лицензии Apache-2.0.
ResNet50.fb_swsl_ig1b_ft_in1k — модель классификации изображений семейства ResNet, опубликованная авторами timm. Она содержит 25,6 млн параметров и также может использоваться как основа для извлечения признаковых карт и эмбеддингов изображений. Архитектура включает ReLU, свёртку 7×7 с pooling и shortcut-соединения с понижающей свёрткой 1×1; стандартный размер изображения — 224×224 пикселя. Модель предварительно обучена на хештегах Instagram-1B методом semi-weakly supervised learning, затем дообучена авторами исходной работы на ImageNet-1k. Она предназначена для отнесения изображений к классам ImageNet, а также для получения визуальных признаков в задачах компьютерного зрения. Репозиторий поддерживает PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
ResNeXt-101 32x4d — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная в библиотеке timm. Авторы предварительно обучили её на подмножестве YFCC100M методом полуобучения, а затем дообучили на ImageNet-1k. Архитектура использует активации ReLU, начальную свёртку 7×7 с пулингом, групповые свёртки 3×3 в bottleneck-блоках и shortcut-соединения с проекцией 1×1. Модель содержит 44,2 млн параметров, требует 8,0 GMACs и рассчитана на изображения размером 224×224. Помимо предсказания классов, её можно применять как основу для получения карт признаков и эмбеддингов изображений. Модель подходит для стандартных задач классификации изображений и построения визуальных признаков. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; при использовании необходимо соблюдать её условия.
RT-DETR-R101 — модель обнаружения объектов на изображениях из семейства RT-DETR, разработанная Янь Чжао и Санбум Чхве и опубликованная на Hugging Face пользователем Санбум Чхве. Это сквозной детектор на основе Transformer с гибридным энкодером, который обрабатывает признаки разных масштабов, и декодером, предсказывающим классы объектов и ограничивающие рамки. Архитектура RT-DETR рассчитана на обнаружение объектов в реальном времени без постобработки NMS; число слоёв декодера можно менять для настройки скорости без переобучения. Данная версия использует backbone R101 и связана с предварительным обучением на Objects365; модельная карточка описывает обучение RT-DETR на COCO 2017. Она подходит для распознавания и локализации объектов на изображениях, в том числе в сценариях реального времени. В статье для RT-DETR-R101 с предварительным обучением на Objects365 сообщается результат 56,2 AP на COCO и 74 FPS на GPU T4; это результаты статьи, а не гарантия скорости в конкретной среде. Для обработки изображений в карточке указан размер 640×640 с нормализацией каналов RGB. Модель распространяется по лицензии Apache-2.0.
Skywork-R1V-38B — мультимодальная модель Skywork для диалогового анализа изображений с пошаговым визуальным рассуждением. Она сочетает визуальный энкодер InternViT-6B-448px-V2_5 с языковой моделью DeepSeek-R1-Distill-Qwen-32B; репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель принимает изображения и текстовые запросы, а отвечает текстом. Карточка заявляет поддержку многошагового решения задач по изображениям, включая визуальную математику, научные и медицинские изображения, а также контекстное понимание текста и изображения. Метаданные отмечают диалоговый режим и интерфейс вызова инструментов. Лицензия репозитория — MIT. Карточка не приводит результаты оценивания в доступном тексте и не уточняет ограничения или поддерживаемые естественные языки, поэтому качество на конкретных типах изображений и языках по этим данным оценить нельзя.
Это модель классификации изображений семейства Swin Transformer, опубликованная авторами статьи и предобученная на ImageNet-1k. Она предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура Swin Transformer обрабатывает изображение иерархически с помощью окон внимания со сдвигом. Модель содержит 87,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность составляет 15,5 GMACs. Репозиторий содержит веса PyTorch и Safetensors и рассчитан на использование через библиотеку timm. Модель обучена на ImageNet-1k, поэтому хорошо подходит для классификации изображений в пределах близкого набора категорий и для переноса признаков в компьютерном зрении. Она не является универсальным распознавателем объектов или генеративной моделью; качество на других предметных областях зависит от данных и адаптации. Лицензия — MIT.
Swin Base Patch4 Window7 224 ms in22k — модель классификации изображений и визуальный backbone из семейства Swin Transformer, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k и содержит около 109,1 млн параметров. Модель обрабатывает изображения размером 224 × 224; её также можно использовать для извлечения карт признаков и эмбеддингов изображений. Модель подходит для классификации изображений и построения визуальных представлений в прикладных системах компьютерного зрения. Веса доступны в форматах PyTorch и safetensors. Лицензия — MIT.
eenzeenee/t5-small-korean-summarization — модель семейства T5, разработанная на основе paust/pko-t5-small и дообученная для суммаризации корейских текстов. Она предназначена для создания кратких изложений научных статей, книг и материалов с итоговыми формулировками и отчётами. Модель содержит 55,1 млн параметров и использует архитектуру T5ForConditionalGeneration; репозиторий предоставляет веса в форматах PyTorch и Safetensors. Модель ориентирована на корейский язык и обучалась на трёх наборах данных: для суммаризации научных публикаций, книг, а также для составления кратких выводов и отчётов. Лицензия в доступных сведениях не указана.
hung200504/test-bert-3 — дообученная модель на архитектуре BERT для извлечения ответов на вопросы из текста. Она основана на hung200504/test-bert-2 и содержит 136,7 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для сценариев, где нужно найти ответ на вопрос в предоставленном фрагменте текста. В README указан результат Loss 11,6031 на наборе оценки, но набор данных и подробности оценки не описаны. Базовая модель охарактеризована в каталоге как англоязычная, поэтому основным языком модели считается английский. Весы представлены в формате PyTorch; лицензия в предоставленных данных не указана.
EfficientNetV2-M — сверточная модель классификации изображений из семейства EfficientNetV2. Исходную модель обучили авторы статьи на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс её в PyTorch; репозиторий распространяет веса через timm и Safetensors. В модели 54,1 млн параметров. Модель предназначена для классификации изображений по 1000 классам ImageNet-1k. Её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Размер входа при обучении — 384 × 384 пикселя, при тестировании — 480 × 480 пикселей. Модель специализируется на изображениях и не обрабатывает текстовые запросы. Её область применения ограничена распознаванием объектов, представленных классами ImageNet-1k; качество на других наборах данных зависит от задачи и требует отдельной проверки. Лицензия — Apache-2.0.
Typhoon OCR 1.5 2B NVFP4 — это квантизированная версия мультимодальной модели typhoon-ai/typhoon-ocr1.5-2b, опубликованная nanash66. Модель предназначена для оптического распознавания текста в изображениях документов с преобразованием результата в чистый Markdown. Она также описывает визуальные элементы, таблицы, формулы, номера страниц и флажки в заданном формате. Модель рассчитана на использование только с официальным промптом Typhoon OCR v1.5 и не предназначена для общих задач визуальных вопросов и ответов. Архитектура основана на Qwen3VLForConditionalGeneration с визуальным энкодером Qwen3VL; модель содержит 28 слоёв, скрытое представление размером 2048, 16 attention heads и 8 KV-heads. Используется квантизация NVFP4 (W4A4) с group_size=16, выполненная с помощью NVIDIA ModelOpt 0.45.0. Размер квантизированной модели составляет 2,23 ГБ, заявленная длина контекста — 262 144 токена. Поддерживаются английский и тайский языки; целевая платформа — графические процессоры NVIDIA Blackwell, включая GB10 с архитектурой sm_121. Для инференса изображение рекомендуется масштабировать до максимального размера 1800 пикселей. К сильным сторонам относятся специализированная обработка документов, компактный размер после квантизации и структурированный вывод с поддержкой таблиц, LaTeX-формул и описаний изображений на тайском языке. Ограничения включают зависимость от единственного промпта, отсутствие встроенных защитных механизмов и возможность галлюцинаций. Для запуска NVFP4 требуется GPU Blackwell и среда NVIDIA ModelOpt. Модель является производной работой и распространяется по лицензии Apache-2.0.
VGG19.tv_in1k — свёрточная модель классификации изображений из библиотеки timm, использующая оригинальные веса torchvision, обученные на ImageNet-1k. Архитектура VGG19 содержит около 143,7 млн параметров; для стандартного входа используется изображение размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и получения векторных представлений изображений. Вычислительная сложность составляет 19,6 GMACs. Модель принимает изображения и выдаёт оценки классов; при извлечении признаков результатом могут быть карты признаков или эмбеддинги. Поддержка текстового ввода не заявлена. Лицензия — BSD 3-Clause.
Это модель классификации изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Модель с 86,6 млн параметров предварительно обучена на парах изображение–текст из LAION-2B с помощью OpenCLIP, а затем дообучена на ImageNet-1k. Она принимает изображения размером 224 × 224 пикселя и может использоваться как классификатор или как основа для получения признаковых представлений изображений. Модель подходит для распознавания объектов и категорий на изображениях, а также для извлечения эмбеддингов в компьютерном зрении. В карточке указаны вычислительные характеристики: 16,9 GMACs и 16,5 млн активаций. В репозитории доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.
Модель timm/vit_base_patch16_siglip_gap_384.webli — визуальный энкодер на базе ViT с патчами 16×16 и глобальным усреднением признаков (global average pooling), обученный в рамках SigLIP на данных WebLI. Она преобразует изображения в векторные признаки для последующего извлечения признаков и использования в системах компьютерного зрения. Модель предназначена для сценариев, где нужен визуальный энкодер; README описывает только image encoder, без текстовой части SigLIP. Распространяется под лицензией Apache-2.0.
Это модель классификации изображений на базе Vision Transformer (ViT), подготовленная Россом Уайтманом в библиотеке timm. Вариант архитектуры использует патчи 16×16, четыре регистра и глобальное усреднение признаков; размер входного изображения — 256×256 пикселей. Модель содержит 67,3 млн параметров и обучена на ImageNet-12k. Модель предназначена для классификации изображений и может использоваться как основа для извлечения признаков, карт признаков и эмбеддингов изображений. Она подходит для визуального поиска и построения компьютерно-зрительных конвейеров. Распространяется по лицензии Apache-2.0.
vit_medium_patch16_reg4_gap_256.sbb_in1k — модель Vision Transformer для классификации изображений и извлечения визуальных признаков из семейства timm. Она обучена на ImageNet-1k; в архитектуре используются патчи 16×16, четыре регистра и глобальное усреднение признаков. Размер модели составляет 38,9 млн параметров, расчётный размер входного изображения — 256×256 пикселей. Модель предназначена для определения объектов и категорий на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В карточке приведены результаты сравнения с близкими вариантами семейства, но конкретные метрики для этой версии не указаны. Репозиторий предоставляет веса PyTorch в формате safetensors; библиотека для работы — timm. Лицензия Apache-2.0.
BEiT Base Patch16 224 — модель классификации изображений и извлечения визуальных признаков из семейства BEiT, опубликованная в timm. Она предварительно обучена на ImageNet-22k методом masked image modeling с визуальным токенизатором DALL-E dVAE, затем дообучена на ImageNet-22k и ImageNet-1k. Модель содержит 86,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet и получения визуальных эмбеддингов для последующей обработки. Она использует архитектуру vision transformer с патчами 16 × 16 и доступна в форматах PyTorch и Safetensors для библиотеки timm. Лицензия — Apache 2.0. Карточка не приводит сведения о поддержке естественных языков.
CoAtNet-BN-0-RW-224-SW-IN1K — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она сочетает свёрточные блоки MBConv на ранних этапах обработки изображения с блоками self-attention на поздних. Модель содержит 27,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Модель предназначена для классификации изображений по категориям ImageNet-1k и может служить визуальным backbone в прикладных системах. Официальные веса CoAtNet авторов исходной статьи не выпускались; эта версия — конфигурация timm с модификациями Ross Wightman для работы в PyTorch. Обучение проводилось на ImageNet-1k, а обучение на TPU поддержала программа TRC. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель обрабатывает изображения, а не текст; характеристики качества для этой конкретной версии в приведённой карточке не приведены.
Репозиторий Yushasyed/contextlens-music-engines содержит сторонние модели, которые ContextLens использует для удаления музыкального фона из записи урока с сохранением речи. В него входят Kim's vocals Mel-Band RoFormer в формате Core ML с 4-битными оценщиками маски и MossFormer2 SE 48K из ClearVoice в формате ONNX с 8-битной квантизацией. Модели предназначены для улучшения разборчивости речи в аудиозаписях с музыкой. Первая распространяется по лицензии MIT, вторая — по Apache-2.0. Репозиторий перераспространяет сторонние модели без изменений исходных весов, однако включает преобразование в указанные форматы и квантизацию; у каждой модели своя лицензия.
ConvNeXt V2 Base — свёрточная модель компьютерного зрения, представленная Woo и соавторами. Она предварительно обучена с использованием FCMAE, а затем дообучена на ImageNet-22K для классификации изображений; входное разрешение при дообучении составляло 384×384 пикселя. Архитектура использует полностью свёрточный masked autoencoder и слой Global Response Normalization (GRN). Модель предназначена для присвоения изображениям меток классов, в том числе как основа для прикладных вариантов, дообученных под конкретные задачи. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
Cyfieithydd 7b Fersiwn 3 — экспериментальная модель перевода, разработанная BangorAI на основе BangorAI/mistral-7b-cy-epoch-2. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, обученная для перевода между английским и валлийским языками на данных Cofnod y Cynulliad, подготовленных TechIaith, и архиве уведомлений правительства Уэльса. Модель принимает текст и генерирует текст; формат запросов в карточке показывает перевод с английского на валлийский и обратно. Модель использует веса PyTorch и распространяется по лицензии Apache-2.0. В метаданных указано контекстное окно 32 768 токенов, тогда как README описывает базовую Mistral-7B-v0.1 как модель с окном 4k и рекомендует подавать текст по абзацам. Поэтому при длинных входах следует учитывать эту оговорку и проверять фактически поддерживаемую длину в используемой конфигурации.
facebook/deit-small-patch16-224 — компактная модель Data-efficient Image Transformer (DeiT), разработанная авторами статьи Touvron et al.; веса конвертированы из репозитория timm. Это ViT-энкодер с примерно 28,3 млн параметров, обученный и дообученный на ImageNet-1k для классификации изображений на 1000 классов. Модель разбивает изображение на патчи 16×16, обрабатывает их трансформерными слоями и использует токен CLS для классификации. Модель предназначена для классификации изображений и извлечения визуальных признаков, которые можно использовать в последующих задачах с размеченными данными. Она принимает изображения RGB, обычно после изменения размера и центрального кадрирования до 224×224 пикселей, и выдаёт оценки классов. На ImageNet-1k указана точность top-1 79,9% и top-5 95,0%. Репозиторий предоставляет веса в форматах PyTorch и TensorFlow; лицензия — Apache-2.0. Модель ориентирована на ImageNet-подобную классификацию, поэтому качество на других предметных областях может потребовать дообучения.