IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейMaxViT-Tiny-RW-224-SW-IN1K — модель классификации изображений и извлечения признаков, разработанная Россом Уайтманом и обученная в библиотеке timm на ImageNet-1k. Она предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальная основа для получения карт признаков и эмбеддингов. Архитектура MaxViT сочетает блоки MBConv со слоями внимания по окнам и сетке. Модель содержит 29,1 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Репозиторий предоставляет веса PyTorch и SafeTensors; модель работает с изображениями и не генерирует текст. Модель подходит для классификации изображений общего назначения и как визуальный энкодер в прикладных системах. Она обучена на ImageNet-1k, поэтому качество на классах и типах изображений, существенно отличающихся от этого набора, может быть ниже. Лицензия — Apache-2.0.
remunds/MiniLM_NaturalQuestions — дообученная модель на основе microsoft/MiniLM-L12-H384-uncased для ответов на вопросы по набору данных Natural Questions. Модель использует архитектуру BERT и содержит около 40 млн параметров; она принимает текст вопроса и контекст и извлекает из контекста ответ. Окно контекста — до 512 токенов. Модель предназначена для сценариев извлечения ответа из текста, например для поиска фактов в документах или обработки вопросов с предоставленным контекстом. Репозиторий содержит веса PyTorch. Лицензия — MIT. Карточка не приводит результатов оценки качества и дополнительных сведений об ограничениях или обучающих данных, кроме указания на Natural Questions.
MViTv2 Large — модель классификации изображений и извлечения визуальных признаков из семейства многомасштабных Vision Transformer. По карточке, её разработали авторы работы MViTv2 и предварительно обучили на ImageNet-1k. Модель содержит 218 млн параметров, рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность указана как 43,9 GMACs. Модель подходит для классификации изображений по категориям ImageNet-1k и получения эмбеддингов изображений для последующего поиска или анализа. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы используется библиотека timm. Лицензия — Apache-2.0.
Helsinki-NLP/opus-mt-ja-da — модель машинного перевода с японского на датский из проекта OPUS-MT, основанная на архитектуре MarianMT. Она принимает японский текст и генерирует перевод на датском; обработка включает нормализацию и SentencePiece-токенизацию с моделями spm32k для исходного и целевого текста. Размер модели — 58,2 млн параметров, контекст — до 512 токенов. В тесте Tatoeba для направления японский—датский указаны BLEU 43,2 и chr-F 0,590. Модель выпущена под лицензией Apache-2.0.
PersianLLaMA-13B — персоязычная плотная авторегрессионная языковая модель на архитектуре LLaMA с 13 млрд параметров. Её разработали совместно Мохаммад Амин Аббаси, Араш Гафури, Махди Фирузманди, Хассан Надери и Бехруз Минаеи Бидголи; модель обучена на корпусе персидской Википедии. Модель предназначена для генерации персидского текста и выполнения инструкций, а также для ответов на вопросы и суммаризации. Она принимает текст и выдаёт текст; заявленный контекст составляет 4096 токенов. В репозитории указаны веса safetensors и библиотека Transformers. Карточка не приводит подробностей о методике обучения инструкциям или результатах бенчмарков, поэтому качество для конкретных задач следует проверять отдельно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
Карточка модели CollectionStudio/resnet-50 на Hugging Face совпадает с карточкой microsoft/resnet-50, поэтому описание составлено по ней. microsoft/resnet-50 — сверточная ResNet-50 v1.5, представленная в статье Deep Residual Learning for Image Recognition Хэ и соавторов. Модель предварительно обучена на ImageNet-1k и классифицирует изображения по 1000 классам. Расчётный размер входного изображения при обучении — 224×224 пикселя. Остаточные связи и блоки с узким местом позволяют обучать глубокую сеть. Вариант v1.5 переносит шаг уменьшения разрешения на свёртку 3×3; по данным карточки, это даёт примерно на 0,5% более высокую точность top-1, чем v1, при снижении пропускной способности примерно на 5%. Модель подходит для классификации изображений общего назначения и может служить отправной точкой для дообученных версий под конкретные задачи. Распространяется по лицензии Apache-2.0.
microsoft/resnet-50 — сверточная ResNet-50 v1.5, представленная в статье Deep Residual Learning for Image Recognition Хэ и соавторов. Модель предварительно обучена на ImageNet-1k и классифицирует изображения по 1000 классам. Расчётный размер входного изображения при обучении — 224×224 пикселя. Остаточные связи и блоки с узким местом позволяют обучать глубокую сеть. Вариант v1.5 переносит шаг уменьшения разрешения на свёртку 3×3; по данным карточки, это даёт примерно на 0,5% более высокую точность top-1, чем v1, при снижении пропускной способности примерно на 5%. Модель подходит для классификации изображений общего назначения и может служить отправной точкой для дообученных версий под конкретные задачи. Распространяется по лицензии Apache-2.0.
ResNeXt-50 32x4d A2 In1k — модель классификации изображений и извлечения признаков из семейства ResNeXt, предоставленная авторами timm. Она обучена на ImageNet-1k с рецептом ResNet Strikes Back A2. Архитектура использует групповые свёртки 3×3 в bottleneck-блоках, активации ReLU, начальную свёртку 7×7 с пулингом и остаточные соединения с проекцией 1×1. Модель содержит около 25 млн параметров и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Для обучения указано разрешение 224×224, для тестирования — 288×288. Модель принимает изображения и выдаёт метки классов либо признаки, в зависимости от используемого сценария. В карточке приведены результаты сравнения на ImageNet, но они не гарантируют качество на других наборах данных. Для специализированных классов может потребоваться дообучение. Распространяется по лицензии Apache-2.0.
PekingU/rtdetr_r18vd — модель обнаружения объектов на изображениях семейства RT-DETR, разработанная Яном Чжао и Сангбумом Чхве и опубликованная в Transformers. Это вариант RT-DETR-R18 с архитектурой на основе DETR: гибридный энкодер обрабатывает многомасштабные признаки, а декодер предсказывает категории объектов и ограничивающие рамки. Модель обучена на COCO 2017; в карточке для неё указаны 20 млн параметров и оценка 46,5 AP на валидационной выборке COCO. Изображения при подготовке приводятся к размеру 640×640. Модель предназначена для обнаружения объектов на изображениях в сценариях, где важны скорость и сквозное предсказание без NMS. Доступна для использования через библиотеку Transformers; веса сохранены в Safetensors. Лицензия — Apache-2.0. Карточка описывает общую архитектуру RT-DETR, но приведённые показатели скорости относятся к сравнительной таблице и зависят от оборудования и настроек запуска.
seresnext50_32x4d.racm_in1k — модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту RACM. Это SE-ResNeXt-B: свёрточная архитектура с групповыми bottleneck-свёртками 3×3, остаточными связями и механизмом Squeeze-and-Excitation для внимания к каналам. Модель содержит 27,6 млн параметров и требует 4,3 GMACs на изображение. Модель предназначена для определения объектов и категорий на изображениях, а также может использоваться как основа для извлечения карт признаков и эмбеддингов. При обучении применялись RandAugment, оптимизатор RMSProp с усреднением EMA и ступенчатое затухание скорости обучения. Размер изображений в обучении составлял 224×224 пикселя, при тестировании — 288×288. Репозиторий распространяет веса в форматах PyTorch и safetensors по лицензии Apache-2.0. Это модель для компьютерного зрения общего назначения, а не специализированная система для конкретной отрасли.
Stable Virtual Camera — диффузионная модель Stability AI с архитектурой Transformer и 1,3 млрд параметров для синтеза новых ракурсов сцены. На вход подаются один или несколько снимков и целевые положения камер; модель генерирует последовательность согласованных видов, которую можно направлять по произвольной траектории камеры. Модель предназначена для синтеза новых видов, творческих и дизайнерских инструментов, образовательных приложений и исследований реконструкции сцен. Она поддерживает значительные изменения ракурса и создаёт плавные во времени последовательности; заявлена генерация видео длительностью до 30 секунд с замыканием траектории в бесшовный цикл. В версии 1.1 исправлена проблема отделения объектов переднего плана от фона, отмечавшаяся в версии 1.0. Модель не предназначена для создания фактически достоверных изображений людей или событий. В карточке указаны исследовательское и некоммерческое применение, а также соблюдение Acceptable Use Policy; лицензия в метаданных обозначена как other.
Это модель классификации изображений семейства Swin Transformer, опубликованная авторами статьи Swin Transformer и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k, а затем дообучена на ImageNet-1k. Модель содержит около 49,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для присвоения изображению метки класса, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура Swin Transformer строит иерархическое представление изображения с помощью окон внимания и их сдвига. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — MIT.
tf_efficientnet_b3.ap_in1k — сверточная модель классификации изображений из семейства EfficientNet. Её обучили авторы исходной работы на ImageNet-1k с методом AdvProp, использующим состязательные примеры; Ross Wightman перенёс веса в PyTorch. Модель содержит около 12,2 млн параметров и рассчитана на изображения размером 300 × 300 пикселей. Модель определяет объекты и сцены, относя их к классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. По метаданным репозитория доступны веса PyTorch и SafeTensors. Лицензия — Apache-2.0.
duyle2408/trocr-vietnamese-handwriting — модель распознавания рукописного текста на изображениях, разработанная на основе microsoft/trocr-large-handwritten и дообученная на наборе данных с вьетнамским почерком. Архитектура VisionEncoderDecoder сочетает ViT и TrOCR; модель предназначена для преобразования изображений рукописных записей на вьетнамском языке в текст. Модель подходит для оцифровки вьетнамских рукописных заметок и документов. В карточке приведены результаты оценки, включая eval_loss 5,02. Лицензия — Apache-2.0.
google/vit-base-patch16-224 — базовая модель Vision Transformer (ViT), опубликованная в репозитории Google и основанная на работе «An Image is Worth 16x16 Words». Веса были преобразованы из timm: сначала из JAX в PyTorch, затем размещены в нескольких форматах. Модель содержит 113,2 млн параметров и лицензирована по Apache-2.0. Модель предварительно обучена на ImageNet-21k и дообучена для классификации на ImageNet 2012. Изображение размером 224×224 представляется как последовательность патчей 16×16 с позиционными эмбеддингами; классификацию выполняет голова на основе токена [CLS]. Основной сценарий — отнесение изображения к одному из 1000 классов ImageNet. Предобученный энкодер также можно использовать как основу для извлечения признаков и обучения классификатора на размеченных данных. ViT позволяет получать полезные визуальные представления для последующих задач классификации. Для результатов дообучения на целевых задачах авторы отмечают преимущество разрешения 384×384; данная версия рассчитана на вход 224×224 и обучение на ImageNet, поэтому качество на других доменах зависит от адаптации. Доступны веса Flax, PyTorch, Safetensors и TensorFlow.
Xenova/vit-base-patch16-224 — версия модели Google ViT (Vision Transformer), подготовленная Xenova для использования в Transformers.js. Репозиторий содержит ONNX-веса модели google/vit-base-patch16-224 и предназначен для запуска моделей в JavaScript-приложениях, включая веб-среду. Модель предназначена для классификации изображений: она принимает изображения и возвращает наиболее вероятные классы с оценками уверенности. В названии указаны архитектура ViT-Base, разбиение изображения на патчи размером 16×16 пикселей и входной размер 224×224 пикселя. Модель работает с визуальными данными и не предназначена для обработки текста или аудио; языковые характеристики для неё не применимы. Сильной стороной является совместимость с Transformers.js и формат ONNX, что упрощает выполнение инференса в JavaScript и потенциально в браузере. Ограничения включают специализацию на классификации изображений и зависимость качества предсказаний от исходного обучения базовой модели Google. В README лицензия не указана, поэтому условия использования необходимо уточнять в исходном репозитории google/vit-base-patch16-224.
Это модель компьютерного зрения на основе Vision Transformer (ViT), предназначенная для классификации изображений и извлечения признаков. Её обучили авторы исследований на ImageNet-21k, затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией. Реализацию перенёс на PyTorch Росс Уайтман; модель доступна через библиотеку timm. Модель содержит 88,3 млн параметров, обрабатывает изображения размером 384 × 384 и требует около 12,7 GMACs на проход. Её можно применять для классификации изображений и получения эмбеддингов как визуальных признаков. Модель выпущена под лицензией Apache-2.0. Её обучение на ImageNet делает её подходящей для задач распознавания объектов общего назначения, но качество на изображениях, отличающихся от обучающих данных, может быть ниже; для специализированных сценариев может потребоваться дополнительная адаптация.
Это акустическая модель Finnish-NLP на архитектуре Wav2Vec2-base с CTC-декодированием, дообученная для распознавания финской речи. Она основана на facebook/wav2vec2-base-fi-voxpopuli-v2: исходную модель предварительно обучали на неразмеченной финской речи из VoxPopuli, а эту версию дообучили на 276,7 часа расшифрованной финской речи. В репозитории также есть финская языковая модель KenLM для этапа декодирования. Модель содержит 113,3 млн параметров и принимает аудио, выдавая текстовую расшифровку. Модель предназначена для преобразования финской речи в текст, в том числе для обработки коротких аудиозаписей. В README приведены оценки на тестовых наборах Common Voice и FLEURS; качество декодирования зависит от использования KenLM. Обучающие аудиофрагменты ограничивались 20 секундами. Большая часть данных дообучения взята из заседаний финского парламента, поэтому качество может снижаться на повседневной разговорной речи, диалектах, а также речи женщин и детей. Лицензия — Apache-2.0.
BiDi-eng-pol — двунаправленная модель машинного перевода из коллекции BiDi, разработанной в рамках исследовательского проекта лаборатории Machine Learning Research для Allegro.com при сотрудничестве с laniqo.com. Это энкодер-декодерный трансформер MarianMT на 133,4 млн параметров, обученный для перевода на уровне предложений; базовая конфигурация — transformer-big. Модель переводит между английским и польским в обоих направлениях: целевой язык задаётся специальным токеном. Для токенизации используется SentencePiece со словарём 32 тыс. токенов. Модель рассчитана на перевод отдельных предложений между английским и польским; в README описана как часть коллекции многоязычных славянских MT-моделей. Метаданные указывают контекст до 1024 токенов. Модель обучалась на корпусах машинного перевода и оценивалась на Flores200 с метрикой COMET-DA. Качество и возможные смещения следует проверять для конкретного предметного домена: авторы предупреждают о возможных гендерных галлюцинациях при переводе с английского на славянские языки. Лицензия — CC BY 4.0.
CoAtNet-2 RW 224 — модель классификации изображений из библиотеки timm, разработанная Ross Wightman. Она предварительно обучена на ImageNet-12k, подмножестве ImageNet-22k из 11 821 класса, а затем дообучена на ImageNet-1k. Модель использует гибридную архитектуру CoAtNet: свёрточные блоки MBConv на ранних этапах сочетаются с блоками self-attention на поздних. Вариант рассчитан на изображения размером 224 × 224 пикселя и содержит 73,9 млн параметров. Модель предназначена для классификации изображений, а также может использоваться как основа для извлечения признаковых карт и эмбеддингов. Обучение на ImageNet-12k и последующее дообучение на ImageNet-1k дают ей широкий набор визуальных категорий. Для работы с изображениями иных размеров или предметных областей может потребоваться адаптация; приведённые в карточке характеристики вычислений и точности относятся к конкретным условиям оценки. Лицензия — Apache-2.0.
convnext_base.dinov3_lvd1689m — модель извлечения признаков изображений из семейства ConvNeXt, опубликованная в библиотеке timm. Она предварительно обучена на наборе LVD-1689M методом самообучения DINOv3 и дистиллирована из DINOv3 ViT-7B. Модель содержит 87,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для получения признаковых карт и эмбеддингов изображений, а также может использоваться как основа для классификации изображений и других задач компьютерного зрения. Эмбеддинги подходят для построения систем поиска по изображениям, кластеризации и последующего обучения классификаторов. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; лицензия указана как DINOv3, а в метаданных Hugging Face обозначена как other.
EVA Giant — модель компьютерного зрения для классификации изображений и получения визуальных эмбеддингов, представленная в библиотеке timm. Она содержит около 1,013 млрд параметров и рассчитана на входные изображения размером 336 × 336 пикселей. Модель предварительно обучена на наборе Merged-30M методом masked image modeling с CLIP-L в роли учителя, затем дообучена авторами статьи на ImageNet-22k и ImageNet-1k. Модель подходит для классификации изображений и может использоваться как визуальный backbone или для извлечения эмбеддингов. В сравнительной таблице карточки для неё указана точность top-1 89,792 и top-5 98,992; эти значения приведены рядом с вариантом разрешения 560, поэтому напрямую переносить их на вход 336 × 336 не следует. Чекпойнты timm сохранены в float32; доступны форматы PyTorch и safetensors. Лицензия — MIT.
Карточка модели arjunraim/FoodExtract-gemma-3-270m-fine-tune-v1 на Hugging Face совпадает с карточкой adodabele/FoodExtract-gemma-3-270m-fine-tune-v1, поэтому описание составлено по ней. FoodExtract-v1 — компактная текстовая модель для извлечения сведений о еде и напитках из произвольного текста. Её разработчик дообучил Gemma 3 270M Instruct (257 млн параметров) на 1400 примерах набора FoodExtract-1k; примеры включают текст и структурированные результаты, подготовленные с помощью gpt-oss-120b. Модель классифицирует текст как связанный или не связанный с едой и напитками, назначает тематические теги и извлекает съедобные продукты и напитки в виде списков. Её можно применять для фильтрации больших коллекций подписей к изображениям и другого текста, а также для подготовки данных о продуктах и ингредиентах. Это текстовая модель на базе Gemma 3, доступная в формате safetensors, с контекстом до 32 768 токенов. Модель предназначена для специализированного извлечения, а не для общей генерации ответов. Её обучение опирается на небольшой набор из 1400 примеров, поэтому полноту и точность извлечения на иных типах текста следует проверять. Лицензия — Gemma; использование регулируется её условиями.
Карточка модели isahsn/FoodExtract-gemma-3-270m-fine-tune-v1 на Hugging Face совпадает с карточкой adodabele/FoodExtract-gemma-3-270m-fine-tune-v1, поэтому описание составлено по ней. FoodExtract-v1 — компактная текстовая модель для извлечения сведений о еде и напитках из произвольного текста. Её разработчик дообучил Gemma 3 270M Instruct (257 млн параметров) на 1400 примерах набора FoodExtract-1k; примеры включают текст и структурированные результаты, подготовленные с помощью gpt-oss-120b. Модель классифицирует текст как связанный или не связанный с едой и напитками, назначает тематические теги и извлекает съедобные продукты и напитки в виде списков. Её можно применять для фильтрации больших коллекций подписей к изображениям и другого текста, а также для подготовки данных о продуктах и ингредиентах. Это текстовая модель на базе Gemma 3, доступная в формате safetensors, с контекстом до 32 768 токенов. Модель предназначена для специализированного извлечения, а не для общей генерации ответов. Её обучение опирается на небольшой набор из 1400 примеров, поэтому полноту и точность извлечения на иных типах текста следует проверять. Лицензия — Gemma; использование регулируется её условиями.
forensics_0.3B_base_deepfake_classifier — модель семейства Forensics от eliya для выявления синтетической или поддельной речи. Она дообучена сквозным образом на базе microsoft/wavlm-large и использует AASIST с графовым вниманием для классификации аудио. На вход подаются аудиофрагменты; модель выдаёт вероятность того, что речь является подделкой. В README указаны обучение на более чем 5 млн образцов, поддержка многоязычной речи и тестирование на нескольких наборах для обнаружения подделок и артефактов кодирования. Модель предназначена для проверки голосовых записей, обнаружения TTS-синтеза и конверсии голоса, а также анализа аудио с искажениями от кодеков. README сообщает о низкой равной частоте ошибок на внутренних и внешних тестах, но эти результаты не гарантируют такую же точность на новых источниках, языках и типах генерации. Репозиторий содержит веса в форматах safetensors и PyTorch; лицензия CC BY-NC 4.0 ограничивает использование некоммерческими условиями.
BAAI разработала IndustryCorpus2_Classifier для отнесения текстов к одной из 31 укрупнённой отраслевой категории, согласованной с классификацией отраслей национальной экономики Китая и адаптированной для китайского и английского языков. Модель построена на BGE-M3 с архитектурой XLM-RoBERTa и классификационной головой; она дообучена на 36 тысячах примеров, сформированных из предобучающих корпусов и открытых наборов классификации. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Модель предназначена для автоматической отраслевой разметки текстов и сортировки документов по категориям. В README сообщается о точности 86% на проверочной выборке; обучающие данные включали китайские и английские тексты в равных долях. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Показатели качества относятся к описанной проверочной выборке, поэтому качество на других корпусах может отличаться.
LeViT-256 — модель компьютерного зрения семейства LeViT, представленная в работе «LeViT: a Vision Transformer in ConvNet’s Clothing for Faster Inference» авторов Graham и соавторов. Это вариант LeViT, предварительно обученный на ImageNet-1k для классификации изображений с разрешением 224×224 пикселя; модель выдаёт оценку принадлежности изображения к одному из 1000 классов ImageNet. Модель предназначена для классификации изображений, например фотографий и изображений из наборов данных. Архитектура сочетает идеи Vision Transformer и сверточных сетей; веса доступны в формате PyTorch. Репозиторий распространяется по лицензии Apache-2.0. В карточке нет сведений о поддержке текста или других модальностей.
Это англоязычная экстрактивная модель вопросно-ответной системы на базе MiniLM, разработанная badokorach путём дообучения deepset/minilm-uncased-squad2 на датасете, который в карточке не раскрыт. Модель принимает текст и вопрос и извлекает ответ из предоставленного текста; её можно применять для поиска ответов в документах и фрагментах текста. Модель построена на архитектуре BERT, содержит около 40 млн параметров и рассчитана на контекст до 512 токенов. Опубликована в формате TensorFlow под лицензией CC BY 4.0. В карточке приведены значения Train Loss 0.9804 и Validation Loss 0.0 после трёх эпох; описание датасета и сведения о надёжности оценки отсутствуют.
MobileNetV4 Hybrid Medium — модель классификации изображений семейства MobileNetV4, обученная Россом Уайтманом с помощью инструментов timm на ImageNet-1k. Она предназначена для присвоения изображениям меток классов и может использоваться как базовая сеть для извлечения признаков, карт признаков и эмбеддингов изображений. Модель имеет 11,1 млн параметров и требует около 1,3 GMAC на проход. Обучение проводилось на изображениях 256 × 256 пикселей; для оценки в карточке указано разрешение 320 × 320. Веса подготовлены для PyTorch и опубликованы в формате safetensors. Лицензия — Apache-2.0.
MobileViT-S — компактная модель классификации изображений и извлечения визуальных признаков из семейства MobileViT. Она разработана авторами работы MobileViT и обучена на ImageNet-1k; в репозитории timm опубликованы веса для PyTorch в форматах PyTorch и safetensors. Модель содержит около 5,6 млн параметров, требует изображение размером 256 × 256 пикселей и имеет вычислительную сложность около 2,0 GMACs. Модель подходит для классификации объектов на изображениях, извлечения карт признаков и получения векторных представлений изображений. Компактная архитектура рассчитана на мобильные и другие ресурсоограниченные сценарии. Языковые входы не используются. Лицензия указана как other; подробности условий использования в карточке не приведены.