IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейLlama-movielens-mpnet — модель эмбеддингов на базе MPNet, опубликованная beeformer. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для контентной фильтрации в рекомендательных системах и использования описаний объектов как дополнительной информации при рекомендациях для новых пользователей или объектов. Модель дообучена на MovieLens-20M; тексты описаний элементов для датасета были созданы с помощью meta-llama/Meta-Llama-3.1-8B-Instruct. Архитектура основана на sentence-transformers/all-mpnet-base-v2, число параметров — 136,7 млн, максимальная длина обработки при дообучении была сокращена до 384 токенов. Карточка указывает английский язык, библиотеку Sentence Transformers и лицензию Llama 3.1. Результаты оценки в карточке не приведены; авторы представляют модель как демонстрацию возможностей beeFormer и указывают исследовательское назначение.
MaxViT Base TF 384 — модель классификации изображений семейства MaxViT, разработанная авторами статьи и перенесённая из официальной реализации TensorFlow в PyTorch Россом Уайтманом. Она обучена на ImageNet-1k и предназначена для присвоения изображениям меток из набора классов, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Архитектура MaxViT сочетает блоки MBConv с двумя типами self-attention: оконным и grid-attention. Модель содержит около 119,7 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. В репозитории доступны веса PyTorch и Safetensors; библиотека модели — timm. Модель подходит для прикладной классификации и как основа для систем компьютерного зрения. Её вычислительная стоимость заметна: в карточке указано 73,8 GMACs. Лицензия — Apache-2.0.
MERaLiON-SpeechEncoder-2 — мультиязычный аудиоэнкодер речи, разработанный I2R, A*STAR. Модель предобучена с нуля на 1,4 млн часов неразмеченного аудио с особым акцентом на языки и акценты Юго-Восточной Азии; архитектура основана на BEST-RQ. В метаданных указано 402,7 млн параметров, библиотека Transformers и формат safetensors. Энкодер преобразует речевой сигнал в акустические представления для дообучения под распознавание речи, перевод речи, определение говорящего и языка, а также распознавание эмоций. На вход подаются 80-мерные мел-спектрограммы, рассчитанные для аудио с частотой 16 кГц. Поддерживаются английский, китайский, малайский, тамильский, тайский, индонезийский и вьетнамский языки, включая переключение между ними в речи. Авторы сообщают о конкурентных результатах на SUPERB и в многоязычных системах распознавания речи. Для практических задач модель обычно требуется дообучить на целевом наборе данных; сама она выдаёт речевые признаки, а не готовую транскрипцию. Распространяется по MERaLiON Public License; подробные условия следует сверять с текстом лицензии в репозитории.
Mezzo Content Guard v1.5 Small — англоязычная модель модерации текста, разработанная RyanStudio. Она дообучена на базе энкодера Ettin Encoder 68M с архитектурой ModernBERT и классифицирует текст по категориям hate speech, self-harm, sexual, toxic и violence. Модель содержит 68,1 млн параметров, принимает последовательности длиной до 7 999 токенов и доступна в форматах Safetensors и ONNX. Для агрегации представлений используется mean pooling; карточка сообщает, что серия обучена на размеченных примерах с дополнительной очисткой данных в версии 1.5. Модель предназначена для фильтрации пользовательского контента и выявления потенциально вредных сообщений. В опубликованных бенчмарках Small показывает F1 0,8366 при пороге 0,5; изменение порога позволяет менять баланс точности и полноты. Модель ориентирована на английский язык и может хуже работать с другими языками, современной разговорной лексикой и обходами фильтров. Разметка данных выполнялась с помощью других моделей, поэтому их ошибки могут отражаться в предсказаниях; также возможно чрезмерное срабатывание на упоминаниях маргинализированных групп. Лицензия — Apache-2.0.
MobileNetV4 Conv Large — модель классификации изображений семейства MobileNetV4, подготовленная Россом Уайтманом с помощью инструментов timm и обученная на ImageNet-1k. Это сверточная модель, которую также можно использовать как основу для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 32,6 млн параметров и требует 6,4 GMACs; размер изображения при обучении — 384 × 384, при тестировании в карточке указан размер 448 × 448. В README приведены примеры применения для классификации, извлечения признаков и эмбеддингов, а также сравнительные результаты ImageNet-1k. Лицензия — Apache-2.0. Автор README отмечает, что официальные веса TensorFlow-моделей на момент публикации не были выпущены.
MobileViT-v2 150 — модель классификации изображений и извлечения визуальных признаков из семейства MobileViT-v2, опубликованная авторами статьи. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k. Модель содержит 10,6 млн параметров; указанный размер входного изображения — 384 × 384 пикселя, вычислительная сложность — 9,2 GMACs. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальную основу в задачах распознавания объектов по категориям и в системах, которым нужны признаки изображений. Архитектура сочетает мобильный дизайн с механизмом separable self-attention; библиотека для работы с моделью — timm. В метаданных указан формат PyTorch и safetensors. Лицензия обозначена как other, а README отсылает к отдельным сведениям о лицензии, поэтому условия использования по имеющимся данным уточнить нельзя. Модель рассчитана на обработку изображений и не описана как мультимодальная система или модель для понимания текста.
SixAILab/nepa-base-patch14-224-sft — дообученная модель компьютерного зрения из семейства NEPA, разработанная SixAILab. Она использует архитектуру ViT-NEPA: изображение разбивается на патчи и представляется последовательностью эмбеддингов; модель предназначена для классификации изображений, в том числе на ImageNet-1k. Веса содержат 113,2 млн параметров и доступны в формате safetensors для библиотеки Transformers. NEPA основана на авторегрессионном предсказании следующего эмбеддинга изображения. README описывает воспроизведение результатов на ImageNet-1k, включая точность 83,75% для базовой версии с GeLU; это число относится к результатам воспроизведения, а не обязательно к оценке именно этой SFT-модели. Лицензия Apache-2.0.
PoolFormerV2 M48 — модель классификации изображений и визуальная основа для извлечения признаков из семейства MetaFormer. Её обучили авторы статьи на ImageNet-1k. Модель содержит 73,3 млн параметров, выполняет 11,6 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов, например как компонент компьютерного зрения в прикладных системах. Репозиторий содержит веса PyTorch и Safetensors; модель распространяется по лицензии Apache-2.0. Карточка не описывает ограничения качества за пределами обучения и оценки на ImageNet-1k.
neph1/Qwen2.5-Coder-7B-Instruct-Unity — чат-модель для помощи с разработкой на Unity, созданная neph1 дообучением Qwen2.5-Coder-7B-Instruct. Обучение проводилось на объединённом наборе вопросов и ответов по Unity3D, включая сведения об API Unity 2022.3 и коде C# для Unity. Модель предназначена для ответов на вопросы по Unity и генерации кода для игровых проектов; автор также предлагает опробовать её с Tabby и похожими инструментами для программирования. Это плотная архитектура Qwen2 с 7,1 млрд параметров, контекстом 32 768 токенов и текстовым вводом и выводом. Карточка указывает английский язык; наборы данных ориентированы на Unity. Автор описывает выпуск как предварительную версию и сообщает о базовом тестировании, поэтому качество ответов требует проверки, особенно для API и версий Unity. Модель обучалась с родным шаблоном чата, но без использования инструментов. Лицензия — Apache-2.0.
RegNetX-400MF — свёрточная модель классификации изображений из семейства RegNetX, распространяемая в библиотеке timm. Её авторы предварительно обучили на ImageNet-1k; в репозитории Hugging Face веса доступны в форматах PyTorch и safetensors. Модель содержит около 5,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Небольшой размер и вычислительная стоимость около 0,4 GMAC делают её подходящей для экспериментов и задач компьютерного зрения с ограниченными ресурсами. Лицензия — MIT.
repvit_m0_9.dist_450e_in1k — модель классификации изображений семейства RepViT, обученная авторами статьи на ImageNet-1k с дистилляцией. Репозиторий распространяется для библиотеки timm в форматах PyTorch и safetensors по лицензии Apache-2.0. Модель содержит 5,5 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 0,8 GMAC. Её можно использовать для классификации изображений, а также как визуальную основу для извлечения карт признаков и эмбеддингов. Карточка не указывает специализированную предметную область или поддержку других размеров входного изображения.
RepViT M2, дообученная с дистилляцией модель для классификации изображений, представленная авторами статьи RepViT и опубликованная в репозитории timm. Модель обучена на ImageNet-1k и предназначена для присвоения изображению класса из набора меток ImageNet; её также можно использовать как компактную сверточную основу для извлечения карт признаков и эмбеддингов изображений. Модель содержит 8,8 млн параметров, требует 1,4 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий включает веса PyTorch и Safetensors; лицензия — Apache-2.0. README описывает сценарии классификации, извлечения карт признаков и эмбеддингов, но классификация является основной задачей модели.
ResMLP-Big-24-224 — модель для классификации изображений и извлечения визуальных признаков из семейства ResMLP, опубликованная авторами статьи и доступная через библиотеку timm. Она предварительно обучена на ImageNet-22k, затем дообучена на ImageNet-1k. Модель содержит около 129,1 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet и может использоваться как визуальная основа для получения эмбеддингов. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. README не описывает отдельные ограничения качества или области применения за пределами задач компьютерного зрения.
ResNet10T C3 In1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back C. Архитектура использует ReLU, ступенчатый ствол из трёх свёрток 3×3 с пулингом и короткие соединения с понижением размерности через average pooling и свёртку 1×1. В модели около 5,4 млн параметров и 0,7 GMACs. Модель предназначена для классификации изображений и может использоваться как базовая сеть для извлечения карт признаков и эмбеддингов. При обучении применялся размер изображения 176×176, при тестировании — 224×224. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0. Карточка не указывает поддержку языков: модель работает с изображениями и выдаёт классы, поэтому естественные языки ей не требуются.
timm/resnet51q.ra2_in1k — модель классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом в библиотеке timm. Она основана на архитектуре ResNet, реализованной через BYOBNet, с четырёхслойным stem-блоком без pooling и активациями SiLU. Модель обучена на ImageNet-1k; в ней 35,7 млн параметров, вычислительная сложность составляет 6,4 GMAC. Размер изображений для обучения — 256×256, для тестирования — 288×288. Модель подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов, например, как визуальный backbone в компьютерном зрении. Веса доступны в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия — Apache-2.0.
SwiftFormer L3 distill для ImageNet-1k — модель классификации изображений и извлечения визуальных признаков, опубликованная авторами статьи SwiftFormer и представленная в библиотеке timm. Архитектура SwiftFormer использует эффективное аддитивное внимание для мобильных задач компьютерного зрения в реальном времени. Модель содержит 28,5 млн параметров, требует изображение размером 224 × 224 пикселя и выполняет около 4,0 GMACs вычислений на изображение. Модель предназначена для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors; заявлена лицензия Apache-2.0. Карточка не описывает поддержку языкового ввода или генерацию текста.
SwinV2 Tiny window8 256 ms in1k — модель классификации изображений и извлечения признаков из семейства Swin Transformer V2, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и рассчитана на изображения размером 256 × 256 пикселей. Модель содержит 28,3 млн параметров и требует около 6,0 GMACs на проход. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как основу компьютерного зрения в приложениях и как визуальный backbone для последующих задач. Доступна по лицензии MIT.
tf_mobilenetv3_small_100.in1k — компактная модель семейства MobileNetV3 для классификации изображений и извлечения признаков. Её обучили авторы статьи Searching for MobileNetV3 на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна в формате PyTorch и safetensors и использует библиотеку timm. Модель рассчитана на изображения размером 224 × 224 пикселя и содержит около 2,5 млн параметров. Её можно применять для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Небольшой размер и вычислительная стоимость около 0,1 GMAC делают её подходящей для компактных систем компьютерного зрения. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k, поэтому её классификационные категории и качество за пределами этого набора данных могут не соответствовать конкретной прикладной задаче; для такой задачи может понадобиться адаптация.
timm/vit_7b_patch16_dinov3.lvd1689m — визуальный энкодер DINOv3 ViT-7B/16 из PyTorch Image Models (timm), предварительно обученный методом самоконтролируемого обучения на наборе LVD-1689M. Модель содержит около 6,716 млрд параметров и рассчитана на изображения размером 256 × 256 пикселей; для обработки изображений использует патчи 16 × 16. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для извлечения признаковых карт и эмбеддингов изображений, которые можно использовать в классификации, сегментации и других задачах компьютерного зрения. Крупный ViT-бэкбон показывает результаты на задачах классификации и сегментации, включая наборы GEO-Bench. Это энкодер изображений, а не генеративная модель; практическое применение требует значительных вычислительных ресурсов из-за размера около 6,7 млрд параметров. Лицензия указана как DINOv3; метаданные Hugging Face обозначают её категорию как other, поэтому точные условия использования следует сверять с лицензией проекта.
WT-MM/vit-base-blur — дообученная модель Vision Transformer (ViT) для бинарной классификации изображений на размытые и чистые. Она основана на google/vit-base-patch16-224-in21k и содержит 113,2 млн параметров. Модель предназначена для выявления изображений, полученных на недостаточном или незавершённом числе проходов LDM при генерации изображений. Для обучения использовалось около тысячи чистых и размытых изображений, созданных с помощью SD2.1 на 30 и 10 шагах соответственно. В README сообщается точность 1,0 и loss 0,0008 на оценочной выборке; размер и состав этой выборки не приводятся. Модель принимает изображения и выдаёт класс «размытое» или «чистое». Распространяется по лицензии Apache-2.0.
vit_base_patch32_224.sam_in1k — модель Vision Transformer (ViT) для классификации изображений, доступная в библиотеке timm. Её обучили на ImageNet-1k с использованием Sharpness-Aware Minimization (SAM). Модель содержит 88,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; также её можно использовать как backbone для извлечения признаковых представлений изображений. Модель подходит для классификации изображений по категориям ImageNet-1k и получения эмбеддингов изображений в приложениях компьютерного зрения. В README приведены ссылки на исследования о Vision Transformer и обучении с SAM. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. Ограничение: модель обучена на ImageNet-1k, поэтому её классификация ориентирована на соответствующие классы и распределение изображений.
timm/vit_huge_patch14_224.mae — модель извлечения признаков изображений на основе Vision Transformer (ViT), представленная в библиотеке timm. Она предварительно обучена на ImageNet-1k методом Self-Supervised Masked Autoencoder (MAE) и может использоваться как backbone для классификации изображений и получения их эмбеддингов. Модель содержит около 630,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для извлечения визуальных признаков и эмбеддингов, а также для построения систем классификации изображений. Репозиторий содержит веса в форматах PyTorch и Safetensors; лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение.
Это модель Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-21k, затем дообучили на ImageNet-1k; перенос весов в PyTorch выполнил Росс Уайтман. Модель доступна через библиотеку timm. Модель содержит около 306,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Её можно применять для классификации изображений по категориям ImageNet-1k, а также как визуальный backbone для получения признаков. Веса распространяются по лицензии Apache-2.0. Модель работает с изображениями и выдаёт метки классов либо визуальные признаки. Её большой размер и вычислительная стоимость (44,3 GMACs) могут ограничивать применение на устройствах с небольшими ресурсами; обучение и настройка ориентированы на ImageNet, поэтому качество на других доменах может отличаться.
YOLO26-S-pose — вариант модели YOLO26 от Ultralytics для оценки позы человека и обнаружения ключевых точек. Модель принимает изображения размером 640 пикселей и предназначена для эффективного запуска, в том числе на маломощных и периферийных устройствах. Архитектура работает сквозным образом и выдаёт предсказания без этапа подавления немаксимумов (NMS), что упрощает развертывание и снижает задержку. Для локализации ключевых точек используются Residual Log-Likelihood Estimation и оптимизированное декодирование; в README также заявлены метрики mAP Pose 63,0 для диапазона 50–95 и 86,6 для порога 50, а также ускорение CPU-инференса до 43%. Модель распространяется под лицензией AGPL-3.0.
Карточка модели luoyou1014/age-gender-prediction на Hugging Face совпадает с карточкой abhilash88/age-gender-prediction, поэтому описание составлено по ней. Модель abhilash88/age-gender-prediction — модель компьютерного зрения на базе Vision Transformer ViT-Base, предназначенная для одновременной оценки возраста и классификации пола по изображению лица. Она принимает цветные изображения RGB размером 224×224 и использует две выходные ветви: регрессионную для возраста и классификационную для пола. Модель обучена на датасете UTKFace; в README заявлены средняя абсолютная ошибка оценки возраста 4,5 года и точность классификации пола 94,3% на этом датасете. Модель подходит для анализа демографических характеристик изображений, исследовательских задач и обработки отдельных изображений или пакетов изображений. Наилучшие результаты заявлены для взрослых 16–60 лет при хорошем освещении и фронтальном положении лица. Для использования предусмотрена лицензия Apache-2.0. Точность ниже для детей, особенно в возрасте 0–12 лет, а также может снижаться для очень пожилых людей, изображений с плохим освещением, сильным поворотом лица или окклюзиями. README предупреждает, что стандартный Transformers pipeline может возвращать метки LABEL_0/LABEL_1 вместо ожидаемых значений; для получения возраста и пола предлагается использовать вспомогательную функцию автора.
anuvid/ai-grammar-correction-model — модель последовательность-в-последовательность на базе трансформера T5, дообученная автором для исправления грамматических ошибок в английском языке. Она принимает текст с префиксом «grammar: » и возвращает исправленный вариант, устраняя грамматические, синтаксические и стилистические ошибки. Размер модели — 123,8 млн параметров; максимальная длина входа по README — 128 токенов, контекст по метаданным — 512 токенов. Модель обучалась на 100 000 парах предложений; README приводит результаты BLEU 0,6869, GLEU 0,8311 и ROUGE-1 0,8819 на тестовой выборке из 10 000 примеров. Подходит для корректуры английских предложений и интеграции в редакторы или учебные инструменты. Ограничения: заявлен только английский язык, длина входа в README ограничена 128 токенами, а показатели качества относятся к описанному тестовому набору. Лицензия — Apache-2.0.
AIM-600M — зрительная модель семейства AIM, разработанная авторами проекта AIM: Alaaeldin El-Nouby, Michal Klein, Shuangfei Zhai и соавторами. Она обучена на больших коллекциях изображений с авторегрессионной генеративной целью и предназначена для извлечения признаков и классификации изображений; README описывает результаты классификации ImageNet-1k с замороженным визуальным блоком. Модель относится к семейству авторегрессионных моделей изображений, а репозиторий содержит веса PyTorch. Авторы сообщают, что такой подход использует неотобранные коллекции изображений и масштабируется до миллиардов параметров. Лицензия репозитория — apple-amlr; перед использованием следует проверить её условия.
Это веса визуального энкодера AIM-v2, опубликованные Apple и совместимые с библиотекой timm. Модель предназначена для извлечения признаковых представлений из изображений; основной сценарий — получать визуальные признаки для последующей обработки другими моделями или системами компьютерного зрения. В репозитории указаны варианты весов PyTorch и safetensors. Карточка не сообщает сведения о размере модели, разрешении входа, обучающих данных или измеренных качествах. Лицензия — apple-ascl.
BEiT large — модель сегментации изображений от Microsoft на архитектуре Vision Transformer, представленная авторами BEiT. Она предварительно обучена самоконтролируемым способом на ImageNet-21k, а затем дообучена на ADE20K для семантической сегментации. Модель содержит около 411 млн параметров; изображения разбиваются на патчи 16×16, а сегментацию формирует голова UperHead. Для обучения использовались изображения, приведённые к разрешению 640×640 и нормализованные по каналам RGB. Модель предназначена для присвоения пиксельных меток объектам и областям на изображении, в частности для сцен с классами ADE20K. Она принимает изображение и выдаёт карту семантической сегментации. В README приведены также результаты на ADE20K и Cityscapes, однако описанный чекпойнт дообучен именно на ADE20K с 150 классами. Репозиторий распространяется по лицензии Apache-2.0. Возможности модели ограничены семантической сегментацией изображений в соответствии с обучением на ADE20K; для иных наборов классов или предметных областей может потребоваться дополнительное дообучение.
Это модель извлечения признаков изображений для библиотеки timm, созданная как нативное переотображение весов DeepSeek-V4-Flash-Vision-Exp без дополнительного обучения. В репозитории нет весов языковой модели и обученной головы классификации. Визуальный энкодер использует патчи 14×14, блоки SwiGLU, RMSNorm и двумерное осевое RoPE. Модель сохраняет пространственный выравниватель, который группирует токены патчей 3×3 и проецирует их в пространство ширины 4096; ширина основы — 1024. При размере изображения 392×392 модель выдаёт векторные представления изображения, а также позволяет получать промежуточные карты признаков. Поддерживаются прямоугольные изображения с ограничениями на кратность размеров патчу и дополнение границ. Модель предназначена для извлечения визуальных эмбеддингов и подготовки признаков для последующей классификации или других задач компьютерного зрения. Голова классификации отсутствует, поэтому для классификации требуется обучить новую голову на целевом наборе данных. Лицензия — MIT.