IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейSpacious-spy7/football-search-ft-all-pairs — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная для семантического поиска по текстам. Она кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Архитектура включает MPNet, усредняющий pooling и нормализацию векторов. Модель принимает текст, обучена на 611 парах примеров и имеет максимальную длину последовательности 384 токена по README; метаданные каталога указывают нативный контекст в 514 токенов. Модель ориентирована на поиск и сопоставление англоязычных вопросов и текстов, преимущественно связанных с футболом: примеры обучения охватывают футбольную тактику, игроков и соревнования, а также смежные спортивные темы. Её можно применять для поиска релевантных документов или вопросов и для ранжирования кандидатов по сходству. Лицензия в предоставленных данных не указана.
Это модель классификации аудио для проверки, является ли речевая запись подлинной или сгенерированной (deepfake). Её разработала команда Eliya; модель входит в семейство Forensics. В основе — дообученная Microsoft WavLM Large примерно с 300 млн параметров, а для объединения аудиопризнаков используется графовое внимание AASIST. При обучении применялась совместная функция потерь CE и OC-Softmax, которая формирует компактный кластер подлинной речи и отделяет от него поддельные записи. Модель предназначена для анализа речевых фрагментов и выявления подделок, в том числе созданных разными методами синтеза речи. В README приведены результаты EER: 1,78% на отложенной валидации, 0,38% на MLAAD v7 и 0,72% на CodecFake; это результаты указанных наборов оценки и не гарантирует аналогичную точность на других данных. В поставку включены веса в форматах Safetensors и PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
Карточка модели FreedomIntelligence/HuatuoGPT-7B на Hugging Face совпадает с карточкой FreedomIntelligence/HuatuoGPT-13b-delta, поэтому описание составлено по ней. HuatuoGPT-13b-delta — языковая модель семейства LLaMA с 12,9 млрд параметров, представленная проектом HuatuoGPT. Репозиторий направляет к проекту, но не содержит подробностей о назначении и обучении именно этой версии. Модель использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст. В метаданных указано контекстное окно 2048 токенов и формат PyTorch. Лицензия — Apache-2.0.
nvidia/MambaVision-L2-1K — модель компьютерного зрения от NVIDIA для классификации изображений. Это вариант семейства MambaVision с иерархической гибридной архитектурой, сочетающей блоки Mamba и self-attention Transformer; в каталоге указана реализация MambaVisionModelForImageClassification. Модель обучалась для классификации по ImageNet-1K и может также использоваться как экстрактор признаков: она выдаёт признаки четырёх стадий и усреднённое представление изображения. Модель предназначена для распознавания объектов на изображениях и извлечения визуальных признаков для последующих задач компьютерного зрения. В README заявлено сочетание высокой точности Top-1 и пропускной способности, однако численные показатели для этого варианта не приведены. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия указана как other; конкретные условия лицензирования в предоставленных данных не раскрыты.
MaxViT-Tiny-TF-512.in1k — модель классификации изображений из семейства MaxViT, обученная авторами оригинальной работы на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. Она предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Архитектура MaxViT сочетает блоки свёртки MBConv с двумя механизмами self-attention: оконным и сеточным. Версия Tiny содержит 31 млн параметров, рассчитана на входные изображения 512 × 512 пикселей и требует 33,5 GMACs. В репозитории доступны веса PyTorch и safetensors; модель работает с библиотекой timm и обучена на ImageNet-1k. Модель подходит для классификации изображений общего назначения и получения визуальных признаков. Её классификационные способности связаны с классами ImageNet-1k, поэтому качество на специализированных областях или иных наборах категорий может требовать дополнительной настройки. Лицензия — Apache-2.0.
MaxxViT RMLP Nano RW 256 SW IN1K — модель классификации изображений из библиотеки timm, разработанная Россом Уайтменом и обученная на ImageNet-1k. Она предназначена для присвоения изображениям классов и может использоваться как визуальный бэкбон для извлечения признаковых карт и эмбеддингов. Архитектура сочетает свёрточные блоки ConvNeXt и механизмы внимания MaxViT с MLP Log-CPB — смещением относительных позиций, основанным на логарифмических координатах. Модель содержит 16,8 млн параметров, рассчитана на изображения размером 256 × 256 пикселей и требует около 4,4 GMAC на изображение. Модель подходит для стандартных задач распознавания объектов по изображениям и построения визуальных признаков. Карточка не сообщает о поддержке текстового ввода или других модальностей, поэтому здесь указана только обработка изображений. Лицензия — Apache-2.0.
timm/mixer_l16_224.goog_in21k — модель классификации изображений из библиотеки timm, обученная авторами статьи MLP-Mixer на ImageNet-21k. Её архитектура MLP-Mixer использует многослойные перцептроны для обработки патчей изображения; модель также подходит как визуальная основа для извлечения признаков и эмбеддингов. Модель принимает изображения размером 224 × 224 пикселя и выдаёт классы изображений. В ней около 229,6 млн параметров; вычислительная сложность составляет 44,6 GMACs. Весовые файлы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
MobileNet V1 — сверточная модель компьютерного зрения, разработанная Google и представленная в работе MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. Этот вариант предварительно обучен на ImageNet-1k и классифицирует изображения размером 192×192 по 1000 классам набора ImageNet. Модель рассчитана на быструю классификацию изображений при ограниченных ресурсах и может служить основой для задач обнаружения объектов, построения эмбеддингов и сегментации после соответствующей адаптации. Архитектура MobileNet V1 ориентирована на низкие задержки и энергопотребление, в том числе на мобильных устройствах; она балансирует скорость, размер и точность. Репозиторий содержит веса PyTorch. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.
MobileNet V1 — сверточная модель классификации изображений, разработанная авторами статьи «MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications» и предварительно обученная на ImageNet-1k. Эта версия рассчитана на изображения размером 224×224 пикселя и классифицирует их по 1000 классам ImageNet. Модель создана для эффективного распознавания изображений при ограничениях на задержку, размер и энергопотребление, в том числе на мобильных устройствах. Архитектуру можно адаптировать для классификации, обнаружения объектов, построения эмбеддингов и сегментации, однако эта версия предназначена непосредственно для классификации изображений. Модель доступна в формате PyTorch. В репозитории указана лицензия other; конкретные условия использования следует проверять в материалах проекта.
Inabia-AI/modernBERT-large-claim-agent_v4 — дообученный классификатор на базе двунаправленного энкодера answerdotai/ModernBERT-large. Модель предназначена для классификации текстов; название указывает на сценарий проверки утверждений, однако карточка не описывает конкретные метки или формат входных данных. Модель содержит 394,7 млн параметров, построена на архитектуре ModernBERT и поддерживает контекст до 8192 токенов. В README приведены результаты оценки: accuracy 0,8931, precision 0,8293, recall 0,8 и F1 0,8144. Базовая модель описана как англоязычная; отдельные языковые возможности этой версии не уточнены. Лицензия — Apache-2.0.
Это модель классификации изображений NaFlexViT Base Patch16 GAP, разработанная Россом Уайтманом для библиотеки PyTorch Image Models (timm). Она обучена на ImageNet-1k и также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель основана на Vision Transformer с патчами 16×16, двумерными позиционными эмбеддингами и глобальным усреднением признаков. Вариант NaFlex поддерживает изображения с разными соотношениями сторон и разрешениями благодаря гибкой обработке последовательностей патчей; в обучении использовались длины последовательностей от 128 до 1024. Веса содержат около 86,6 млн параметров. Для указанного режима оценки приведена точность Top-1 83,50% и Top-5 96,46% на ImageNet-1k. Модель подходит для распознавания объектов на фотографиях и как визуальный backbone в компьютерном зрении. Она обучена на ImageNet-1k, поэтому качество на специализированных предметных областях может требовать дообучения. Репозиторий распространяется по лицензии Apache-2.0.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-last-third-sft-seed5-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
pit_b_distilled_224.in1k — модель классификации изображений на основе PiT (Pooling based Vision Transformer), опубликованная авторами библиотеки timm. Она обучена на ImageNet-1k с дистилляцией на основе токенов и подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит 74,8 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Модель предназначена для задач компьютерного зрения общего назначения, где требуется распознавать объекты на изображениях или использовать визуальные признаки в последующих системах. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
causal/redimnet2-b2-vox2-ptn-mlx — преобразованная для MLX версия официального чекпойнта ReDimNet2 B2, обученного на VoxCeleb2-dev до этапа дообучения с large-margin. Модель принимает монофонический звук с частотой 16 кГц и выдаёт 192-мерные векторы голоса, предназначенные для задач распознавания и проверки личности говорящего. Репозиторий содержит веса в формате safetensors; библиотека MLX позволяет запускать их в совместимой с MLX среде. По заявлению карточки, эмбеддинги совпадают с PyTorch-референсом с относительной ошибкой до 3,6×10⁻⁶ в проверке на CPU с float32. Модель распространяется по лицензии MIT.
regnetx_160.tv2_in1k — модель компьютерного зрения семейства RegNetX-16GF, подготовленная авторами torchvision и представленная в реализации timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений, а также может использоваться как основа для извлечения признаков и эмбеддингов изображений. Модель содержит 54,3 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Реализация timm поддерживает стохастическую глубину, градиентный чекпойнтинг, настройку шага выходных признаков и конфигурируемые слои активации и нормализации. Веса доступны в форматах PyTorch и safetensors. Модель подходит для распознавания объектов и категорий на изображениях общего назначения и может служить визуальным backbone для последующих задач. Она обучена на ImageNet-1k, поэтому её классификация ограничена категориями и распределением данных этого набора; для других предметных областей может потребоваться адаптация. Лицензия — BSD 3-Clause.
RegNetY-32GF — свёрточная модель компьютерного зрения для классификации изображений, представленная в библиотеке timm. Она содержит около 145 млн параметров и рассчитана на входные изображения размером 384 × 384 пикселя. Модель сначала прошла слабоконтролируемое предобучение SWAG на примерно 3,6 млрд изображений Instagram с хештегами, затем была дообучена авторами статьи на ImageNet-1k. Модель подходит для присвоения изображению меток классов ImageNet-1k, извлечения карт признаков и получения визуальных эмбеддингов. В README для классификации указана точность top-1 86,84% и top-5 98,364% на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; для использования предусмотрена библиотека timm. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование.
ResNet26.bt_in1k — сверточная модель классификации изображений из библиотеки timm. Она основана на архитектуре ResNet-B с блоками остаточных связей, активациями ReLU, начальной свёрткой 7×7 с пулингом и свёрточными проекциями 1×1 для уменьшения размерности в обходных связях. Модель содержит около 16 млн параметров и обучена на ImageNet-1k по рецепту Bag of Tricks с оптимизатором SGD с Nesterov и косинусным расписанием скорости обучения с разогревом. Модель предназначена для классификации изображений и может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. При обучении использовались изображения 224×224 пикселя, при тестировании — 288×288. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
ResNet50.b1k_in1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back B (RA2). Архитектура ResNet использует ReLU, начальную свертку 7×7 с пулингом и свертки 1×1 в shortcut-связях для уменьшения размерности. Модель содержит 25,6 млн параметров; в карточке указаны 4,1 GMACs и размеры изображений 224×224 при обучении и 288×288 при тестировании. Модель предназначена для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Она принимает изображение и выдает метки классов; признаки также можно использовать в качестве эмбеддингов в последующих задачах компьютерного зрения. Карточка не указывает отдельные целевые языки или прикладные области. Распространяется по лицензии Apache-2.0.
RsGoksel/RsGoksel_ITU_Mainframe — модель распознавания турецкой речи, разработанная RsGoksel на основе Whisper large-v3-turbo и дообученная с помощью LoRA с последующим объединением весов. Она предназначена для преобразования аудио в текст на турецком языке; автор указывает на настройку для разных предметных областей, устойчивости к вариативности речи и медицинских сценариев, а также на оптимизацию для обобщения на ранее не встречавшиеся данные. Модель использует архитектуру Whisper и запускается через Transformers; для распознавания в примере задаются турецкий язык и режим транскрибации. Репозиторий распространяется по лицензии MIT. Карточка указывает на турецкую ASR-настройку, но не приводит численных результатов WER или подробных сведений о тестировании. Для работы с новой предметной областью и акустическими условиями качество следует оценивать отдельно. Для более быстрого вывода автор также указывает отдельную версию в формате CTranslate2.
NeuML SportsBERT Small Embeddings — компактная модель эмбеддингов, разработанная NeuML и дообученная с помощью Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и извлечения релевантных материалов в системах RAG. Модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает текст с контекстом до 512 токенов. Обучение включало дистилляцию эмбеддингов более крупной модели DenseOn на случайной выборке статей Википедии, размеченных как относящиеся к спорту. README сообщает о результатах на отдельном наборе для оценки поиска: модель превзошла all-MiniLM-L6-v2 сопоставимого размера, но немного уступила DenseOn. Небольшой размер позволяет использовать её в том числе на CPU. Модель рассчитана прежде всего на англоязычные тексты спортивной тематики; качество для других областей и языков не подтверждено приведёнными данными. Лицензия — Apache-2.0.
Swin Transformer Base — модель компьютерного зрения, разработанная авторами архитектуры Swin Transformer и опубликованная в репозитории Microsoft. Она обучена на ImageNet-1k и классифицирует изображения по 1000 классам. Модель принимает изображения размером 224×224 и использует иерархический Vision Transformer: объединяет патчи на глубоких уровнях и вычисляет внимание внутри локальных окон, что даёт линейную по размеру изображения сложность вычислений. Модель подходит для классификации изображений и как визуальная основа для задач плотного распознавания. Доступны реализации PyTorch, TensorFlow и веса Safetensors. Лицензия — Apache-2.0. README советует использовать дообученные версии для специализированных задач.
Swin Transformer Large — модель компьютерного зрения семейства Swin Transformer, представленная авторами статьи Liu et al. и опубликованная Microsoft. Она обучена на ImageNet-1k и предназначена для классификации изображений по 1000 классам ImageNet; также может служить основой для дообучения на задачах плотного распознавания объектов. Архитектура строит иерархические карты признаков, объединяя патчи изображения на более глубоких уровнях. Механизм внимания работает внутри локальных окон со сдвигом, поэтому вычислительная сложность растёт линейно с размером изображения. Модель рассчитана на изображения с разрешением 384×384 и доступна в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0. Карточка указывает классификацию изображений как основной сценарий; для других задач потребуется подходящая дообученная версия.
Swin Transformer V2 Base — модель компьютерного зрения, представленная авторами Swin Transformer V2 и опубликованная командой Microsoft. Она предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k для классификации изображений с разрешением 384×384; модель содержит около 33 млн параметров. Иерархическая архитектура Vision Transformer объединяет патчи на более глубоких уровнях и вычисляет внимание внутри локальных окон, что позволяет эффективнее масштабироваться на изображения высокого разрешения. В Swin V2 применяются нормализация после остаточного блока с cosine attention, непрерывное смещение позиции и самоконтролируемое предобучение SimMIM. Модель предназначена прежде всего для отнесения изображения к одному из 1000 классов ImageNet. Иерархические признаки также могут использоваться как основа для задач плотного распознавания после соответствующей адаптации. Карточка демонстрирует классификацию на разрешении 384×384. Лицензия — Apache-2.0. Ограничение: исходный чекпойнт ориентирован на классы ImageNet-1k, поэтому для других наборов классов может потребоваться дообучение.
Swin Transformer V2 Base — модель классификации изображений и извлечения визуальных признаков из семейства Swin Transformer V2. Репозиторий поддерживается проектом timm; веса предварительно обучены на ImageNet-22k, а затем дообучены авторами статьи на ImageNet-1k. Модель содержит 87,9 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель предназначена для классификации изображений по категориям, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальный backbone в компьютерном зрении и как основу для прикладных систем распознавания объектов по изображениям. Репозиторий содержит веса в форматах PyTorch и safetensors; библиотека для работы — timm. Лицензия MIT. Качество и применимость могут зависеть от предметной области: обучение проводилось на ImageNet-22k и ImageNet-1k, поэтому точность на изображениях и категориях, отличающихся от этих наборов данных, не гарантируется.
SwinV2 Small Window8 256 — модель классификации изображений и извлечения визуальных признаков из семейства Swin Transformer V2. Её разработали авторы работы Swin Transformer V2 и предварительно обучили на ImageNet-1k. В модели около 49,7 млн параметров; она рассчитана на изображения размером 256 × 256 пикселей и требует 11,6 GMACs на обработку изображения. Модель подходит для классификации изображений по категориям, извлечения карт признаков и получения визуальных эмбеддингов. Её можно использовать как визуальную основу в системах компьютерного зрения и как начальную точку для дообучения на специализированных наборах данных. Репозиторий предоставляет веса в форматах PyTorch и safetensors; лицензия — MIT.
tf_efficientnet_b1.in1k — свёрточная модель EfficientNet для классификации изображений и извлечения визуальных признаков. Её обучили авторы EfficientNet на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. Модель содержит около 7,8 млн параметров и рассчитана на изображения размером 240 × 240 пикселей. Она предсказывает классы объектов ImageNet-1k, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Репозиторий распространяется по лицензии Apache-2.0.
timm/tf_efficientnet_b6.ns_jft_in1k — сверточная модель EfficientNet-B6 для классификации изображений и извлечения визуальных признаков. Исходную модель обучили авторы статей на ImageNet-1k и неразмеченных данных JFT-300M методом полуавтоматического обучения Noisy Student; Ross Wightman перенёс веса в PyTorch. Модель доступна через библиотеку timm и в форматах PyTorch и Safetensors. Модель содержит около 43 млн параметров и рассчитана на изображения размером 528 × 528 пикселей. Она подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Лицензия репозитория — Apache-2.0.
tf_efficientnet_b7.ra_in1k — сверточная модель EfficientNet-B7 для классификации изображений и извлечения визуальных признаков. Она обучена авторами статьи на ImageNet-1k с аугментацией RandAugment, а затем перенесена из TensorFlow в PyTorch Россом Уайтменом и опубликована в библиотеке timm. Модель содержит около 66,3 млн параметров, рассчитана на изображения размером 600 × 600 пикселей и может использоваться как классификатор, backbone для извлечения карт признаков или источник эмбеддингов изображений. Обучение на ImageNet-1k делает её подходящей для распознавания объектов из набора классов ImageNet и переноса признаков в другие компьютерно-зрительные задачи. Веса доступны в форматах PyTorch и safetensors. Модель принимает изображения и выдаёт классовые оценки либо визуальные признаки; языковой ввод и генерация не предусмотрены. Лицензия — Apache-2.0.
alakxender/trocr-dv-diet-base-bert — модель распознавания текста на изображениях для дивехи (Dhivehi, мальдивского языка). Она разработана на основе архитектуры TrOCR: визуальный энкодер DeiT-base-distilled-patch16-384 соединён с декодером alakxender/bert-base-dv; модель дообучена на 10 тысячах пар изображений и текстов дивехи. Входное изображение обрабатывается в размере 384×384 пикселя, а генерация использует beam search с четырьмя лучами и максимальной длиной последовательности 64 токена. Модель предназначена для извлечения текста из изображений и может применяться для оцифровки документов и распознавания печатного текста на дивехи. В README приведён пример распознанного фрагмента; оценочные метрики качества не указаны. Модель распространяется по лицензии Apache-2.0.
timm/twins_svt_large.in1k — модель классификации изображений и извлечения визуальных признаков из семейства Twins-SVT, обученная авторами статьи на ImageNet-1k. Она предназначена для отнесения изображения к классу, а также может использоваться как визуальная основа для получения эмбеддингов и построения других компьютерно-зрительных систем. Модель построена на архитектуре Vision Transformer с пространственным вниманием Twins-SVT и содержит около 99,3 млн параметров. Указанный размер входного изображения — 224 × 224 пикселя; вычислительная сложность составляет 15,1 GMACs. Репозиторий предоставляет веса PyTorch и safetensors для библиотеки timm. Модель подходит для классификации изображений и извлечения признаков на данных, близких к ImageNet-1k. Её назначение ограничено визуальными задачами; карточка не заявляет поддержку обработки текста или иных модальностей. Лицензия — Apache-2.0.