IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейtimm/dla34.in1k — модель компьютерного зрения на архитектуре DLA (Deep Layer Aggregation), разработанной авторами соответствующей научной работы и обученной на ImageNet-1k. Она предназначена для классификации изображений, а также может служить визуальной основой для извлечения карт признаков и эмбеддингов. Модель содержит около 15,7 млн параметров; для входа в карточке указан размер изображения 224 × 224 пикселя. Веса доступны в форматах PyTorch и Safetensors и рассчитаны на работу с библиотекой timm. Лицензия — BSD 3-Clause.
ECA-ResNet-T — сверточная модель классификации изображений из библиотеки timm с механизмом Efficient Channel Attention. Она разработана для распознавания объектов на изображениях и может использоваться как основа для извлечения признаков и построения эмбеддингов. Модель содержит 16 млн параметров и требует около 3,4 GMACs; для обучения использовались изображения 256×256, для оценки — 320×320 пикселей. Она обучена на ImageNet-1k с рецептом RandAugment RA2 и опубликована в форматах PyTorch и safetensors. Модель предназначена для классификации изображений общего назначения, а также для получения признаковых карт и эмбеддингов в компьютерном зрении. В README приведено сравнение результатов моделей, но конкретные метрики этой модели в доступном фрагменте отсутствуют. Лицензия — Apache-2.0.
Experiment26Yamshadow_Experiment24Ognoexperiment27 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Ognoexperiment27-7B. Разработчик карточки — MaziyarPanahi. Модель предназначена для генерации текста по текстовым запросам. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Карточка не описывает специализированные области применения или поддержку конкретных естественных языков. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или дополнительных инструкций по использованию.
Это модель FasterNet-T1 для классификации изображений и извлечения визуальных признаков, опубликованная авторами статьи «Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks» и доступная в библиотеке timm. Она обучена на ImageNet-1k и рассчитана на изображения размером 224 × 224 пикселя. Модель содержит 7,6 млн параметров и требует около 0,9 GMAC на один проход. Её можно использовать для отнесения изображения к классу ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. FasterNet разработана с упором на высокую скорость вычислений. Модель распространяется под лицензией Apache-2.0; веса доступны в форматах PyTorch и safetensors.
FM-Speech — модель ASLP-lab для анализа речи, созданная на основе мультимодальной архитектуры Qwen3-Omni-30B-A3B-Instruct. Она принимает необработанное аудио речи и формирует структурированный JSON с атрибутами речи по 14 измерениям. Для обучения использован подход Progressive Curriculum Fine-Tuning с последовательным переходом от вопросов с выбором ответа и вопросов-ответов к наращиванию возможностей и итоговому формированию JSON. Модель подходит для детального анализа речевых характеристик; в README рекомендуется использовать vLLM для инференса и развёртывания. Весовые файлы представлены в формате safetensors. Лицензия — Apache-2.0.
hrnet_w18_ssld.paddle_in1k — модель классификации изображений из семейства HRNet, представленная в библиотеке timm. Она обучена с дистилляцией SSLD на ImageNet-1k и предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для получения признаковых представлений. Модель содержит 21,3 млн параметров; указан размер изображения 224 × 224 для обучения и 288 × 288 для тестирования. Модель принимает изображения и выдаёт метки классов или признаки изображений. Веса доступны в формате PyTorch/SafeTensors, лицензия — MIT. Карточка не описывает поддержку конкретных естественных языков; ограничения по качеству и применению не приведены.
HuatuoGPT-13b-delta — языковая модель семейства LLaMA с 12,9 млрд параметров, представленная проектом HuatuoGPT. Репозиторий направляет к проекту, но не содержит подробностей о назначении и обучении именно этой версии. Модель использует архитектуру LlamaForCausalLM, принимает текст и генерирует текст. В метаданных указано контекстное окно 2048 токенов и формат PyTorch. Лицензия — Apache-2.0.
Korean Document QA Enhanced — корейская экстрактивная модель для ответов на вопросы по документам, созданная дообучением model_10000 на новых 10 000 вопросах KorQuAD v1.0. Она находит ответный фрагмент в тексте документа и подходит для поиска фактов в корейских материалах. Модель построена на архитектуре BERT, содержит 137,8 млн параметров и принимает контекст длиной до 512 токенов. На указанной выборке KorQuAD dev модель получила EM 0,822, символьный F1 0,9256 и точное совпадение границ ответа 0,800. Она предназначена прежде всего для вопросов и контекста на корейском языке. Обучение не включало примеры вопросов без ответа; на небольшой самодельной проверке предупреждение об отсутствии ответа было верным в 80% случаев. Описаны случаи коротких ошибочных ответов при высокой уверенности на реальных PDF, а также пропуски при вопросах на корейском по английскому контексту. Лицензия — CC BY-SA 4.0.
MambaVision-S-1K — модель компьютерного зрения от NVIDIA из семейства MambaVision, объединяющего архитектуры Mamba и Transformer в иерархической сети. В ней используются блоки self-attention на поздних слоях для моделирования дальних пространственных связей. Модель работает с изображениями и предназначена для классификации изображений и извлечения визуальных признаков; карточка связывает её с ImageNet-1K. Модель можно применять для присвоения изображениям меток классов, а также получать признаки с четырёх этапов сети и вектор после усреднённого pooling. Разработчики сообщают о высокой точности и пропускной способности, но конкретные показатели для этого чекпойнта в предоставленных материалах не приведены. Лицензия указана как other, поэтому условия использования следует уточнять в лицензии репозитория.
MaxViT Large TF 512 — модель классификации изображений из семейства MaxViT, перенесённая из официальной реализации TensorFlow в PyTorch. Исходную архитектуру разработали авторы статьи MaxViT; перенос выполнил Ross Wightman для библиотеки timm. Модель содержит около 212,3 млн параметров и рассчитана на входные изображения размером 512 × 512 пикселей. Архитектура сочетает блоки MBConv и два типа внимания: оконное и сеточное. Модель предварительно обучена на ImageNet-21k, затем дообучена авторами статьи на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Репозиторий распространяется по лицензии Apache-2.0.
MobileNetV4 Conv Medium — сверточная модель классификации изображений из библиотеки timm, опубликованная Россом Уайтманом. Она предварительно обучена на ImageNet-12k, а затем дообучена на ImageNet-1k. Модель содержит около 9,7 млн параметров и рассчитана на изображения размером 384 × 384 пикселя; её также можно использовать как основу для извлечения признаков и получения эмбеддингов изображений. Модель подходит для классификации объектов на изображениях и как компактный визуальный бэкбон в приложениях для мобильных устройств. В карточке приведены показатели вычислительной сложности — 2,5 GMACs — и точности семейства, но точность именно этой конфигурации в доступном фрагменте таблицы не указана. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.
Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
Это дообученная модель Microsoft Phi-4 Multimodal Instruct для распознавания турецкой речи и преобразования аудио в текст. В обучении разморозили слои энкодера и провели одну эпоху на парах турецкого аудио и текста; использованы датасеты Common Voice, лекции Khan Academy на турецком и записи с шумом. Модель содержит 3,8 млрд параметров, построена на архитектуре Phi4MM, работает через Transformers и имеет контекст 4096 токенов. Модель предназначена для транскрибирования турецкой речи, в том числе коротких записей и образовательных лекций. В README приведён результат WER 9,7% на тесте Common Voice, однако автор отмечает возможную утечку говорящих между обучающей и тестовой выборками, короткую длительность высказываний и влияние нормализации текста. На шумных или отличающихся по стилю записях качество может быть хуже; модель всё ещё развивается. Лицензия — MIT.
ReLU-CLIP — компактная модель классификации изображений без дополнительного обучения, созданная командой, представившей исследование ReLU-CLIP. В ней замороженный визуальный энкодер CLIP ViT-L/14 дистиллирован в небольшую сверточную сеть efflite4 с ReLU/ReLU6 и BatchNorm; модель объединяет визуальные представления изображений с заранее подготовленными текстовыми представлениями категорий. Основной сценарий — классификация по пользовательским текстовым описаниям, включая ImageNet-1k и собственные наборы классов. Вариант efflite4 содержит 12,71 млн параметров. Для него заявлены точность top-1 68,25% на ImageNet-1k в int8, размер графа 13,6 МиБ и скорость 37,8 кадра/с на Coral USB Edge TPU; полный граф выполняется на ускорителе. Репозиторий включает веса PyTorch и графы TFLite, в том числе int8 для Edge TPU. Модель принимает изображение, а классификационные оценки получают сравнением его эмбеддинга с текстовыми эмбеддингами классов; текстовые представления можно подготовить заранее. Результат зависит от точного предобработчика изображения и L2-нормализации как текстовых представлений, так и выходного эмбеддинга модели. Указанные показатели точности измерены интерпретатором TFLite на CPU, а задержка — на Edge TPU; результаты на устройстве не полностью совпадают с CPU. Исследование использовало один seed, поэтому разброс между запусками не оценён. Лицензия — MIT.
RepGhostNet 0.50 — компактная модель классификации изображений и извлечения признаков, опубликованная авторами работы о RepGhost. Она обучена на ImageNet-1k и предназначена для классификации изображений, получения карт признаков и визуальных эмбеддингов. В модели около 2,3 млн параметров; стандартный размер входного изображения — 224 × 224 пикселя. Репозиторий содержит веса PyTorch и SafeTensors, а для работы предусмотрена библиотека timm. Модель распространяется по лицензии MIT.
timm/resmlp_36_224.fb_in1k — модель классификации изображений семейства ResMLP, обученная авторами статьи на ImageNet-1k. Она подходит для присвоения изображениям категорий из набора ImageNet-1k и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Архитектура построена на feedforward-блоках ResMLP; модель содержит 44,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель принимает изображения и выдаёт метки классов; её признаки также можно использовать для задач поиска и сравнения изображений. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
ResNet-S — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k в Apache Gluon с рецептами Bag of Tricks. Архитектура использует активации ReLU, трёхслойный начальный блок из свёрток 3×3 с увеличенной шириной и пулингом, а также обходные соединения с понижающей выборку свёрткой 1×1. Модель содержит 60,3 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель предназначена для определения классов на изображениях и может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не сообщает метрики качества именно этой модели.
RsGoksel/RsGoksel_ITU_Mainframe-balanced-ct2 — турецкая модель автоматического распознавания речи, созданная RsGoksel на основе openai/whisper-large-v3-turbo с помощью LoRA fine-tuning. Репозиторий содержит сборку CTranslate2 в формате float16 для быстрого вывода через faster-whisper и WhisperX. Модель предназначена для транскрибирования турецкой речи в разных предметных областях, включая чистую и менее устойчивую к шуму речь, а также медицинские записи. В README рекомендуется задавать язык tr и отключать condition_on_previous_text; качество оценивается метрикой mean-per-utterance WER после нормализации турецкого текста. Модель принимает аудио и выдаёт текст. Лицензия — MIT. README не приводит количественных результатов WER или подробностей о размере и длине контекста.
Swin Transformer v2 Tiny — модель компьютерного зрения, разработанная авторами статьи Swin Transformer V2 и предварительно обученная на ImageNet-1k. Это Vision Transformer с иерархическим представлением признаков: он объединяет патчи на глубоких уровнях и выполняет внимание внутри локальных окон, что снижает вычислительную сложность при обработке изображений. Модель содержит около 33 млн параметров и рассчитана на изображения разрешением 256 × 256 пикселей. Модель предназначена для классификации изображений по 1000 классам ImageNet. Её также можно использовать как основу для задач плотного распознавания после адаптации. В Swin Transformer v2 применяются нормализация после остаточных связей и косинусное внимание для стабильного обучения, а также непрерывное смещение позиций для переноса на входы более высокого разрешения. Лицензия Apache-2.0.
SwinV2 Tiny Window16 256 — модель классификации изображений из библиотеки timm, основанная на архитектуре Swin Transformer V2. Авторы статьи предварительно обучили её на ImageNet-1k. Модель содержит 28,3 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений по категориям, а также может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Вычислительная сложность указана как 6,7 GMACs. Веса доступны в форматах PyTorch и safetensors; лицензия — MIT. Классификация ограничена набором категорий ImageNet-1k и доменом обучающих данных, поэтому качество на специализированных изображениях может быть ниже. Модель принимает изображения и выдаёт метки классов и оценки.
tf_efficientnet_b0.in1k — свёрточная модель EfficientNet для классификации изображений и извлечения визуальных признаков. Её обучили авторы EfficientNet на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель распространяется через библиотеку timm. Модель содержит около 5,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Это компактная модель с небольшими вычислительными затратами, подходящая как визуальная основа для прикладных систем. Её обучение ориентировано на ImageNet-1k, поэтому качество на других предметных областях может потребовать адаптации. Лицензия — Apache-2.0.
timm/tf_efficientnet_b2.in1k — сверточная модель EfficientNet-B2 для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель распространяется через библиотеку timm. Модель содержит около 9,1 млн параметров, требует изображение размером 260 × 260 пикселей и может использоваться как классификатор, основа для извлечения карт признаков или получения эмбеддингов изображений. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для задач компьютерного зрения общего назначения. Она не обрабатывает естественный язык и обучена на классах ImageNet-1k, поэтому может хуже работать на изображениях и категориях, отличающихся от обучающих данных.
tf_efficientnet_b5.ra_in1k — модель классификации изображений из семейства EfficientNet, обученная авторами статьи на ImageNet-1k с аугментацией RandAugment и портированная в PyTorch Россом Уайтменом. Репозиторий распространяет модель через библиотеку timm; доступны веса PyTorch и Safetensors, лицензия Apache-2.0. Модель предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она содержит около 30,4 млн параметров и рассчитана на изображения размером 456 × 456 пикселей. Карточка не приводит отдельные сведения о точности или перечне классов.
tf_efficientnet_b6.aa_in1k — сверточная модель классификации изображений из семейства EfficientNet. Её обучили авторы EfficientNet на ImageNet-1k с политикой аугментации AutoAugment, а Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 43 млн параметров, расчётный размер входного изображения — 528 × 528 пикселей. Модель предназначена для классификации изображений по классам ImageNet-1k. Её также можно использовать как визуальную основу для извлечения карт признаков и эмбеддингов изображений. Модель принимает изображения и выдаёт метки классов либо визуальные признаки в зависимости от выбранного способа применения. Карточка указывает лицензию Apache-2.0. Классификация ограничена классами ImageNet-1k; качество на изображениях и задачах, отличающихся от обучающих данных, не гарантируется.
tf_efficientnet_l2.ns_jft_in1k — сверточная модель классификации изображений из семейства EfficientNet. Исходную модель обучили авторы работ EfficientNet и Noisy Student на ImageNet-1k и неразмеченных данных JFT-300M методом полу-supervised обучения; модель перенёс в PyTorch Росс Уайтман. Репозиторий предоставляет веса в форматах PyTorch и Safetensors, библиотека для работы — timm. Модель содержит около 480,3 млн параметров и рассчитана на входные изображения размером 800 × 800 пикселей. Она предназначена для классификации изображений по категориям ImageNet-1k, а также может использоваться как основа для извлечения признаков и эмбеддингов изображений. Большой размер и вычислительная стоимость ограничивают применение на устройствах и в сценариях с жёсткими требованиями к задержке. Лицензия — Apache-2.0.
tf_efficientnet_lite0.in1k — сверточная модель классификации изображений семейства EfficientNet-Lite. Её обучили авторы статьи EfficientNet на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 4,7 млн параметров, расчётный размер изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и визуальных эмбеддингов. Компактный размер и вычислительная стоимость около 0,4 GMAC делают её подходящей для сравнительно лёгких сценариев компьютерного зрения. Лицензия — Apache-2.0.
TitaNet-Large-GGUF — преобразованная в формат GGUF версия модели nvidia/speakerverification_en_titanet_large для инференса на C/C++ через CrispASR. Это аудиомодель на основе depthwise separable Conv1D encoder и ASP decoder; она содержит 23 млн параметров и формирует L2-нормализованные векторы голоса размерности 192. Модель предназначена для извлечения голосовых эмбеддингов, регистрации образцов голоса и идентификации говорящих, в том числе во время транскрибации. Проверка показывает почти полное совпадение эмбеддингов с эталонной реализацией NeMo при подаче готовых mel-признаков; сквозное совпадение ниже из-за различий точности вычисления STFT в mel-фронтенде. Репозиторий содержит конверсию и/или квантизацию весов в GGUF без дообучения и изменения архитектуры или возможностей исходной модели. Лицензия — CC-BY-4.0; применяются условия лицензии исходной модели NVIDIA.
Verdict v1 — небольшая модель для принятия решений по изображениям, разработанная автором репозитория shubhambaid. Она получает изображение и вопрос с ограниченным набором ответов, затем за один проход выдаёт вероятности вариантов, включая возможность воздержаться с ответом «другое»; генерации текста нет. Модель поддерживает вопросы с выбором одного ответа и проверку утверждения в формате «да/нет». Её обучаемая часть — трёхслойный трансформер примерно на 6,2 млн параметров; визуальный энкодер SigLIP 2 base patch16 224 заморожен и загружается отдельно. Варианты ответа можно переставлять без влияния на результат. Модель предназначена прежде всего для классификации изображений по названиям классов и простых проверок наличия объектов или категорий. На проверенных тестах точность выбора на невиданных классах немного ниже, чем у исходного SigLIP 2 zero-shot; способность воздерживаться хуже переносится на новые области. Обучение охватывало CIFAR-100, Oxford-IIIT Pets, Oxford Flowers-102, DTD и Food-101. Текстовые метки лучше подавать в форме «a photo of a {label}»; описание критерия по умолчанию игнорируется. Модель работает с изображениями размером 224 пикселя, поэтому ограничена в распознавании мелких деталей и текста внутри изображения. Лицензия репозитория в предоставленных данных не указана; лицензии обучающих наборов различаются, и автор рекомендует проверять их перед коммерческим использованием.
Карточка модели AITeamVN/Vi-Qwen2-1.5B-RAG на Hugging Face совпадает с карточкой AITeamVN/Vi-Qwen2-3B-RAG, поэтому описание составлено по ней. Vi-Qwen2-3B-RAG — языковая модель семейства Qwen2, дообученная командой разработчиков, указанной в карточке, для задач генерации с дополнением найденными материалами (RAG). Модель рассчитана на вьетнамский язык и поддерживает диалоговый режим; в метаданных указаны 3,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы по извлечённым документам: она может находить полезные сведения в зашумлённом контексте, отказываться от ответа при отсутствии нужной информации, объединять факты из нескольких фрагментов и определять, содержится ли ответ в контексте. Также её можно применять как чат-модель для последовательных вопросов. В карточке описана оценка определения наличия ответа с точностью около 99%, но подробности методики и воспроизводимые результаты не приведены. Это плотная авторегрессионная модель Qwen2 для генерации текста, доступная в формате Safetensors и рассчитанная на использование через Transformers. README описывает версию Vi-Qwen2-7B-RAG, тогда как идентификатор репозитория и метаданные относятся к Vi-Qwen2-3B-RAG; поэтому сведения о специфических результатах и сценариях меньшей версии следует считать описанием семейства, а не подтверждёнными отдельными оценками этой модели. Лицензия — Apache-2.0. Разработчики предупреждают, что модель специализирована на RAG и может быть ненадёжной в вопросах политики и общества, а также проявлять предвзятость или неуместные взгляды.
Perceiver IO for vision — модель классификации изображений на основе архитектуры Perceiver, представленная авторами работы Perceiver IO и опубликованная в репозитории DeepMind. Она предварительно обучена на ImageNet: 14 млн изображений и 1000 классов. Модель принимает RGB-изображения размером 224×224 после центрирования, изменения размера и нормализации и выдаёт оценки принадлежности к классам. Архитектура обрабатывает значения пикселей напрямую, используя обучаемые одномерные позиционные эмбеддинги без специального кодирования двумерной структуры изображения. Самовнимание применяется к компактному набору латентных векторов, что снижает зависимость его вычислительных затрат от размера входа. На ImageNet-1k указана точность top-1 72,7%; извлечённые признаки также можно использовать для обучения классификатора под конкретный набор размеченных изображений. Модель опубликована под лицензией Apache-2.0.