IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейgoogle/long-t5-tglobal-large — крупная англоязычная модель Google Research из семейства LongT5. Это предварительно обученный трансформер-кодировщик-декодировщик для генерации текста в формате «текст в текст», обученный восстанавливать исходный текст по искажённому входу. Архитектура использует transient-global attention, чтобы эффективнее обрабатывать длинные последовательности; в метаданных указаны 385,2 млн параметров и контекст 4096 токенов. Модель предназначена прежде всего для дообучения под суммаризацию и ответы на вопросы по длинным документам. В README приведены результаты её дообученных вариантов на наборах данных для научных статей, патентов, биомедицинских текстов и вопросов общего характера. Модель рассчитана на английский язык и принимает текст, выдавая текст. Это базовый чекпойнт, а не готовый специализированный помощник: для конкретной задачи рекомендуется supervised fine-tuning. Выпускается по лицензии Apache-2.0. Заявленная в README способность обрабатывать до 16 384 входных токенов относится к описанным экспериментам и не совпадает с контекстом 4096 токенов в метаданных репозитория.
mmBERT-32K Factcheck Classifier (Merged) — модель классификации текста от llm-semantic-router, созданная на базе llm-semantic-router/mmbert-32k-yarn. Она определяет один из двух классов для входного текста и предназначена для задач проверки фактов и маршрутизации материалов на проверку. Модель использует архитектуру ModernBERT с масштабированием RoPE методом YaRN, содержит 306,9 млн параметров и поддерживает контекст до 32 768 токенов. Это мультиязычная модель; формат репозитория включает Safetensors и ONNX. Слияние адаптера позволяет запускать её напрямую без PEFT. Модель подходит для классификации длинных текстов, например статей или публикаций, при автоматизированной проверке фактов. Карточка не уточняет названия двух классов, языковой охват по отдельности и качество на конкретных наборах данных. Лицензия — Apache 2.0.
Next-ViT Large — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи Next-ViT на наборе Unknown-6M и ImageNet-1k с использованием дистилляции SSLD. Модель содержит около 57,9 млн параметров; в карточке также указаны вычислительная сложность 10,7 GMACs и размер входного изображения 224 × 224 пикселя. Модель предназначена для определения объектов и категорий на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В таблице результатов для варианта с разрешением 384 указаны точность Top-1 86,542% и Top-5 98,142%. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
Qari-OCR-0.2.2.1-VL-2B-Instruct — мультимодальная модель для оптического распознавания арабского текста на изображениях страниц документов. Она разработана в рамках проекта NAMAA и является дообученной версией Qwen2-VL-2B-Instruct на арабском наборе данных OCR объёмом 50 000 записей. Модель предназначена прежде всего для извлечения текста со страниц документов и поддерживает арабский язык. Модель основана на архитектуре Qwen2-VL и относится к классу vision-language моделей с параметрами порядка 2 млрд. Она рассчитана на обработку изображений и генерацию текстового представления документа, включая арабские диакритические знаки ташкиль. В обучении использовались различные размеры шрифта, форматы страниц и набор арабских шрифтов, поэтому модель подходит для документов с разными шрифтами и макетами. Длина контекста и точный перечень поддерживаемых модальностей в README не указаны. Согласно приведённой оценке, модель показала WER 0,221, CER 0,059 и BLEU 0,597 на тестовом наборе, преимущественно содержащем тексты с диакритическими знаками. Ограничения включают возможное снижение качества на очень мелком или крупном тексте, редких шрифтах, сложных многоколоночных макетах, рукописном или декоративном письме, текстурированных фонах, размытых изображениях, а также на вертикально или диагонально ориентированном тексте. Модель распространяется по лицензии Apache-2.0.
ResNet50D.a3_in1k — сверточная модель классификации изображений семейства ResNet-D, опубликованная разработчиками timm. Она обучена на ImageNet-1k по рецепту A3 из работы «ResNet Strikes Back» и подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов. Архитектура использует активации ReLU, начальный блок из трёх свёрток 3×3 с пулингом и shortcut downsample с усредняющим пулингом 2×2 и свёрткой 1×1. В модели 25,6 млн параметров и около 2,2 GMACs. Размер изображения при обучении составлял 160×160, при тестировании — 224×224. Доступны веса PyTorch и safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Модель предназначена для изображений и не обрабатывает текст или другие модальности.
ResNeXt-50 32x4d — модель классификации изображений и извлечения визуальных признаков из семейства ResNeXt, опубликованная авторами в библиотеке timm. Она использует остаточные блоки с групповыми свёртками 3×3, свёртки 1×1 для понижения размерности и ReLU. Модель содержит около 25 млн параметров и рассчитана на изображения размером 224×224 пикселя. Модель предварительно обучена на части YFCC100M методом полунадзираемого обучения, затем дообучена на ImageNet-1k. Её можно использовать для классификации изображений, извлечения карт признаков и получения эмбеддингов, в том числе как визуальный backbone для компьютерного зрения. В карточке указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование.
timm/tf_efficientnet_b3.in1k — модель классификации изображений семейства EfficientNet, обученная авторами статьи на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. Вариант содержит около 12,2 млн параметров и рассчитан на изображения размером 300 × 300 пикселей. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как сверточную основу для извлечения карт признаков и изображенческих эмбеддингов. Репозиторий предоставляет веса в форматах PyTorch и safetensors и распространяется по лицензии Apache-2.0.
timm/tf_efficientnet_lite3.in1k — свёрточная модель семейства EfficientNet-Lite для классификации изображений и извлечения визуальных признаков. Исходную модель обучили авторы EfficientNet на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; репозиторий распространяет модель в форматах PyTorch и safetensors через библиотеку timm. Модель содержит около 8,2 млн параметров, рассчитана на изображения размером 300 × 300 пикселей и выполняет классификацию по категориям ImageNet-1k. Её также можно использовать как визуальную основу для извлечения карт признаков и эмбеддингов изображений. Лицензия — Apache-2.0.
tf_efficientnetv2_l.in21k_ft_in1k — сверточная модель EfficientNetV2-L для классификации изображений. Её обучили авторы статьи на ImageNet-21k и дообучили на ImageNet-1k; Ross Wightman перенёс веса из TensorFlow в PyTorch. Модель содержит около 118,5 млн параметров и доступна через библиотеку timm. Модель предназначена для классификации изображений и может использоваться как основа для извлечения признаков, карт признаков и эмбеддингов изображений. Размер изображения при обучении — 384×384 пикселя, при тестировании — 480×480. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
Trendyol LLM v1.0 — базовая генеративная языковая модель, разработанная Trendyol и дообученная на основе Mistral-7B-v0.1. Это авторегрессионный трансформер Mistral с 7,2 млрд параметров; модель принимает текст и генерирует текст. Для версии base указано дообучение с LoRA на 10 млрд токенов, а максимальная длина последовательности при обучении составляла 1024 токена. В метаданных указан нативный контекст 32 768 токенов. Модель предназначена для продолжения текста и может служить основой для приложений генерации текста и диалоговых сценариев на английском и турецком языках. Карточка также упоминает варианты chat и DPO. Модель распространяется по лицензии Apache-2.0. Качество не проверено в широком круге реальных сценариев: возможны фактические ошибки, предвзятые или токсичные ответы. Понимание сленга и языков, кроме английского и турецкого, может быть ограниченным; результаты следует проверять.
Perceiver IO for vision — модель семейства Perceiver, разработанная Google DeepMind и представленная в работе Jaegle и соавторов. Она предназначена для классификации изображений и предобучена на ImageNet: 14 млн изображений и 1000 классов. Для подготовки изображения применяется свёрточная сеть с max pooling, после чего Perceiver обрабатывает данные через перекрёстное внимание между входом и небольшим набором латентных векторов. Такой подход позволяет ограничить зависимость затрат на self-attention от размера входа. Модель принимает изображения, обрезанные и приведённые к разрешению 224×224, с нормализацией RGB-каналов, и выдаёт оценки классов. На ImageNet-1k указана точность top-1 82,1%. Чекпойнт можно использовать для классификации или как основу для извлечения признаков и обучения классификаторов на размеченных наборах данных. Распространяется по лицензии Apache-2.0.
Это модель классификации изображений на базе Vision Transformer (ViT), обученная авторами исследования на ImageNet-21k и дообученная на ImageNet-1k с дополнительной аугментацией и регуляризацией. Ross Wightman перенёс веса из JAX в PyTorch; модель доступна через библиотеку timm и в форматах PyTorch и Safetensors. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Она предназначена для классификации изображений по категориям, а также может использоваться как визуальная основа для получения эмбеддингов и построения компьютерного зрения. Лицензия Apache-2.0. Карточка описывает обучение на ImageNet, поэтому качество на других типах изображений или предметных областях может отличаться.
timm/vit_base_patch16_dinov3_qkvb.lvd1689m — визуальный энкодер на архитектуре Vision Transformer (ViT) с патчами 16×16, реализованный в библиотеке timm. Модель DINOv3 обучена на наборе LVD-1689M методом дистилляции от DINOv3 ViT-7B. Веса содержат 85,7 млн параметров; указанная в карточке рабочая ширина изображения — 256×256 пикселей. Модель извлекает признаки, карты признаков и эмбеддинги изображений. Эти представления можно использовать как основу для классификации, сегментации, поиска похожих изображений и других задач компьютерного зрения. Вариант qkvb сохраняет нулевые смещения QKV-проекций для совместимости с поведением исходной модели и Transformers; в timm предусмотрено небольшое численное отличие в представлении периодов RoPE. Лицензия обозначена как DINOv3 с типом метаданных other.
Модель vit_base_patch32_clip_448.laion2b_ft_in12k_in1k разработана сообществом timm и представляет собой Vision Transformer для классификации изображений и извлечения признаков. Она предварительно обучена на парах изображение–текст из LAION-2B с использованием OpenCLIP, затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 88,3 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. Её можно применять для классификации изображений и получения их эмбеддингов в задачах визуального поиска и анализа. Репозиторий предоставляет веса в форматах PyTorch и safetensors; модель распространяется по лицензии Apache-2.0. Качество зависит от соответствия входных изображений обучающим данным и классовому набору ImageNet. Карточка не описывает поддержку текстового ввода или генерацию изображений.
Это модель классификации изображений на базе Vision Transformer (ViT), опубликованная Ross Wightman в библиотеке timm. Вариант архитектуры использует патчи 16×16, четыре регистра и глобальное усреднение признаков; модель содержит 60,4 млн параметров и рассчитана на изображения размером 256×256 пикселей. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как визуальный бэкбон для извлечения карт признаков и эмбеддингов. В сравнении из карточки точность top-1 составляет 85,418%, а top-5 — 97,480%. Для использования доступны веса PyTorch и safetensors через timm. Лицензия — Apache-2.0. Модель рассчитана на изображения; карточка не заявляет поддержку текстовых или других входных модальностей.
timm/vit_large_patch14_clip_336.openai_ft_in12k_in1k — модель классификации изображений и визуальный backbone на основе Vision Transformer (ViT), опубликованная проектом timm. Исходно модель предварительно обучена OpenAI с помощью CLIP на парах изображений и текста WIT-400M, затем дообучена в timm на ImageNet-12k и ImageNet-1k. Модель содержит около 304,5 млн параметров и рассчитана на изображения размером 336 × 336 пикселей. Она предназначена для классификации изображений и извлечения визуальных эмбеддингов; может использоваться как backbone в задачах компьютерного зрения. Репозиторий содержит веса PyTorch в формате safetensors. Модель распространяется по лицензии Apache-2.0. Ее специализация — изображения, поэтому языки и текстовые возможности CLIP не следует считать отдельным интерфейсом для генерации или обработки текста.
vit_pe_core_tiny_patch16_384.fb — визуальная модель из экосистемы timm, доступная через Hugging Face и предназначенная для извлечения признаков изображений. По названию модели, она использует архитектуру Vision Transformer (ViT) с конфигурацией Tiny, патчами 16×16 и входным разрешением 384 пикселя; суффикс fb является частью идентификатора варианта модели. Модель подходит для построения векторных представлений изображений, визуального поиска, кластеризации, сравнения изображений и использования в качестве визуального энкодера в прикладных ML-пайплайнах. Метаданные указывают поддержку библиотек timm и Transformers, а также формат весов Safetensors. Модель предназначена для извлечения признаков, а не для генерации текста или изображений. В предоставленных данных отсутствуют сведения о числе параметров, языках, длине контекста, исходном датасете и точности на конкретных бенчмарках. Лицензия — Apache-2.0.
volo_d1_224.sail_in1k — модель классификации изображений на основе архитектуры VOLO (Vision Outlooker), доступная через библиотеку timm. Она обучена авторами статьи на ImageNet-1k с разметкой токенов и может использоваться для определения объектов и сцен на изображениях, а также как визуальный backbone для извлечения признаков. Модель содержит 26,6 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует входное изображение. Репозиторий предоставляет веса PyTorch и SafeTensors. Лицензия Apache-2.0.
intanm/xlmr-quoref — модель XLM-RoBERTa, дообученная на наборе данных Quoref для ответов на вопросы по тексту. Она принимает вопрос и контекст и предназначена для извлечения ответа из предоставленного текста. Модель имеет архитектуру XLM-RoBERTa с 305,2 млн параметров и поддерживает контекст длиной до 514 токенов. В карточке приведено значение loss 2,7996 на оценочном наборе, но подробности методики оценки и качества не раскрыты. Модель распространяется по лицензии MIT.
YamshadowInex12_Experiment24Alloyingotneoy — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/Experiment24Alloyingotneoy-7B. Это плотная причинно-языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, распространяемая в формате safetensors. Модель предназначена для генерации текста по текстовому запросу. Данных о специализации по предметной области или языкам нет. Лицензия — Apache-2.0.
YamshadowInex12_Experiment28Inex12 — слитая текстовая модель MaziyarPanahi, созданная на основе automerger/YamshadowInex12-7B и automerger/Experiment28Inex12-7B. Она предназначена для генерации текста и диалоговых сценариев на базе архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Метаданные указывают на поддержку генерации текста, но не приводят сведений о специализации по доменам или языкам.
BEiT Large — модель классификации изображений Microsoft на основе Vision Transformer с трансформерным энкодером. Она предварительно обучена на ImageNet-21k методом самоконтролируемого обучения с предсказанием визуальных токенов для скрытых патчей, а затем дообучена для классификации изображений на ImageNet-22k. Размер модели — 411 млн параметров; изображения обрабатываются при разрешении 224×224 пикселя как патчи 16×16. В архитектуре используются относительные позиционные эмбеддинги, а представление изображения формируется усреднением состояний патчей. Модель предназначена для присвоения изображениям классов ImageNet и может служить энкодером признаков для обучения классификаторов на размеченных наборах изображений. Она рассчитана на входные изображения и выдаёт метки классов. Карточка описывает обучение на наборах ImageNet, поэтому качество на других предметных областях зависит от данных и настройки. Лицензия — Apache-2.0.
sararob/book-recommender — дообученный автором Sentence Transformers англоязычный энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для сравнения смысловой близости, семантического поиска и подбора похожих текстов. Название и примеры обучающих пар указывают на сценарий поиска книг по описанию или предпочтениям: например, сопоставление запроса «уютный детектив в маленьком городке» с похожим описанием. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; сходство можно оценивать косинусной мерой. В метаданных указано окно контекста 512 токенов, тогда как README модели задаёт максимальную длину последовательности 256 токенов. Репозиторий содержит форматы Safetensors и ONNX и насчитывает 25,9 млн параметров. Обучение описано как дообучение на трёх парах предложений с MultipleNegativesRankingLoss, поэтому качество специализированных рекомендаций может быть ограниченным. Лицензия в предоставленных данных не указана.
Карточка модели ldov/campplus на Hugging Face совпадает с карточкой funasr/campplus, поэтому описание составлено по ней. CAM++ — модель извлечения голосовых эмбеддингов из аудио, разработанная командой FunASR. Она предназначена для верификации говорящего: определения, принадлежат ли записи одному человеку, и для диаризации — распознавания, кто и когда говорил в аудиозаписи. Её можно подключить к конвейеру FunASR через параметр spk_model, например для присвоения меток говорящих сегментам речи в записи встречи. Модель использует архитектуру CAM++ (Class-Aware Multi-scale), выдаёт эмбеддинги размерностью 192 и рассчитана на аудио с частотой дискретизации 16 кГц. Репозиторий поддерживает FunASR; в карточке указаны китайский и английский языки. Модель распространяется по лицензии Apache-2.0. Карточка описывает извлечение эмбеддингов и применение для верификации и диаризации, но не приводит оценок качества или условий работы с шумной и многоканальной записью.
ConvNeXt Base — свёрточная модель для классификации изображений и извлечения визуальных признаков. Её разработал Ross Wightman в библиотеке timm: веса визуальной башни CLIP предварительно обучены OpenCLIP на LAION-2B, затем модель дообучена на ImageNet-1k. В репозитории указано 88,6 млн параметров и размер входного изображения 256 × 256 пикселей. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Предобучение на LAION-2B даёт визуальные признаки, полученные в рамках обучения CLIP на изображениях и тексте, но карточка описывает этот чекпойнт как классификатор, дообученный на ImageNet-1k. Метрики и скорость зависят от оборудования и режима запуска. Модель распространяется по лицензии Apache-2.0. Для использования нужны изображения; модель выдаёт классы или визуальные признаки и эмбеддинги. Карточка не описывает поддержку текстового ввода в этом чекпойнте.
facebook/deit-base-distilled-patch16-384 — модель классификации изображений семейства DeiT, основанная на Vision Transformer. Она принимает изображения, разбивает их на патчи 16×16 и использует отдельный токен дистилляции, обучаемый с помощью учителя на базе CNN. Весовые файлы были конвертированы из репозитория timm; модель разработана в рамках работы Touvron и коллег и опубликована на Hugging Face командой Facebook. В ней 113,2 млн параметров. Модель предварительно обучена при разрешении 224×224 и дообучена с дистилляцией на ImageNet-1k при разрешении 384×384. Она предназначена для присвоения изображению класса из набора ImageNet и может служить основой для дальнейшей настройки на другие задачи классификации. Для инференса изображения масштабируются и обрезаются до 384×384, затем нормализуются по каналам RGB. В README для базовой модели приведена точность ImageNet top-1 81,8% и top-5 95,6%; каталог указывает формат PyTorch, а также наличие файлов Safetensors и TensorFlow. Модель распространяется по лицензии Apache-2.0. Она обучена на ImageNet-1k, поэтому её классы и качество вне этого распределения могут не соответствовать конкретной прикладной задаче.
facebook/dinov3-convnext-base-pretrain-lvd1689m — зрительная модель Meta AI из семейства DINOv3, вариант ConvNeXt Base с 89 млн параметров. Она обучена на веб-данных LVD-1689M путём дистилляции модели DINOv3 ViT-7B и предназначена для извлечения плотных признаков изображений как основы для задач компьютерного зрения. Модель принимает изображения и выдаёт признаки, пригодные для классификации, поиска похожих изображений, сегментации, оценки глубины и обнаружения объектов. Представления можно применять без дообучения, например с простым классификатором или поиском ближайших соседей; дополнительная настройка может улучшить результаты, но способна усилить смещения, связанные с метками обучения. Модель работает с изображениями разных размеров; для вариантов ViT в карточке указано требование к кратности размера изображения патчу 16, но это ограничение не следует автоматически переносить на ConvNeXt. Карточка отмечает различия качества между географическими регионами и категориями дохода. Указана лицензия DINOv3 License; метаданные Hugging Face классифицируют её как other.
badokorach разработал эту модель как дообученную версию distilbert-base-cased-distilled-squad для ответов на вопросы. Это компактная модель семейства DistilBERT с архитектурой DistilBertForQuestionAnswering; она принимает текст вопроса и контекст и извлекает из контекста ответ. Модель рассчитана на контекст длиной до 512 токенов и опубликована в формате TensorFlow. В карточке указаны результаты обучения: train loss 0,2372, validation loss 0,0 за 19 эпох. Датасет и подробные сведения о назначении, оценке и ограничениях не описаны. Модель распространяется по лицензии Apache-2.0.
EVA-02 Small Patch14 224 MIM In22k — модель визуальных представлений семейства EVA-02, опубликованная авторами статьи и доступная в библиотеке timm. Это Vision Transformer с 21,6 млн параметров, размером входного изображения 224 × 224, mean pooling, SwiGLU и Rotary Position Embeddings. Модель предварительно обучена на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также может служить основой для классификации изображений. Её можно использовать как визуальный backbone в системах поиска по изображениям, сравнения изображений и построения downstream-моделей компьютерного зрения. Чекпойнт timm сохранён в float32; в оригинальных чекпойнтах встречаются float16 и bfloat16. Лицензия — MIT.
EVA Large Patch14 196 — модель зрения для классификации изображений и извлечения визуальных признаков, опубликованная авторами EVA в библиотеке timm. Она содержит около 304,1 млн параметров и рассчитана на входные изображения размером 196 × 196 пикселей. Модель предварительно обучена на ImageNet-22k с помощью masked image modeling и учителя EVA-CLIP, затем дообучена авторами статьи на ImageNet-1k. Модель подходит для присвоения изображению меток классов и получения эмбеддингов изображений, а также может служить визуальным backbone в системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors; контрольные точки timm сохранены в float32. Лицензия — MIT.