IV.9Медиа, журналистика, культура, архивы и игры

timm/vit_base_patch16_224.orig_in21k — базовая модель Vision Transformer, обученная авторами статьи в JAX на ImageNet-21k и перенесённая в PyTorch Россом Уайтманом. Модель насчитывает 85,8 млн параметров, использует патчи 16×16 и рассчитана на изображения размером 224×224 пикселя. Классификационная голова отсутствует. Модель предназначена прежде всего для извлечения признаков и эмбеддингов изображений, а также как основа для последующего дообучения под задачи компьютерного зрения. Лицензия — Apache-2.0. Карточка описывает ImageNet-21k как обучающий набор данных.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы исследований на ImageNet-21k, затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией; Росс Уайтман перенёс веса в PyTorch для библиотеки timm. Модель содержит около 88,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet и получения эмбеддингов изображений как основы для последующих задач компьютерного зрения. Архитектура ViT обрабатывает изображение как последовательность патчей. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — Apache 2.0.

google/vit-base-patch32-224-in21k — базовая модель Vision Transformer (ViT), опубликованная Google и представленная в статье Dosovitskiy и соавторов. Веса подготовлены для этого репозитория из реализации timm; модель содержит около 113,2 млн параметров и доступна в форматах PyTorch, TensorFlow и Flax. Она предобучена с учителем на ImageNet-21k, включающем около 14 млн изображений и 21 843 класса. Модель принимает изображения RGB, преобразованные к разрешению 224×224, разбивает их на патчи 32×32 и обрабатывает последовательность патчей трансформерным энкодером. Она предназначена для извлечения визуальных признаков и использования в последующих задачах, например для обучения классификатора поверх представления CLS. Готовой обученной классификационной головы нет, но сохранён предобученный pooler. Модель подходит для построения классификаторов и получения признаковых представлений изображений. Для тонкой настройки на классификацию авторы отмечают преимущества разрешения 384×384. Лицензия — Apache-2.0.

google/vit-base-patch32-384 — базовая модель Vision Transformer (ViT), представленная в исследовании Dosovitskiy и соавторов. Весовые файлы были конвертированы из timm в формат PyTorch; модель опубликована под лицензией Apache 2.0. Модель принимает изображения и классифицирует их по 1 000 классам ImageNet. Она использует трансформерный энкодер: делит изображение на патчи 32×32, преобразует их в последовательность векторов и обрабатывает с позиционными эмбеддингами и токеном [CLS]. Предобучение выполнено на ImageNet-21k с разрешением 224×224, затем модель дообучена на ImageNet 2012 с разрешением 384×384. Размер модели — 113,2 млн параметров. ViT подходит для классификации изображений и как основа для извлечения признаков и обучения классификаторов на целевых размеченных данных. Классы и качество распознавания ограничены обучением на ImageNet; для других задач может потребоваться дообученная версия. Поддерживаются веса PyTorch, TensorFlow и Flax, а также формат safetensors.

timm/vit_base_patch32_clip_224.openai_ft_in1k — модель классификации изображений на архитектуре Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображение–текст WIT-400M с использованием CLIP, а затем дообучена на ImageNet-1k. Модель содержит 88,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и получения эмбеддингов изображений. Подходит для переноса визуальных представлений на прикладные задачи компьютерного зрения. В репозитории указаны веса PyTorch и Safetensors; лицензия — Apache-2.0.

vit_base_patch8_224.dino — визуальная модель семейства Vision Transformer (ViT), опубликованная разработчиками timm. Она обучена на ImageNet-1k методом самообучения DINO и предназначена для извлечения признаков из изображений; её также можно использовать как основу для классификации изображений. Модель содержит 85,8 млн параметров и обрабатывает изображения размером 224 × 224 пикселя. Модель формирует визуальные признаки и эмбеддинги, пригодные для построения классификаторов и других систем компьютерного зрения. В карточке также приведены вычислительные характеристики: 66,9 GMACs и 65,7 млн активаций. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

timm/vit_large_patch16_224.mae — модель извлечения признаков изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена на ImageNet-1k методом masked autoencoder (MAE) и содержит 303,3 млн параметров. Модель рассчитана на изображения размером 224 × 224 пикселя и может использоваться как основа для классификации изображений и получения их эмбеддингов. Модель подходит для построения визуальных признаков в задачах компьютерного зрения, например для классификации или поиска похожих изображений. В репозитории указаны веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с соблюдением её условий и ограничивает коммерческое применение.

Это модель классификации изображений на базе Vision Transformer (ViT), разработанная Россом Уайтманом в библиотеке timm. Вариант vit_little_patch16_reg1_gap_256 использует патчи 16×16, один register-токен и глобальное усреднение признаков; модель содержит 22,5 млн параметров и рассчитана на изображения размером 256×256 пикселей. Модель предварительно обучена на ImageNet-12k, затем дообучена на ImageNet-1k. Она предназначена для присвоения изображениям меток классов, а также может использоваться как энкодер признаков для извлечения карт признаков и эмбеддингов изображений. Весовые файлы доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0.

Vit-Mature-Content-Detection — модель классификации изображений, созданная PrithivMLmods на основе дообучения google/vit-base-patch16-224-in21k. Она использует архитектуру ViTForImageClassification и содержит 113,2 млн параметров. Модель присваивает изображению одну из пяти меток: anime picture, hentai, neutral, pornography или enticing or sensual; neutral означает безопасный или обычный контент. Модель предназначена для фильтрации изображений в системах модерации контента, родительского контроля, предварительной обработки наборов данных и безопасного поиска. Она принимает изображения и возвращает метку класса, а не генерирует изображения или текст. Карточка указывает лицензию Apache-2.0. Классификация может ошибаться, поэтому модель не следует использовать как единственное основание для модерационных решений; карточка также предостерегает от преследования, стыда и скрытого наблюдения.

Это компактная модель Vision Transformer (ViT) для классификации изображений и извлечения признаков. Её обучили авторы исследования на ImageNet-21k, затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией. Ross Wightman перенёс веса в PyTorch; модель распространяется через timm. Модель содержит 5,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Её можно использовать для определения объектов на изображении или как визуальную основу для извлечения эмбеддингов. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k и ImageNet-21k; её классификационные возможности ориентированы на классы этих наборов данных, поэтому точность на других предметных областях может быть ниже.

VOLO-D3 — модель классификации изображений семейства Vision Outlooker, опубликованная в репозитории timm. Она обучена авторами статьи на ImageNet-1k с разметкой токенов и предназначена для распознавания объектов на изображениях, а также для извлечения визуальных признаков. Модель содержит 86,3 млн параметров, обрабатывает изображения размером 224 × 224 и требует библиотеку timm; веса доступны в форматах PyTorch и safetensors. Модель подходит для классификации изображений общего назначения и получения эмбеддингов изображений в качестве признаков для последующих задач компьютерного зрения. Карточка не приводит сведений о лицензии, поэтому условия использования по ней определить нельзя.

WeSpeaker-ResNet34-LM-CoreML — это конвертированная версия модели WeSpeaker ResNet34-LM, предназначенная для работы на Apple Neural Engine через CoreML. Модель основана на архитектуре ResNet34 со статистическим pooling и содержит около 6,6 млн параметров. Конверсию выполнил автор репозитория aufklarer на базе исходной модели pyannote/wespeaker-voxceleb-resnet34-LM. Модель принимает 80-канальные log-mel-спектрограммы аудио с частотой дискретизации 16 кГц и формирует 256-мерные L2-нормализованные embeddings говорящего. Эти векторы подходят для верификации личности по голосу, диаризации и сравнения голосов с использованием, например, косинусного сходства. Слияние BatchNorm со слоями Conv2d выполнено во время конвертации. README не указывает поддерживаемые языки и размер контекста, поэтому эти характеристики неизвестны. Лицензия — MIT.

YOLOS-small — модель компьютерного зрения семейства Vision Transformer, разработанная авторами YOLOS и дообученная для обнаружения объектов на COCO 2017. Она анализирует изображение и предсказывает классы объектов и их ограничивающие рамки; архитектура использует DETR-подобную функцию потерь и сопоставление предсказаний с разметкой алгоритмом Венгера. В модели 24,4 млн параметров. Модель подходит для обнаружения объектов на изображениях в приложениях компьютерного зрения. Она предварительно обучена на ImageNet-1k, затем дообучена на COCO 2017; заявленная точность AP на валидационной выборке COCO 2017 составляет 37,6. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

aimv2_large_patch14_224.apple_pt — веса энкодера изображений AIM-v2 в формате, совместимом с библиотекой timm. Модель принимает изображения и предназначена для извлечения признаковых представлений, которые можно использовать в задачах компьютерного зрения, например для поиска похожих изображений или как входные признаки для последующих моделей. В карточке указаны веса энкодера, архитектурное семейство AIM-v2 и совместимость с timm; репозиторий содержит веса PyTorch в формате safetensors. Разработчик исходной модели и размер входного изображения обозначены в идентификаторе модели, но карточка не раскрывает подробности обучения или оценку качества. Лицензия — apple-ascl.

Это веса визуального энкодера AIM-v2 large с патчами 14×14, входным разрешением 336 пикселей, опубликованные в формате, совместимом с библиотекой timm. Карточка Hugging Face связывает репозиторий с Apple; модель предназначена для извлечения признаков изображений и может использоваться как визуальный энкодер в задачах компьютерного зрения. Метаданные указывают на форматы PyTorch и Safetensors и лицензию apple-ascl. Карточка не описывает качество на наборах данных, ограничения применения или поддержку текстовых и мультимодальных входов; поэтому модель следует рассматривать как энкодер изображений, а не как готовую систему генерации ответов.

BEiT large patch16-512 — модель классификации изображений на основе Vision Transformer, разработанная Microsoft. Она предварительно обучена self-supervised методом на ImageNet-21k, затем дообучена на ImageNet-1k для распознавания 1000 классов. Модель принимает изображения, разделяет их на патчи 16×16 и использует трансформерный энкодер с относительными позиционными эмбеддингами и mean pooling для классификации. Размер модели — около 411 млн параметров; доступны реализации PyTorch и Flax. Модель подходит для определения объектов и сцен на изображениях в рамках классов ImageNet, а также для извлечения признаков как основы для обучения классификатора на собственной размеченной выборке. Для работы изображения следует привести к требуемому размеру и нормализовать RGB-каналы; карточка приводит разные разрешения для этапов обучения, включая 512×512 при дообучении. Лицензия — Apache-2.0. Модель ограничена классификацией по фиксированному набору классов ImageNet и сама по себе не выполняет детекцию объектов или распознавание произвольных категорий.

CoAtNet-RMLP-2-RW-224-SW-IN12K-FT-IN1K — модель классификации изображений из библиотеки timm, разработанная Россом Уайтманом. Она сочетает свёрточные блоки MBConv на ранних этапах с блоками на основе self-attention на поздних; в архитектуре также используется MLP Log-CPB — смещение относительных позиций, мотивированное Swin Transformer V2. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Модель рассчитана на классификацию изображений размером 224 × 224 и может использоваться как основа для извлечения признаков и эмбеддингов изображений. Она содержит 73,9 млн параметров и выполняет около 15,2 GMAC на изображение. Карточка приводит результаты классификации в сравнительных таблицах, но не содержит отдельной строки с метриками именно этой версии. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для изображений; сведения о поддержке естественных языков или обработке текста не относятся к её основному сценарию.

ConvFormer S18 — сверточная модель классификации изображений и извлечения визуальных признаков из семейства MetaFormer. Модель представлена авторами статьи и доступна через библиотеку timm; её обучили на ImageNet-22k, а затем дообучили на ImageNet-1k. Модель содержит 26,8 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность 4,0 GMACs. Её можно применять для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Веса опубликованы в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Классификатор обучен на ImageNet-1k, поэтому его классы и качество ограничены задачей и распределением этого набора данных. README не приводит дополнительных оценок качества или сведений о других наборах классов.

ConvNeXt-Base — свёрточная модель для классификации изображений и извлечения визуальных признаков, опубликованная авторами статьи «A ConvNet for the 2020s» и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и содержит 88,6 млн параметров. Для обучения указано разрешение 224 × 224 пикселя, для оценки — 288 × 288 пикселей. Модель присваивает изображениям классы, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она подходит для классификации изображений и построения компонентов компьютерного зрения. В README приведены результаты сравнения на ImageNet-1k, но характеристики из сравнительной таблицы относятся к другим моделям и не описывают точность этой версии. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт метки классов либо признаки и эмбеддинги; сведения о текстовой или мультимодальной обработке не приводятся.

convnext_nano.r384_in12k — модель компьютерного зрения для классификации изображений и извлечения признаков, обученная Ross Wightman с использованием библиотеки timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она основана на архитектуре ConvNeXt и содержит 22,5 млн параметров. Модель рассчитана на изображения размером 384 × 384 пикселя. Её можно применять для присвоения изображениям меток из обучающего набора, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0. Классификация ограничена классами ImageNet-12k и может не покрывать категории конкретной прикладной задачи; для таких случаев потребуется адаптация модели. В README приведены показатели сравнения, измеренные на RTX 3090 с PyTorch 1.13 и AMP, поэтому их нельзя напрямую переносить на другие аппаратные платформы и настройки.

convnext_pico.d1_in1k — сверточная модель классификации изображений семейства ConvNeXt, обученная Россом Уайтменом с помощью библиотеки timm на ImageNet-1k. Число параметров составляет около 9 млн; модель рассчитана на классификацию изображений и может использоваться как базовая сеть для извлечения признаковых карт и эмбеддингов изображений. Модель обучалась на изображениях размером 224 × 224, а для оценки применяется размер 288 × 288. Она подходит для распознавания объектов и категорий на изображениях, а также для получения визуальных признаков в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

timm/convnext_small.eupe_lvd1689m — визуальный энкодер признаков на архитектуре ConvNeXt-Small из библиотеки PyTorch Image Models (timm). Модель разработана с применением метода Efficient Universal Perception Encoder и дистиллирована на датасете LVD-1689M от прокси-преподавателя, обученного на основе нескольких специализированных визуальных моделей. В ней около 49,5 млн параметров; рекомендуемый размер изображения — 256 × 256 пикселей. Энкодер извлекает карты признаков и векторные представления изображений, которые можно использовать в качестве основы для классификации и других задач компьютерного зрения. В сравнительной таблице карточки приведены результаты для визуально-языковых и пространственных бенчмарков, однако сама модель обозначена как энкодер изображений и не заявлена как генеративная или мультимодальная модель для диалога. Весы доступны в формате Safetensors. Лицензия FAIR Noncommercial Research License ограничивает использование некоммерческими исследовательскими целями.

ConvNeXt-V2 Femto — сверточная модель компьютерного зрения из библиотеки timm для классификации изображений и извлечения визуальных признаков. Модель предварительно обучена методом FCMAE и дообучена на ImageNet-1k; в ней около 5,2 млн параметров. Модель предназначена для присвоения изображениям классов, а также может использоваться как основа для извлечения карт признаков и эмбеддингов. Указанный размер изображения при обучении — 224 × 224 пикселя, при проверке — 288 × 288. В метриках README для варианта модели приведена точность top-1 82,9% и top-5 96,8% на ImageNet-1k. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Результаты классификации ограничены набором классов, на которых обучена модель; для иных предметных областей может потребоваться адаптация.

ConvNeXt V2 Large — сверточная модель компьютерного зрения, разработанная авторами работы ConvNeXt V2 и выпущенная в репозитории Facebook. Модель предварительно обучена с помощью FCMAE, затем дообучена на ImageNet-22K; входное разрешение — 224 × 224 пикселя. Архитектура использует полностью сверточный masked autoencoder и слой Global Response Normalization (GRN). Модель предназначена для классификации изображений по категориям ImageNet-22K и может служить основой для дальнейшей адаптации к другим задачам распознавания изображений. Она принимает изображение и выдаёт оценки классов. Распространяется по лицензии Apache-2.0.

Это компактная свёрточная модель ConvNeXt для классификации изображений, обученная Россом Уайтманом с библиотекой timm на ImageNet-1k по рецепту ra4. В модели около 2,2 млн параметров; она рассчитана на изображения размером 224 × 224 пикселя и требует около 0,3 GMAC на обработку изображения. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. В карточке не приведены языковые возможности, поскольку входом модели служат изображения.

CSATv2 21M — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её разработал Ross Wightman и обучил с помощью timm на ImageNet-1k. Чекпойнт содержит около 20,7 млн параметров и рассчитан на входные изображения размером 640 × 640 пикселей. Модель можно применять для определения объектов и сцен на изображениях, извлечения карт признаков и получения эмбеддингов изображений. Она подходит как готовый классификатор ImageNet-1k и как визуальный энкодер для последующих задач машинного обучения. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

DeiT-III Huge Patch14 224 — модель классификации изображений и извлечения признаков из семейства Vision Transformer, обученная авторами статьи на ImageNet-1k. Она предназначена для отнесения изображений к классам и получения векторных представлений изображений. Модель содержит около 632,1 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и распространяется в форматах PyTorch и Safetensors. Модель подойдёт для классификации изображений из набора классов ImageNet-1k, построения эмбеддингов изображений и использования в качестве визуальной основы для прикладных систем. Репозиторий timm предоставляет реализацию для работы с моделью. Лицензия — Apache-2.0.

deit3_large_patch16_384.fb_in22k_ft_in1k — модель классификации изображений семейства DeiT-III, опубликованная разработчиками библиотеки timm. Она предварительно обучена на ImageNet-22k, затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 304,8 млн параметров и обрабатывает изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k и может служить визуальной основой для получения эмбеддингов изображений. Архитектура относится к семейству Vision Transformer; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Большой размер модели и входное разрешение требуют заметных вычислительных ресурсов. Классификация ориентирована на категории ImageNet-1k, поэтому качество на других наборах данных и предметных областях может отличаться.

zeromodels публикует конверсию модели facebook/dinov3-convnext-small-pretrain-lvd1689m в Keras 3. Это самообученная визуальная модель с архитектурой ConvNeXt Small, предназначенная для извлечения признаков изображений, которые можно использовать в задачах компьютерного зрения с последующими классификационными, поисковыми или сегментационными головами. Модель выдаёт признаки, а не готовые предсказания конкретной задачи. Реализация работает с бэкендами TensorFlow, Torch и JAX. Для обработки изображений предусмотрена нормализация входа; при использовании уже нормализованных данных её можно отключить. Лицензия — DINOv3 License, обозначенная в метаданных Hugging Face как other; исходные веса Meta имеют ограничения доступа по этой лицензии.

zeromodels публикует конверсию модели facebook/dinov3-vits16-pretrain-lvd1689m в формате Keras 3. Это визуальный энкодер DINOv3 на архитектуре ViT-S/16, обученный на наборе LVD-1689M с самоконтролем. Модель возвращает признаки изображений для последующего использования в задачах компьютерного зрения, а варианты ViT также предоставляют register-токены. Модель предназначена для извлечения визуальных признаков, которые можно передавать в отдельные классификаторы и другие downstream-компоненты для классификации, поиска и анализа изображений. Реализация работает с бэкендами TensorFlow, PyTorch и JAX через Keras 3; это базовый энкодер без специализированной головы задачи. Лицензия указана как лицензия DINOv3; исходные веса Facebook доступны на условиях этой лицензии.