IV.9Медиа, журналистика, культура, архивы и игры

Yolo-X — модель компьютерного зрения для обнаружения объектов на изображениях, разработанная Qualcomm на основе реализации YOLOX от Megvii-BaseDetection. Модель предсказывает ограничивающие рамки и классы объектов и ориентирована на сценарии реального времени, включая развёртывание на Android-устройствах и других системах на базе Qualcomm. Она предназначена для инференса на Qualcomm NPU и поставляется в форматах ONNX, QNN_DLC и TFLITE. Используется конфигурация YoloX Small с входным разрешением 640×640 и примерно 8,98 млн параметров. Размер float-версии составляет 34,3 МБ, вариантов w8a16 и w8a8 — 9,53 и 8,96 МБ соответственно. Доступны плавающая точность и квантованные варианты w8a16, w8a8 и w8a8_mixed_int16. Предэкспортированные модели совместимы с QAIRT 2.45 и ONNX Runtime 1.27.1; также поддерживается экспорт с пользовательскими весами, формами входа, целевым устройством и runtime-конфигурацией. К сильным сторонам относятся компактный размер, варианты квантования и оптимизация для широкого набора чипсетов Qualcomm, включая Snapdragon и Dragonwing, с использованием NPU. В README не указаны поддерживаемые языки, конкретный набор классов объектов, обучающий датасет, точность обнаружения и ограничения по условиям съёмки, поэтому эти характеристики нельзя оценить по представленным данным. Модель распространяется по лицензии Apache-2.0.

AASIST3 — модель классификации аудио для обнаружения поддельной и синтетически сгенерированной речи. Её разработчик — lab260; модель представлена как оригинальная реализация архитектуры AASIST с сетями Колмогорова—Арнольда (KAN), обученная для задач противодействия подмене речи. В репозитории доступны веса в форматах ONNX и safetensors; лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение. Модель принимает аудио и классифицирует его как подлинную или поддельную речь. В архитектуре используются энкодер Wav2Vec2 для извлечения признаков, KAN-преобразования, остаточные блоки, пространственные и временные графовые механизмы внимания и четыре параллельные ветви вывода. Обучение проводилось на наборах ASVspoof 2019 LA, ASVspoof5, MLAAD и M-AILABS. Карточка приводит результаты EER: 9,44% на ASVspoof2019_LA, 28,73% на ASVspoof2021_DF и 29,72% на InTheWild; более низкое значение лучше. Модель устарела и не поддерживается; автор рекомендует перейти на lab260/Spectra-AASIST3. Указанные результаты относятся к отдельной оценке, а веса в репозитории не совпадают с использованными в результатах статьи.

Это модель классификации изображений на основе BEiT, представленная проектом timm. Она использует Vision Transformer с патчами 16×16 и рассчитана на изображения размером 384×384 пикселя; размер модели — около 305 млн параметров. Предварительное обучение проводилось на ImageNet-22k методом masked image modeling с визуальным токенизатором DALL-E dVAE, после чего модель дообучили на ImageNet-22k и ImageNet-1k. Модель подходит для классификации изображений по классам ImageNet и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Репозиторий содержит веса PyTorch и safetensors; для работы используется библиотека timm. Лицензия — Apache-2.0.

Модель oferweintraub/bert-base-finance-sentiment-noisy-search — дообученная автором версия bert-base-uncased для определения тональности финансовых новостей. Она использует архитектуру BERT для классификации текста и выдаёт один из трёх классов: Positive, Neutral или Negative. Автор сообщает, что после обучения на автоматически собранных поиском новостных примерах точность на отложенной выборке исходного набора Kaggle выросла примерно с 88% до более чем 95%; качество меток новых примеров заранее не проверялось. Модель предназначена для анализа заголовка вместе с первым абзацем новости либо её кратким пересказом; в README рекомендуется краткий текст объёмом до 64 токенов. Контекст модели составляет 512 токенов, всего в ней 136,7 млн параметров. Поддерживаемый язык — английский. Распространяется по лицензии Apache-2.0.

BERTicelli — англоязычная модель классификации текста на базе BERT, созданная Моной Аллерт, Леонардо Гротти и Патриком Квиком в рамках учебного проекта по анализу цифровых текстов в Университете Антверпена. Модель дообучена на английской версии BERT base cased с использованием обучающей части набора OLID и содержит 135,5 млн параметров. Модель предназначена для выявления оскорбительной и агрессивной лексики в англоязычных текстах, включая распознавание языка ненависти и другого недопустимого контента. Её можно применять для предварительной модерации пользовательских сообщений и анализа текстов в рамках исследований. Архитектура — BERT для классификации последовательностей; модель принимает текст и выдаёт метки классов. Максимальная длина контекста — 512 токенов. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей о точном наборе предсказываемых меток, поэтому пригодность для конкретной политики модерации следует проверять отдельно.

BiT-50 (Big Transfer) — модель компьютерного зрения от авторов исследования Big Transfer, представленная на Hugging Face командой Hugging Face. Это ResNet-подобная архитектура ResNetV2 для классификации изображений; модель обучена на ImageNet-1k и выдаёт оценки по 1000 классам ImageNet. Репозиторий содержит веса PyTorch. Модель предназначена для классификации изображений и может служить отправной точкой для переноса обучения на другие задачи компьютерного зрения, в том числе при небольших обучающих выборках. В статье описан подход BiT к масштабному предварительному обучению и переносу представлений; приведённые в README результаты относятся к исследовательской работе и не являются гарантией качества этой конкретной версии на пользовательских данных. Модель распространяется по лицензии Apache-2.0. Она принимает изображения и возвращает классовые оценки; сведения о размере входа и поддерживаемых языках к ней не относятся.

CAFormer-S18 — модель компьютерного зрения семейства MetaFormer, распространяемая проектом timm. Она предназначена для классификации изображений и может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Модель предварительно обучена на ImageNet-22k, затем дообучена авторами статьи на ImageNet-1k. Модель содержит 26,3 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. В репозитории доступны веса PyTorch и SafeTensors; лицензия — Apache-2.0. Карточка описывает применение для классификации, извлечения признаков и построения эмбеддингов.

CerberusDet — модель обнаружения объектов на базе YOLO, разработанная авторами проекта CerberusDet. Этот крупный чекпойнт обучен одновременно на PASCAL VOC 2007+2012 и полной версии Objects365, чтобы распознавать объекты на изображениях из обоих наборов данных и учитывать сильный дисбаланс их размеров. Модель использует архитектуру Multi-headed YOLOv8x с общей основой и отдельными головами обнаружения. Она содержит 107 млн параметров, принимает изображения с разрешением 640×640 и выполняет инференс в FP16. В README приведены результаты mAP@0.5 0,93 на PASCAL VOC 2007 и 0,46 на Objects365, а также скорость 7,2 мс на NVIDIA V100 при batch size 32. Модель предназначена для обнаружения объектов на изображениях, в том числе в сценариях, связанных с классами PASCAL VOC и Objects365. Для работы указаны библиотека CerberusDet и Transformers. Лицензия — AGPL-3.0; условия её применения и распространения следует соблюдать.

Модель представляет собой дообученный BERT-классификатор для выявления токсичности и языка ненависти в текстах на чилийском испанском. Её разработал Jorge Ortiz Fuentes на основе dccuchile/patana-chilean-spanish-bert и обучил на наборе jorgeortizfuentes/toxicity_spanish_hate_speech_v2. Архитектура — BertForSequenceClassification, размер — 137,1 млн параметров, контекст — до 512 токенов. Модель предназначена для классификации испаноязычных сообщений, например, для модерации пользовательского контента и анализа токсичных высказываний. В README приведён результат F1 0,8161 на оценочной выборке. Модель распространяется по лицензии CC BY 4.0; качество на других вариантах испанского и вне домена обучения не описано.

ConvFormer B36 — модель классификации изображений и извлечения признаков, обученная авторами статьи на ImageNet-1k. Это архитектура ConvFormer из семейства MetaFormer; модель содержит около 99,9 млн параметров и рассчитана на входные изображения размером 384 × 384 пикселя. Её можно использовать для классификации объектов, извлечения карт признаков и получения векторных представлений изображений. Модель предназначена для задач компьютерного зрения общего назначения, в частности для классификации изображений из категорий ImageNet-1k и построения визуальных эмбеддингов. Репозиторий предоставляет веса PyTorch и SafeTensors. Лицензия — Apache-2.0.

ConvFormer M36 SAIL IN1K — модель классификации изображений и визуальный backbone семейства ConvFormer, разработанная авторами статьи о MetaFormer и обученная на ImageNet-1k. Модель содержит 57,1 млн параметров; для входных изображений указано разрешение 224 × 224 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как готовый классификатор или как визуальный компонент в системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors; библиотека для работы с моделью — timm. Лицензия Apache-2.0. Карточка не приводит результатов качества и описания ограничений, поэтому применимость к изображениям вне распределения ImageNet-1k требует отдельной оценки.

ConvNeXt-Tiny — модель компьютерного зрения для классификации изображений и извлечения признаков. Её обучил Ross Wightman с помощью библиотеки timm на наборе ImageNet-1k; архитектура основана на ConvNeXt, сверточной сети, разработанной для компьютерного зрения 2020-х годов. В репозитории доступны веса PyTorch и safetensors, лицензия — Apache-2.0. Модель содержит около 28,6 млн параметров. Для классификации она принимает изображения: размер при обучении составлял 224 × 224 пикселя, при тестировании — 288 × 288. Её можно применять для присвоения изображению класса из набора ImageNet-1k, а также для получения карт признаков и эмбеддингов. Модель предназначена для распознавания объектов общего назначения и может служить визуальным бэкбоном в системах компьютерного зрения. Её классификационные категории ограничены классами ImageNet-1k; README не приводит результатов для других наборов данных или гарантий качества в прикладных сценариях.

ConvNeXt-V2 Femto FCMAE — компактная сверточная модель представления изображений из библиотеки timm. Она предварительно обучена на ImageNet-1k методом FCMAE, который восстанавливает маскированные области изображения. У модели около 4,8 млн параметров, вычислительная сложность — 0,8 GMAC, стандартный размер входного изображения — 224 × 224 пикселя. Модель предназначена для извлечения признаков и эмбеддингов изображений либо для дообучения под задачи классификации. Предварительно обученной классификационной головы нет, поэтому для классификации потребуется добавить и обучить голову; модель также не является готовым универсальным классификатором. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

ConvNeXt V2 Pico — сверточная модель компьютерного зрения, разработанная авторами статьи ConvNeXt V2 и опубликованная в репозитории Hugging Face. Модель предварительно обучена с помощью FCMAE и дообучена на ImageNet-1K для классификации изображений размером 224×224 по 1000 классам ImageNet. Архитектура ConvNeXt V2 использует полностью сверточную сеть и слой Global Response Normalization (GRN). Модель подходит для классификации изображений общего назначения и может служить основой для дальнейшей адаптации под другие задачи компьютерного зрения. Репозиторий содержит веса в форматах PyTorch, safetensors и TensorFlow. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки и подробных ограничений; назначение описано для классификации изображений ImageNet-1K.

ConvNeXt-V2 Tiny — сверточная модель классификации изображений из семейства ConvNeXt-V2, опубликованная в timm. Она предварительно обучена методом FCMAE (fully convolutional masked autoencoder), затем дообучена на ImageNet-1k. Модель содержит 28,6 млн параметров; заявлены 4,5 GMACs. Размер изображения при обучении — 224 × 224 пикселя, при тестировании — 288 × 288. Модель предназначена для отнесения изображений к классам и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В карточке указаны результаты на ImageNet-1k: top-1 точность 82,1% и top-5 точность 96,0%. Репозиторий предоставляет веса PyTorch и safetensors и рассчитан на работу с библиотекой timm. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель обучена и оценивалась на ImageNet-1k; качество на других наборах данных и изображениях может отличаться.

C-RADIOv2-H — модель NVIDIA для извлечения признаков изображений. Она использует архитектуру Vision Transformer и выдаёт тензоры эмбеддингов: сводный вектор, представляющий изображение целиком, и пространственные признаки с локальной информацией. Вариант H содержит 653 млн параметров. Модель предназначена для разработчиков, которые используют её признаки в последующих системах компьютерного зрения: для классификации и отбора изображений, семантической сегментации, оценки глубины и интеграции в модели «зрение — язык». На вход подаются RGB-изображения; поддерживаются разрешения до 2048×2028 с шагом 16 пикселей. Для применения эмбеддингов требуется downstream-модель. В README указано, что модель подходит для коммерческого и некоммерческого использования. Применение ограничено условиями NVIDIA Open Model License Agreement.

cs3darknetfocusl.c2nsin1k — сверточная модель классификации изображений семейства CS3-DarkNet, опубликованная в timm. Она обучена на ImageNet-1k и может использоваться как для предсказания классов изображений, так и в качестве визуального backbone для извлечения карт признаков и эмбеддингов. Модель содержит 21,2 млн параметров и требует изображения размером 288 × 288 пикселей на этапе оценки; для обучения использовался размер 256 × 256. Веса доступны в форматах PyTorch и Safetensors, библиотека — timm. В обучении применялась схема ResNet Strikes Back C с оптимизатором SGD с Nesterov, адаптивным ограничением градиента, усиленным mixup и косинусным расписанием скорости обучения с разогревом; вариант ns не использует stochastic depth. Лицензия — Apache-2.0. Карточка не приводит результатов точности или ограничений применения, поэтому качество для конкретного набора данных следует оценивать отдельно.

Это предобученная модель распознавания лиц ADAFACE IR101 WEBFACE12M, размещённая CVLFace. Она предназначена для извлечения признаковых векторов лица, которые можно использовать для сравнения лиц и распознавания личности. В названии указаны архитектура IR101 и обучающий набор WEBFACE12M; карточка связывает модель с работой «AdaFace: Quality Adaptive Margin for Face Recognition». Репозиторий содержит веса в формате safetensors. Модель принимает изображения лиц и выдаёт векторные признаки для последующей оценки сходства или построения системы распознавания. Карточка просит цитировать исходную статью и соблюдать лицензию обучающего набора данных. Сведения о конкретных ограничениях применения и лицензии весов в предоставленных материалах отсутствуют.

DarkNet-53 — модель классификации изображений и извлечения признаков, разработанная авторами архитектуры DarkNet и обученная командой timm на ImageNet-1k. Вариант c2ns_in1k использует рецепт обучения на основе ResNet Strikes Back C: оптимизатор SGD с Nesterov, адаптивное ограничение градиентов AGC и косинусное расписание скорости обучения с разогревом. В этой вариации не используется stochastic depth. Модель содержит 41,6 млн параметров и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Размер изображения при обучении — 256 × 256 пикселей, при тестировании — 288 × 288. Это визуальный энкодер общего назначения, обученный на ImageNet-1k; сведения о поддержке текстовых или иных модальностей отсутствуют. Распространяется по лицензии Apache-2.0.

Это конверсия модели DeiT3 Large от сообщества zeromodels, основанная на timm/deit3_large_patch16_384.fb_in1k. Модель относится к семейству Vision Transformer и предназначена для классификации изображений; её также можно использовать как визуальный backbone для извлечения признаков. Вариант использует патчи размером 16 пикселей и входное разрешение 384 пикселя. Чекпойнт преобразован в формат Keras 3 и запускается с бэкендами TensorFlow, PyTorch или JAX. Классификационная модель выдаёт логиты классов, а режим DeiTModel может возвращать признаки. Лицензия — Apache 2.0. Количество параметров и поддерживаемые естественные языки в предоставленных данных не указаны.

DeiT-III Small Patch16 224 — модель классификации изображений и извлечения признаков, обученная авторами статьи на ImageNet-1k. Она использует архитектуру Vision Transformer с патчами 16×16 и рассчитана на изображения размером 224×224 пикселя. Модель содержит 22,1 млн параметров и требует около 4,6 GMACs на обработку изображения. Модель подходит для классификации изображений по категориям ImageNet-1k и получения визуальных эмбеддингов как основы для последующих задач компьютерного зрения. Репозиторий использует библиотеку timm; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

timm/densenet121.tv_in1k — сверточная модель DenseNet-121 для классификации изображений и извлечения визуальных признаков. Она обучена на ImageNet-1k с исходными весами torchvision и распространяется через библиотеку timm. Модель содержит около 8 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность 2,9 GMACs. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальную основу в компьютерном зрении. Лицензия Apache-2.0 допускает использование и распространение с соблюдением её условий. Область распознавания ограничена категориями ImageNet-1k; качество на других наборах данных не подтверждено карточкой.

DiNAT-Tiny — иерархический визуальный трансформер, разработанный Shi Labs и обученный на ImageNet-1K для классификации изображений с разрешением 224×224. Модель использует Neighborhood Attention и её разреженный вариант Dilated Neighborhood Attention: каждый токен обрабатывает ограниченное скользящее окно соседних пикселей. Веса содержат около 14,7 млн параметров и распространяются в формате PyTorch. Модель подходит для классификации изображений по 1000 классам ImageNet, в том числе как основа для последующей адаптации под другие задачи компьютерного зрения. Для запуска нужны Transformers и пакет NATTEN. Лицензия — MIT.

Это конверсия модели DINOv3 ViT-B/16, разработанной Meta AI, в формат Keras 3 и опубликованной zeromodels. Модель представляет собой предварительно обученный на изображениях самообучаемый визуальный backbone без специализированной выходной головы; она извлекает признаки изображений для последующих моделей и задач компьютерного зрения. Вариант ViT также предоставляет register tokens. Репозиторий содержит формат TensorFlow; реализация Keras 3 может работать с TensorFlow, Torch и JAX. Модель предназначена для использования как основа для классификации изображений, визуального поиска и других задач компьютерного зрения. Для загрузки и использования исходных весов Facebook действует лицензия DINOv3 с ограничениями доступа; метаданные Hub обозначают лицензию как other.

dm_nfnet_f4.dm_in1k — модель семейства NFNet для классификации изображений, опубликованная авторами работ о сетях без нормализации и доступная в библиотеке timm. Она обучена на ImageNet-1k и может использоваться как классификатор или визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура напоминает ResNet с предварительной активацией, но не содержит слоёв нормализации: вместо них применяются Scaled Weight Standardization и скалярные коэффициенты в остаточных связях и нелинейностях. Модель содержит 316,1 млн параметров; вычислительная сложность составляет 122,1 GMACs. Размер изображения при обучении — 384×384, при тестировании — 512×512. Репозиторий предоставляет веса PyTorch и SafeTensors; лицензия — Apache-2.0. Карточка рекомендует ImageNet-классификацию и извлечение визуальных признаков, но не описывает ограничения по качеству или условия применения помимо лицензии.

DPN-107 MXNet-1k — модель классификации изображений и извлечения признаков семейства Dual-Path Network. Её обучили авторы статьи на ImageNet-1k в MXNet, затем Ross Wightman перенёс веса в PyTorch. Репозиторий timm предоставляет модель в форматах PyTorch и safetensors; лицензия — Apache-2.0. Модель содержит 86,9 млн параметров, имеет вычислительную сложность 18,4 GMAC и рассчитана на изображения размером 224 × 224 пикселя. Она подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Метаданные и карточка указывают задачу image-classification; описание также заявляет использование в качестве backbone для признаков. Модель работает с изображениями и выдаёт классы или признаки изображения. Обучение на ImageNet-1k ориентирует её на соответствующий набор визуальных категорий, поэтому перенос на другие области может потребовать дополнительной настройки.

eca_halonext26ts.c1_in1k — модель классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом и обученная в библиотеке timm на ImageNet-1k. Она сочетает архитектуру HaloNet с эффективным канальным вниманием и блоками на основе ResNeXt; реализация использует настраиваемую архитектуру BYOBNet. Модель содержит 10,8 млн параметров, требует изображений размером 256 × 256 и выполняет классификацию, извлечение карт признаков и получение эмбеддингов. Модель подходит для распознавания объектов на изображениях и как визуальная основа для последующих задач компьютерного зрения. В конфигурации уменьшено число блоков self-attention, а сама модель не следует точной конфигурации конкретной научной работы. Опубликованные веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0.

EfficientViT-M4 — модель классификации изображений и извлечения визуальных признаков из семейства EfficientViT, разработанного MSRA. Авторы статьи обучили её на ImageNet-1k; модель доступна через библиотеку timm и рассчитана на изображения размером 224 × 224 пикселя. Она содержит около 8,8 млн параметров и требует 0,3 GMAC на обработку изображения. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Архитектура использует каскадное групповое внимание и ориентирована на экономичную обработку изображений. Веса опубликованы в форматах PyTorch и safetensors под лицензией MIT.

FasterNet-T2 — модель классификации изображений семейства FasterNet, обученная авторами статьи на ImageNet-1k. В карточке указано, что она также служит визуальным backbone для извлечения карт признаков и эмбеддингов. Модель содержит около 15 млн параметров, обрабатывает изображения размером 224 × 224 и имеет вычислительную сложность 1,9 GMAC. Её можно применять для классификации изображений и получения признаков для последующих компьютерно-зрительных задач. Репозиторий использует библиотеку timm; веса доступны в форматах PyTorch и safetensors. Модель предназначена для изображений ImageNet-1k и не описана как мультимодальная или многоязычная. Лицензия репозитория — Apache-2.0.

hrnet_w18_small.ms_in1k — модель семейства HRNet для классификации изображений и извлечения визуальных признаков. Её разработали авторы работы Deep High-Resolution Representation Learning for Visual Recognition и обучили на ImageNet-1k. Модель содержит 13,2 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 1,6 GMACs. Модель подходит для распознавания объектов на изображениях, получения карт признаков и визуальных эмбеддингов, а также как компактная основа для компьютерного зрения. Репозиторий предоставляет веса PyTorch в формате Safetensors; модель распространяется по лицензии MIT.