IV.9Медиа, журналистика, культура, архивы и игры

ADIA_TTS — модель синтеза речи на волоф, разработанная CONCREE на основе parler-tts-mini-multilingual-v1.1 и дообученная на 40 часах аудиоданных на волоф в течение 100 эпох. Она преобразует текст в речь с частотой 24 кГц, поддерживает управление характеристиками голоса через текстовое описание и предлагает один голос. Модель построена на архитектуре Parler-TTS; файлы представлены в формате safetensors, библиотека — Transformers. Лицензия Apache 2.0 разрешает коммерческое использование; авторы просят указывать CONCREE как создателя и учитывать язык волоф и сенегальскую культуру. Модель предназначена для озвучивания текстов на волоф, например образовательных материалов и контента для цифровой доступности. README сообщает о естественном звучании, но не приводит количественной оценки качества. Без сегментации длина одного входа ограничена 200 символами; качество обработки чисел и дат ограничено, а переходы между сегментами могут звучать неодинаково. Первоначальная загрузка модели занимает сравнительно много времени; рекомендуемый минимум памяти — 3,9 ГБ.

microsoft/beit-large-patch16-224 — большая модель классификации изображений семейства BEiT, опубликованная Microsoft и основанная на архитектуре Vision Transformer с энкодером, похожим на BERT. Веса предварительно обучены без учителя на ImageNet-21k, а затем дообучены с учителем на ImageNet-1k; число параметров — около 411 млн. Модель принимает изображения RGB, разбитые на патчи 16×16, и рассчитана на входное разрешение 224×224 пикселя. Модель предназначена для отнесения изображения к одному из 1000 классов ImageNet. Её представления также можно использовать как основу для классификатора на размеченных данных. При предобучении BEiT учится восстанавливать визуальные токены по замаскированным участкам изображения; для классификации усредняются финальные представления патчей. Репозиторий содержит версии весов PyTorch и Flax. Для подготовки изображений требуется масштабирование до 224×224 и нормализация RGB-каналов со средним и стандартным отклонением 0,5. В README отмечено, что для лучшего результата при дообучении использовалось разрешение 384×384. Модель распространяется по лицензии Apache-2.0.

BEiT-v2 Large — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Репозиторий опубликован командой timm; модель основана на архитектуре Vision Transformer с патчами 16×16 и входным размером 224×224. В ней 304,4 млн параметров, а веса доступны в форматах PyTorch и safetensors. Модель предварительно обучалась на ImageNet-1k методом masked image modeling с визуальным токенизатором VQ-KD, использующим учителя OpenAI CLIP B/16. Затем её дообучили на ImageNet-22k и ImageNet-1k. Она предназначена для классификации изображений и может использоваться как основа для извлечения эмбеддингов и других задач компьютерного зрения. Лицензия — Apache-2.0. Характеристики и обучение ориентированы на ImageNet; качество на изображениях и классах вне этого распределения может отличаться.

timm/caformer_m36.sail_in22k — модель компьютерного зрения семейства CAFormer и архитектуры MetaFormer, разработанная авторами исследования MetaFormer baselines for vision и опубликованная в библиотеке timm. Она предназначена для классификации изображений, а также может служить визуальной основой для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 104,2 млн параметров, имеет вычислительную сложность 13,3 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Она обучена на ImageNet-22k и доступна в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель подходит для классификации изображений и извлечения визуальных признаков в компьютерном зрении. Карточка не сообщает о мультимодальном вводе или генерации; классификация ограничена задачей image-classification.

caformer_s18.sail_in1k — модель классификации изображений на архитектуре CAFormer, разработанная авторами работы MetaFormer baselines for vision и обученная на ImageNet-1k. Она предназначена для отнесения изображений к категориям и может использоваться как визуальный backbone для извлечения признаков и получения эмбеддингов изображений. Модель содержит 26,3 млн параметров, требует изображение размером 224 × 224 пикселя и имеет показатель вычислительной сложности 4,1 GMACs. Она доступна через библиотеку timm в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

caformer_s36.sail_in22k_ft_in1k — модель классификации изображений семейства CAFormer, разработанная авторами работы MetaFormer baselines for vision. Она обучена на ImageNet-22k и дообучена для классификации на ImageNet-1k. Модель также может служить визуальным backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 39,3 млн параметров, выполняет около 8 GMACs и рассчитана на изображения размером 224 × 224. Она предназначена для классификации изображений и получения визуальных признаков; текст и другие модальности не принимает. Репозиторий распространяет веса в форматах PyTorch и Safetensors, библиотека для работы — timm. Лицензия — Apache-2.0.

caformer_s36.sail_in22k_ft_in1k_384 — модель компьютерного зрения семейства CAFormer и архитектуры MetaFormer, представленная разработчиками paper и опубликованная в экосистеме timm. Она предварительно обучена на ImageNet-22k, а затем дообучена на ImageNet-1k для классификации изображений; также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 39,3 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Репозиторий предоставляет веса PyTorch и Safetensors, библиотека для работы — timm. Лицензия — Apache-2.0. Карточка не описывает языковые возможности: модель принимает изображения и выдаёт метки классов, карты признаков или эмбеддинги.

morit/chinese_xlm_xnli — модель классификации текста с архитектурой XLM-RoBERTa-base, дообученная для классификации без заранее заданных классов. Разработчик продолжил предварительное обучение базовой модели на многоязычных сообщениях Twitter, затем дообучил её на китайской части набора XNLI. В метаданных указано около 305,2 млн параметров и контекст до 514 токенов. Модель предназначена прежде всего для zero-shot-классификации китайского текста, в частности для выявления языка вражды: пользователь задаёт варианты меток, а модель оценивает их соответствие тексту. Авторы отмечают потенциальную применимость и к другим языкам благодаря многоязычной базе XLM-RoBERTa, но основная настройка выполнена на китайских данных. Модель доступна в формате PyTorch по лицензии MIT.

CoaT Lite Medium 384 — модель классификации изображений семейства CoaT (Co-Scale Conv-Attentional Transformer), обученная авторами статьи на ImageNet-1k. Её также можно использовать как визуальный backbone для извлечения признаков и эмбеддингов изображений. Модель содержит 44,6 млн параметров и рассчитана на входные изображения размером 384 × 384 пикселя. Она предназначена для распознавания объектов на изображениях общего назначения и может служить основой для задач компьютерного зрения, где нужны визуальные признаки. Репозиторий предоставляет веса PyTorch; модель доступна по лицензии Apache-2.0. В карточке не приведены сведения о поддержке текстового ввода или о языках.

coatnet_rmlp_nano_rw_224.sw_in1k — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она предназначена для присвоения изображениям категорий из набора ImageNet-1k и может использоваться как визуальная основа для извлечения признаковых карт и эмбеддингов. Архитектура CoAtNet сочетает свёрточные блоки MBConv на ранних этапах с блоками трансформера с self-attention на поздних. Вариант rMLP использует MLP Log-CPB — смещение относительных позиций, мотивированное Swin Transformer V2. Модель содержит около 15,15 млн параметров, рассчитана на изображения размером 224 × 224 и имеет показатель 2,62 GMACs. В таблице результатов для неё указаны точность top-1 82,05% и top-5 95,87% на ImageNet-1k. Модель принимает изображения и выдаёт оценки классов; текстовые языки к её задачам не относятся. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Результаты и назначение привязаны к ImageNet-1k, поэтому для других наборов категорий или предметных областей может потребоваться адаптация.

Conflibert-binary-classification — модель классификации текста, разработанная на основе ConfliBERT и дообученная для различения событий конфликта и отсутствия конфликта. Она предназначена для анализа текстовых описаний событий и отнесения их к одному из двух классов. Модель использует архитектуру BERT с головой классификации последовательностей и содержит 136,3 млн параметров. Максимальная длина контекста — 512 токенов. Веса доступны в формате Safetensors; лицензия — GPL-3.0. Базовая модель — eventdata-utd/ConfliBERT-scr-uncased. Модель специализирована на текстах о политических конфликтах и насилии. Карточка не сообщает результаты оценки качества или подробности о поддерживаемых языках, поэтому переносить её на другие тематические области или языки следует с осторожностью.

ConvFormer B36 SAIL IN22K — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Она основана на архитектуре ConvFormer семейства MetaFormer и обучена авторами статьи на ImageNet-22k. Модель содержит около 163,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения классов объектов на изображении, получения карт признаков и визуальных эмбеддингов, которые можно использовать в последующих задачах компьютерного зрения. Репозиторий распространяется в форматах PyTorch и Safetensors, библиотека — timm. Лицензия — Apache-2.0.

ConvFormer M36 — модель классификации изображений и выделения признаков из семейства MetaFormer. Она создана авторами работы «Metaformer baselines for vision», предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k. Модель содержит 57,1 млн параметров; для классификации использует изображения размером 224 × 224 пикселя, а вычислительная сложность составляет 12,9 GMACs. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Её можно применять как визуальный бэкбон в системах компьютерного зрения или для переноса признаков на другие задачи. Репозиторий использует библиотеку timm и предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

convnextv2_pico.fcmae — компактная визуальная модель семейства ConvNeXt V2 из библиотеки timm. Это сверточный backbone примерно на 8,6 млн параметров, предварительно обученный на ImageNet-1k с помощью самообучения по схеме fully convolutional masked autoencoder (FCMAE). Модель рассчитана на изображения размером 224 × 224 и не имеет предварительно обученной классификационной головы. Её можно дообучать для классификации изображений или использовать для извлечения признаков и эмбеддингов изображений. Модель принимает изображения и возвращает визуальные признаки; готовая классификация требует подходящей головы и настройки под задачу. Карточка не указывает языковые возможности, поскольку модель работает с изображениями. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

CrossViT-15-240.in1k — модель классификации изображений и извлечения визуальных признаков из семейства CrossViT, разработанная авторами статьи CrossViT и обученная на ImageNet-1k. Она принимает изображения размером 240 × 240 пикселей и предназначена для распознавания объектов по классам ImageNet, а также может использоваться как визуальный backbone для получения эмбеддингов. Модель содержит около 27,5 млн параметров и требует 5,8 GMACs на проход. Репозиторий предоставляет веса PyTorch и SafeTensors; библиотека для работы — timm. Лицензия — Apache-2.0. Карточка не сообщает о специализированной поддержке других наборов классов или языковых задач.

facebook/data2vec-vision-base — базовая модель компьютерного зрения от команды Facebook, представленная в работе data2vec. Это BEiT-подобный Transformer с 119,5 млн параметров, предварительно обученный без учителя на ImageNet-1k: по замаскированному представлению изображения модель учится предсказывать контекстные скрытые представления всего изображения. В исходном обучении использовались RGB-изображения разрешением 224×224. Модель предназначена для классификации изображений и может служить отправной точкой для последующего дообучения под конкретные классы и наборы данных. Обучение на ImageNet-1k охватывает 1000 классов; для дообучения наилучшие результаты в карточке связываются с использованием большего разрешения. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

DistilSPhilBERTa — дообученная авторами статьи Evaluating Latin and Ancient Greek Sentence Alignment through Parallel Sentence Mining модель Sentence Transformer на базе bowphs/SPhilBerta. Она преобразует предложения и абзацы в векторы размерности 768 и предназначена для поиска смыслового сходства, семантического поиска и выявления параллельных текстов на латыни и древнегреческом, в том числе при сопоставлении с английским. Модель использует архитектуру RoBERTa и библиотеку sentence-transformers; в репозитории указано 162,4 млн параметров. Для сходства применяется косинусная мера. README сообщает о результатах выше SPhilBERTa и других классических кросс-языковых моделей на авторском бенчмарке поиска параллельных предложений. Метаданные указывают контекст 514 токенов, тогда как README задаёт максимальную длину последовательности 128 токенов. Модель подходит для поиска и сопоставления фрагментов в корпусах латинских, древнегреческих и английских текстов. В README приведены обучающие данные grosenthal/latin_english_parallel и набор данных English-Greek Dataset. Лицензия в предоставленных сведениях не указана.

EfficientFormer L7 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Она реализована на PyTorch и распространяется через timm; веса предварительно обучены с дистилляцией на ImageNet-1k. Модель содержит около 82,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображениям классов ImageNet-1k, а также для получения эмбеддингов изображений и использования в качестве визуального backbone. В карточке для неё приведены результаты ImageNet-1k: точность top-1 83,368% и top-5 96,534%. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.

efficientformerv2_l.snap_dist_in1k — модель классификации изображений семейства EfficientFormer-V2, опубликованная в репозитории timm и предназначенная для классификации изображений и извлечения визуальных признаков. Она предварительно обучена на ImageNet-1k с дистилляцией и рассчитана на изображения размером 224 × 224 пикселя. Модель содержит около 26,3 млн параметров и требует 2,6 GMACs на обработку изображения. В карточке приведён результат top-1 83,628% и top-5 96,54% на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; репозиторий использует библиотеку timm. Лицензия — Apache-2.0. Карточка не указывает языковые возможности: модель работает с изображениями и выдаёт классы или визуальные признаки.

EfficientNet-B1 — сверточная модель классификации изображений из семейства EfficientNet, представленная проектом timm. Версия ft_in1k дообучена на ImageNet-1k и перенесена с исходных весов TensorFlow с padding типа SAME для использования в PyTorch. Модель содержит около 7,8 млн параметров; в карточке указаны размер изображения 224 × 224 для обучения и 256 × 256 для проверки, а также вычислительная сложность 0,6 GMACs. Модель предназначена для отнесения изображений к классам ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Это компактная модель для классификации изображений общего назначения. Доступна по лицензии Apache-2.0.

timm/efficientnet_b3_pruned.in1k — модель классификации изображений на основе EfficientNet-B3, опубликованная проектом timm. Веса EfficientNet сокращены методом knapsack pruning; модель обучена на ImageNet-1k и предназначена для отнесения изображений к категориям, извлечения признаков и получения эмбеддингов изображений. Модель содержит 9,9 млн параметров, требует изображения размером 300 × 300 пикселей и имеет вычислительную сложность около 1,0 GMAC. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка также ссылается на работы EfficientNet и Knapsack Pruning with Inner Distillation.

efficientnet_h_b5.sw_r448_e450_in1k — свёрточная модель EfficientNet для классификации изображений, опубликованная командой timm. Она обучена на ImageNet-1k; карточка описывает также извлечение карт признаков и получение эмбеддингов изображений. В модели 45,9 млн параметров и 27,2 GMACs. Размер изображения при обучении — 448 × 448 пикселей, при тестировании — 576 × 576. Модель предназначена для распознавания объектов на изображениях и может использоваться как энкодер признаков в компьютерном зрении. В README указаны оптимизатор AdamW, ограничение градиентов, усреднение весов EMA и косинусное расписание скорости обучения с разогревом. Распространяется под лицензией Apache-2.0.

FastViT-S12 — модель классификации изображений и визуальный backbone, обученный авторами статьи на ImageNet-1k. Репозиторий timm предоставляет веса в форматах PyTorch и safetensors для использования через библиотеку timm. Модель содержит около 9,5 млн параметров, требует изображения размером 256 × 256 пикселей и имеет вычислительную сложность 1,8 GMAC. Помимо классификации, её можно использовать для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для распознавания объектов и получения визуальных признаков в компьютерном зрении. Следует соблюдать исходную лицензию; её конкретные условия в предоставленных данных не раскрыты.

FlexiViT Small 1200 эпох на ImageNet-1k — модель классификации изображений и визуальный backbone. Её обучили авторы статьи FlexiViT в JAX, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней 22,1 млн параметров, она рассчитана на изображения размером 240 × 240 пикселей и имеет вычислительную стоимость 4,9 GMACs. Модель предназначена для классификации изображений по 1000 классам ImageNet-1k и может использоваться как основа для извлечения признаков и эмбеддингов изображений. FlexiViT исследует использование одной модели для разных размеров патчей, однако в этой карточке указан размер изображения 240 × 240. Лицензия репозитория — Apache-2.0. Языковой ввод модели не требуется.

FocalNet Large FL4 — модель для классификации изображений и извлечения визуальных признаков из семейства FocalNet, представленная авторами статьи. Она предварительно обучена на ImageNet-22k и содержит около 239,3 млн параметров. Модель рассчитана на изображения размером 384 × 384 пикселя; её можно использовать как классификатор, визуальный backbone, для извлечения карт признаков и эмбеддингов изображений. Модель подходит для распознавания объектов и категорий на изображениях, а также как компонент компьютерного зрения в более сложных системах. Репозиторий предоставляет веса в форматах PyTorch и Safetensors, а библиотека для работы с моделью — timm. Лицензия MIT разрешает коммерческое и иное использование при соблюдении её условий.

GhostNetV2 160.in1k — сверточная модель классификации изображений из семейства GhostNetV2, опубликованная авторами соответствующей работы и обученная на ImageNet-1k. Репозиторий предоставляет веса в форматах PyTorch и safetensors для использования через timm и Transformers. Модель предназначена для классификации изображений, а также может использоваться как backbone для извлечения карт признаков и изображенийных эмбеддингов. Для входа указано разрешение 224 × 224 пикселя; модель содержит 12,4 млн параметров и требует около 0,4 GMAC на изображение. Лицензия — Apache-2.0. Обучение на ImageNet-1k задаёт область классов, на которых модель обучалась; качество на других распределениях может отличаться.

Google Safesearch Mini V2 — классификатор изображений для выявления откровенного контента, разработанный Fred Zhang. Модель построена на архитектуре InceptionResNetV2 и обучена на наборе примерно из 3,4 миллиона изображений из Google Images, Reddit, Kaggle и Imgur; часть данных была создана аугментацией. Карточка сообщает о точности 97% на обучающей и валидационной выборках. Модель предназначена для фильтрации изображений в социальных сетях и наборах данных по признаку безопасного или откровенного содержания. Автор отмечает, что классификатор ошибочно принимал шерсть коричневой кошки за человеческую кожу и дообучал его на дополнительных наборах данных. Заявленная точность относится к указанным выборкам и не гарантирует такой же результат на новых данных. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

hardcorenas_b.miil_green_in1k — компактная модель классификации изображений семейства HardCoReNAS, обученная авторами статьи на ImageNet-1k с их «зелёным» рецептом обучения. Её также можно использовать как основу для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 5,2 млн параметров, выполняет около 0,3 GMAC на изображение и рассчитана на входной размер 224 × 224 пикселя. Она предназначена для классификации изображений и получения признаков в задачах компьютерного зрения. Данные не указывают на поддержку текстовых или иных языковых входов. Модель распространяется в форматах PyTorch и safetensors под лицензией Apache-2.0. Карточка не приводит конкретных ограничений качества или списка классов помимо обучения на ImageNet-1k.

iFormer M — модель классификации изображений и извлечения визуальных признаков из семейства iFormer, опубликованная авторами статьи и обученная на ImageNet-1k. Она сочетает свёрточные сети и Transformer и рассчитана на мобильные сценарии. Модель содержит 8,9 млн параметров, обрабатывает изображения размером 224 × 224 и требует около 1,7 GMACs на обработку изображения. Модель подходит для определения объектов и категорий на изображениях, извлечения карт признаков и получения векторных представлений изображений. Репозиторий содержит веса в формате safetensors; лицензия — MIT.

OwenElliott/image-safety-classifier-s — компактная модель классификации изображений, разработанная Owen Elliott для выявления небезопасного визуального контента. Она присваивает изображениям один из трёх классов: NSFW (порнографический или сильно suggestive-контент), NSFL (изображения с кровью и сценами жестокости) и SFW (остальное). Модель построена на архитектуре SwiftFormer и содержит 6,1 млн параметров; доступны веса PyTorch и ONNX, включая варианты fp32 и fp16. Небольшой размер рассчитан на запуск на периферийных устройствах и в сценариях с низкими требованиями к задержке. Модель предназначена для автоматической модерации изображений, предварительной фильтрации пользовательских загрузок и маркировки визуального контента. По заявлению автора, она обучена на примерно 320 тысячах изображений из сети, включая фотографии, рисунки, скриншоты, мемы и изображения, созданные ИИ; заявленная точность на оценочном наборе — 97,99%. Лицензия MIT разрешает использование и распространение на её условиях.