II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейЭто модель классификации аудио, дообученная на microsoft/wavlm-large для определения пола и оценки возраста говорящего по речи. Она реализует подход, описанный в бенчмарке Vox-Profile для характеристики говорящих и речевых признаков. Пол возвращается одним из двух классов: Female или Male; оценка возраста находится в диапазоне от 0 до 1, и для получения возраста в годах её нужно умножить на 100. Модель принимает аудио и выдаёт метки и числовую оценку. Репозиторий содержит веса в формате safetensors. Лицензия — OpenRAIL.
litagin/anime_speech_emotion_classification — модель распознавания эмоций в речи, разработанная на основе Wav2Vec2 и обученная на датасете litagin/Galgame_Speech_SER_16kHz. Она принимает аудио и классифицирует эмоциональную окраску речи; для запуска в README приведён пример использования через Transformers на GPU. Модель содержит 201,3 млн параметров и распространяется в формате safetensors. Она предназначена для анализа эмоциональных характеристик речи, в том числе реплик из визуальных новелл и аниме-игр. Лицензия — MIT. Состав классов эмоций и показатели качества в доступных сведениях не описаны.
Модель herurg/ast-finetuned-gtzan-audio-course — дообученная для классификации музыкальных жанров версия Audio Spectrogram Transformer (AST), созданная в рамках практического задания четвёртого блока Hugging Face Audio Course. Она принимает аудио и относит его к одному из десяти жанров GTZAN: блюз, классика, кантри, диско, хип-хоп, джаз, металл, поп, регги или рок. Модель содержит 113,2 млн параметров и основана на MIT/ast-finetuned-audioset-10-10-0.4593, предварительно обученной на AudioSet модели AST для классификации звуковых событий. В README указана точность 0,88 на оценочной выборке из 100 примеров; обучение проводилось на 899 примерах датасета marsyas/gtzan. Это результат на конкретной небольшой выборке, поэтому качество на других музыкальных данных может отличаться. Лицензия в предоставленных данных не указана.
Модель tanganke/clip-vit-base-patch32_cifar10 — дообученная на CIFAR-10 визуальная часть CLIP ViT-Base/32, основанная на openai/clip-vit-base-patch32. Она предназначена для извлечения признаков изображений и сценариев компьютерного зрения с изображениями, похожими на объекты CIFAR-10. В README приведены результаты оценки: 0,8983 для предварительно обученной модели и 0,9760 после дообучения. Модель содержит 113,2 млн параметров, использует архитектуру ViT с размером патча 32 и распространяется в формате safetensors. README показывает загрузку через Transformers как CLIPVisionModel. Данных о лицензии в предоставленных источниках нет.
Это дообученная на CIFAR-100 модель зрения CLIP ViT-Base/32 от tanganke, основанная на openai/clip-vit-base-patch32. Архитектура использует Vision Transformer с размером патча 32; в модели около 113,2 млн параметров. Репозиторий содержит веса в формате safetensors, а карточка предлагает загружать модель как CLIPVisionModel через Transformers. Модель предназначена для извлечения признаков изображений и задач компьютерного зрения, связанных с набором классов CIFAR-100. В README приведены результаты оценки: 0,637 для предобученной модели и 0,884 после дообучения; метрика и протокол оценки не уточнены. Лицензия в предоставленных данных не указана.
sercetexam9/cs221-deberta-v3-base-finetuned — модель классификации текста на базе DeBERTa-v3-base от Microsoft, дообученная для классификации последовательностей. В репозитории указаны результаты оценки: F1 0,7829, ROC AUC 0,8382, точность 0,5054 и loss 0,3618; название набора данных в карточке не раскрывает задачу подробнее. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. Она распространяется в формате Safetensors по лицензии MIT. Карточка не описывает целевые классы, обучающие данные или предполагаемые сценарии, поэтому применимость метрик к конкретной задаче оценить нельзя.
CultureMERT-95M — музыкальная аудиомодель на основе MERT-v1-95M, разработанная для улучшения представления музыки разных культурных традиций. Это дообученный трансформерный энкодер с 12 слоями и размерностью 768, а также фронтендом из 7 слоёв 1D-CNN; по метаданным в модели 113,3 млн параметров. Она принимает монофоническое аудио с частотой 24 кГц и обучалась на фрагментах длительностью 5 секунд. Модель предназначена для извлечения музыкальных признаков и классификации аудио, в частности для автоматической разметки музыки по жанрам, инструментам, настроению, рагам, тала, макамам и усулям. Продолжительное предобучение на греческой, турецкой и индийской музыке улучшило результаты на наборах данных незападных традиций, при сохранении близкой к MERT-v1-95M производительности на западных бенчмарках. Модель выпущена под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое применение.
Японская базовая модель DeBERTa V2 от исследовательской группы KU-NLP, предварительно обученная для восстановления скрытых токенов в тексте. Она предназначена для masked language modeling и может служить основой для дообучения на задачах понимания японского языка. Обучение проводилось на японских частях Wikipedia, CC-100 и OSCAR; модель содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. Токенизатор автоматически сегментирует японский текст с помощью Juman++. Для его работы требуются Juman++ 2.0.0-rc3 и rhoknp; сегментировать текст заранее не нужно. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 4.0. В карточке также описана оценка дообученных вариантов на задачах JGLUE, но эта базовая модель сама по себе не является специализированной моделью для этих задач.
DPN-92 — сверточная модель классификации изображений семейства Dual-Path Net, обученная авторами статьи на ImageNet-1k в MXNet и перенесённая в PyTorch Россом Уайтманом. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. В модели около 37,7 млн параметров; вычислительная сложность составляет 6,5 GMACs. Указанный размер входного изображения — 224 × 224 пикселя. Модель доступна через библиотеку timm в форматах PyTorch и safetensors. Лицензия репозитория — Apache-2.0. Обучение на ImageNet-1k делает модель подходящей для классификации объектов из набора категорий ImageNet и использования как основы для извлечения визуальных признаков. Карточка не сообщает о поддержке других модальностей или специализированных предметных областях.
Intel/dpt-swinv2-large-384 — модель семейства DPT из MiDaS 3.1, разработанная Intel на основе работ Ranftl и соавторов. Она оценивает относительную глубину по одному изображению, используя SwinV2 в качестве визуального backbone и архитектуру Dense Prediction Transformer. Модель обучена на 1,4 млн изображений и рассчитана на входное разрешение 384×384 пикселя. Модель предназначена для оценки глубины без дополнительного дообучения и может применяться как начальный компонент систем реконструкции сцены, генеративных инструментов и автономного вождения. Она обрабатывает изображения, а результатом является карта глубины. В карточке отмечено, что для конкретных прикладных задач может потребоваться дообучение. Модель распространяется по лицензии MIT.
kittn/eupe_vitb16 — конверсия EUPE ViT-B/16 от Facebook в формат Hugging Face Transformers с архитектурой DINOv3 ViT. Модель содержит 113,2 млн параметров; её выход last_hidden_state представляет признаки изображения, поэтому её можно использовать как визуальный энкодер для извлечения представлений и построения последующих моделей компьютерного зрения. Архитектура включает 12 слоёв, скрытый размер 768, 12 голов внимания, четыре register-токена и патчи размером 16 пикселей. Для меньшего расхождения с исходным путём инференса README рекомендует запуск на CUDA с bf16 autocast. Реализация RoPE в стандартном коде Hugging Face не совпадает побитово с эталонной реализацией EUPE; README описывает способ восстановить такое совпадение. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в исходной карточке EUPE ViT-B. Модель предназначена для извлечения признаков изображений, а не для непосредственной генерации подписей или ответов на вопросы о них.
GeoDiffusion — модель генерации изображений, дообученная авторами репозитория на базе Stable Diffusion v1.5 для создания синтетических данных обнаружения объектов. Этот чекпойнт обучен на наборе nuImages и генерирует изображения размером 512×512 с условиями по времени суток и погоде. Модель предназначена для расширения обучающих наборов компьютерного зрения, в частности сценариев, связанных с автономным транспортом и дорожной обстановкой. Она использует Stable Diffusion Pipeline из библиотеки Diffusers и распространяется в форматах Diffusers и PyTorch по лицензии MIT. README отсылает к репозиторию GitHub за подробностями использования; сведения о поддерживаемом текстовом вводе и ограничениях качества не приведены.
granite-geospatial-canopyheight — геопространственная модель IBM, дообученная для попиксельного прогнозирования высоты древесного полога и растительности по оптическим спутниковым снимкам. Она предназначена для анализа данных Harmonized Landsat and Sentinel-2 (HLS) L30 и обучена на метках GEDI для 15 биомов по всему миру. В основе модели лежит Swin-B Transformer, предварительно обученный методом SimMIM; для регрессии используется декодер UPerNet с двумя слоями Pixel Shuffle для увеличения разрешения выходной карты. Модель помогает оценивать высоту растительности для мониторинга лесных ресурсов, расчётов углеродного цикла и оценки урожайности. Входом служат оптические спутниковые изображения, выходом — карта высоты растительности. Для подготовки входных данных авторы использовали безоблачные сезонные композиты; облака и сезонная или географическая специфика могут влиять на пригодность результатов. Модель выпущена по лицензии Apache-2.0. IBM сообщает, что не обязуется предоставлять обновления, улучшения или поддержку проекта.
HGNet-V2 B4 — модель классификации изображений и извлечения признаков, опубликованная авторами семейства HGNet-V2 и доступная через библиотеку timm. Модель обучена на mined ImageNet-22k и ImageNet-1k с применением дистилляции SSLD. В ней около 19,8 млн параметров; для обучения использовались изображения размером 224 × 224, для тестирования — 288 × 288. Репозиторий содержит веса PyTorch и SafeTensors, лицензия — Apache-2.0. Модель подходит для классификации изображений по категориям ImageNet, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальный backbone в прикладных системах компьютерного зрения. В карточке для этой конкретной версии не приведены показатели качества, а результаты в таблице относятся к вариантам B6, поэтому их нельзя переносить на B4.
Модель Humor-Research/humor-detection-comb-23 разработана проектом Humor Research для выявления юмора в англоязычном тексте. Это модель бинарной классификации на базе RoBERTa с архитектурой RobertaForSequenceClassification и 151,8 млн параметров; она работает через библиотеку Transformers и принимает последовательности длиной до 514 токенов. Модель предназначена для определения, является ли текст юмористическим, а также для классификации шуток и распознавания юмора в текстовых корпусах. Она представлена как рекомендуемая модель проекта для задачи «юмор или не юмор» и опубликована в рамках исследования переносимости и устойчивости моделей распознавания юмора. Модель поддерживает английский язык. В README не приведены количественные оценки качества или подробности ограничений, кроме специализации на англоязычном тексте и контекста в 514 токенов. Сведения о лицензии в предоставленных данных отсутствуют.
InceptionNeXt Atto SAIL IN1K — сверточная модель классификации изображений из семейства InceptionNeXt, обученная авторами статьи на ImageNet-1k. Она предназначена для классификации изображений и может использоваться как базовая сеть для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 4,2 млн параметров, имеет вычислительную сложность 0,5 GMACs и рассчитана на изображения размером 224 × 224. Она доступна через библиотеку timm; веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
gxcsoccer/kronos-mlx-mini — порт на Apple MLX компактной модели Kronos-mini, опубликованный gxcsoccer. Это дообученная версия NeoQuasar/Kronos-mini для прогнозирования финансовых временных рядов; модель использует 4,1 млн параметров и контекст до 2048 токенов. Для работы требуется совместимый токенизатор gxcsoccer/kronos-mlx-tokenizer-2k. Модель предназначена для построения прогнозов по финансовым данным временных рядов, включая свечи OHLCV. Порт ориентирован на запуск с библиотекой MLX на устройствах Apple Silicon. Репозиторий распространяется под лицензией MIT.
unslothai/lambda — модель из репозитория unslothai на Hugging Face, опубликованная разработчиком unslothai. По метаданным репозитория она предназначена для задачи feature extraction и может загружаться через Transformers как модель для извлечения признаков из текста. Архитектура указана как LlamaModel, формат весов — Safetensors, тип данных — float32. Надёжно установить размер модели, число параметров, поддерживаемые языки, длину контекста и конкретные характеристики качества невозможно: в конфигурации эти значения указаны как нулевые, а полноценная карточка модели отсутствует. Модель не развернута через Inference Providers. Лицензия в репозитории не указана, поэтому условия использования требуют отдельной проверки.
LeViT-192.fb_dist_in1k — модель компьютерного зрения семейства LeViT, опубликованная в timm. Это свёрточный вариант архитектуры, использующий nn.Conv2d и nn.BatchNorm2d; он предварительно обучен авторами статьи на ImageNet-1k с дистилляцией. Модель содержит 10,9 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,7 GMACs на изображение. Модель предназначена для классификации изображений по 1000 классам ImageNet-1k и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Компактный размер и низкая вычислительная стоимость подходят для задач классификации с ограниченными ресурсами. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0.
Longformer-es-mental-large — языковая модель на архитектуре Longformer, разработанная группой ELiRF института VRAIN при Политехническом университете Валенсии для анализа испаноязычных текстов о психическом здоровье. Модель содержит около 454,1 млн параметров, обучена с задачей masked language modeling и обрабатывает последовательности длиной до 4098 токенов. Модель адаптирована к предметной области на корпусе примерно из 1,9 млн публикаций Reddit о психическом здоровье, автоматически переведённых на испанский. Она предназначена для извлечения признаков и последующей настройки под классификацию психических расстройств, раннее выявление риска и анализ длинной истории сообщений пользователя. Специализированной настройки под конкретную задачу в этой версии нет. Модель подходит для исследовательских и прикладных NLP-экспериментов с длинными испанскими текстами. Данные из социальных сетей могут содержать демографические, культурные и языковые смещения, а машинный перевод — искажения смысла; предсказания могут быть нестабильны при недостатке контекста. Модель не объясняет выводы и не предназначена для решений, влияющих на здоровье или безопасность, либо для вмешательств без надзора человека. Лицензия указана как совпадающая с лицензией базовой модели PlanTL-GOB-ES.
Mask2Former — модель компьютерного зрения, впервые выпущенная разработчиками Mask2Former и представленная в статье «Masked-attention Mask Transformer for Universal Image Segmentation». Этот крупный вариант с backbone Swin обучен на наборе Mapillary Vistas для паноптической сегментации: он выделяет области изображения в виде масок и присваивает им метки классов, объединяя семантическую и экземплярную сегментацию в одном подходе. Модель предназначена для паноптического разбора дорожных сцен, например для анализа изображений улиц и дорожной инфраструктуры. Архитектура использует многомасштабный декодер пикселей на основе deformable attention и Transformer-декодер с masked attention. Репозиторий содержит веса PyTorch и Safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.
BVRA/MegaDescriptor-DINOv2-518 — модель извлечения признаков изображений на основе DINOv2, предварительно обученная Supervisely на наборах данных для повторной идентификации животных. Она предназначена для получения векторных представлений изображений животных, которые можно использовать для поиска и сопоставления особей. Модель построена на архитектуре ViT-Large с патчами 14 × 14; содержит около 304,4 млн параметров и рассчитана на изображения размером 518 × 518 пикселей. Модель подходит для создания систем повторной идентификации животных по фотографиям и поиска похожих изображений по эмбеддингам. В карточке указана лицензия CC BY-NC 4.0, которая разрешает использование с соблюдением условий атрибуции и ограничивает коммерческое применение. Метаданные Hugging Face относят её к image-classification, хотя в README основное назначение описано как извлечение признаков для повторной идентификации.
MERT-v1-330M-finetuned-gtzan — дообученная модель на базе m-a-p/MERT-v1-330M, разработанная для классификации музыкального аудио по жанрам на наборе GTZAN. Она использует архитектуру HuBERT для классификации последовательностей; в репозитории указано около 402,7 млн параметров. На тестовой выборке автор сообщает точность 0,93 и значение loss 0,4795. Модель принимает аудио и выдаёт метку класса жанра. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
MERT-v2-30s — двунаправленный музыкальный аудиоэнкодер проекта YuE2, предварительно обученный на 30-секундных музыкальных фрагментах. Он извлекает универсальные представления музыки на уровне отдельных кадров или всей записи; модель можно загружать через библиотеку Hugging Face Transformers по привычному для MERT сценарию. Модель принимает монофонический звук с частотой дискретизации 24 кГц и формирует последовательность признаков с размерностью 1 024 и частотой 25 кадров в секунду. В README указаны 632 млн параметров и 24 слоя, тогда как метаданные Hugging Face указывают 402,7 млн параметров. В оценках на MARBLE энкодер показал сильные результаты на задачах музыкального понимания, включая жанровую классификацию, определение ритма, тональности и тегирование; также приведена оценка распознавания аккордов. Модель предназначена для извлечения признаков, которые можно использовать в последующих задачах анализа музыки. Для обработки полных песен авторы рекомендуют MERT-v2-FullSong. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
gefgu/modernbert-poi-type-aligner — кросс-энкодер, дообученный на базе nomic-ai/modernbert-embed-base для выбора типа общественного места по описанию человека и его расписанию. Модель создана для компонента POI-type aligner платформы CityBehavEx, предназначенной для моделирования городской мобильности; её также можно применять для ранжирования кандидатов в семантическом поиске. Модель принимает пары текстов и оценивает их соответствие одним числовым баллом. Она построена на ModernBERT, имеет около 149 млн параметров и поддерживает последовательности длиной до 8192 токенов. В README указана обучающая выборка из 8000 примеров. Модель работает с текстом; сведения указывают на англоязычную базовую модель и англоязычные примеры данных. Основной сценарий — ранжировать типы общественных мест по контексту человека и занятия в расписании. Для точных условий лицензии следует проверить лицензионные сведения репозитория: в предоставленных данных они не приведены. README просит цитировать публикацию CityBehavEx.
gefgu/modernbert-profile-coherence-aligner — англоязычный текстовый Cross Encoder, дообученный разработчиком на базе nomic-ai/modernbert-embed-base с библиотекой Sentence Transformers. Модель получает пару текстов и оценивает их согласованность; её основная задача — ранжирование по оценке профиля. Чекпойнт создан для CityBehavEx, платформы симуляции городской мобильности с помощью LLM. Он оценивает демографическую правдоподобность синтетических профилей агентов и используется как aligner согласованности профиля. Модель содержит 149 млн параметров, поддерживает последовательности длиной до 8192 токенов и выдаёт один скалярный балл. README указывает обучающую выборку из 8000 примеров и бинарную кросс-энтропию как функцию потерь. Модель подходит для проверки правдоподобности синтетических демографических профилей и ранжирования профилей по согласованности. Карточка не сообщает лицензию; перед использованием следует проверить условия репозитория на Hugging Face. Оценки модели следует трактовать в рамках описанного сценария CityBehavEx, а не как универсальную оценку качества или достоверности профилей.
Bhaveen разработал модель для классификации музыкальных инструментов и дообучил её на базе facebook/wav2vec2-base-960h. Это аудиоклассификатор на архитектуре Wav2Vec2 с примерно 113,3 млн параметров, который относит запись к одному из девяти классов: акустическая гитара, бас-гитара, ударная установка, электрогитара, флейта, хай-хэт, клавишные, труба или скрипка. Модель принимает аудио и выдаёт метки классов с оценками вероятности; для обработки требуется частота дискретизации 16 кГц, а входные фрагменты приводятся к длине 3 секунды. В README для тестовой выборки указаны точность 93,33% и макро ROC AUC 98,59%, но размер и состав данных ограничены: использовались 200 примеров на класс, поэтому эти результаты не гарантируют качество на других записях. Модель рассчитана на распознавание отдельного инструмента; смешанные записи, шум, иные варианты инструментов и манеры исполнения могут снижать точность. Лицензия — MIT.
regnety_640.seer_ft_in1k — модель классификации изображений семейства RegNetY-64GF, опубликованная в библиотеке timm. Она предварительно обучена с помощью самообучения SwAV на наборе из 2 млрд случайных интернет-изображений, а затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 281,4 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Её можно применять для распознавания объектов и сцен на изображениях, а также как компонент более крупных компьютерно-зрительных систем. Веса доступны в форматах PyTorch и safetensors. Модель распространяется по лицензии SEER от Meta Platforms с некоммерческими условиями и ограничениями на использование и распространение.
jayanta/resnet50-finetuned-memes — модель классификации изображений на архитектуре ResNet-50, дообученная на базе microsoft/resnet-50 для классификации мемов. Она принимает изображение и предсказывает метку класса. На оценочной выборке указана точность 0,5742 и функция потерь 1,0625; состав классов и подробности датасета в карточке не описаны. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
merve/rfdetr-roadsign-agree2-large-noaug — дообученная Merve модель обнаружения дорожных знаков на основе Roboflow/rf-detr-large. Она предназначена для поиска знаков и светофоров на изображениях с выдачей классов и координат обнаруженных объектов. В README приведены метрики оценки, включая mAP 0,6232; результаты различаются по категориям, например, mAP для знака Parking составляет 0,9, а для Traffic Light — 0,2374. Модель построена на архитектуре RF-DETR Large, веса представлены в формате safetensors и используются через Transformers. Лицензия — Apache-2.0.