II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейwavlm-vindata-demo-dist — дообученная модель распознавания речи на базе microsoft/wavlm-base, разработанная автором репозитория phongdtd. Модель использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель предназначена для преобразования аудио в текст и дообучена на наборе PHONGDTD/VINDATAVLSP — NA. В опубликованной оценке на тестовом наборе указаны Loss 3,4439 и WER 1,0; такое значение WER указывает на крайне низкое качество распознавания в этой оценке. Репозиторий содержит веса PyTorch. Условия лицензирования в предоставленных данных не описаны.
jonaskoenig/xtremedistil-l6-h384-uncased-future-time-references — модель классификации текста на базе архитектуры BERT. В метаданных указаны 14,1 млн параметров, ограничение контекста в 512 токенов и формат TensorFlow; модель опубликована под лицензией MIT. Карточка не описывает целевую классификацию, обучающие данные, языки или качество. Поэтому назначение модели можно определить только в общих терминах: она принимает текст и выдаёт результат классификации. README не содержит дополнительных сведений о сценариях применения или ограничениях.
Модель sabaridsnfuji/arabic-ai-text-detector — классификатор арабских текстов, разработанный sabaridsnfuji на основе дообученной aubmindlab/bert-base-arabertv2. Она определяет, написан ли текст человеком или сгенерирован ИИ, и возвращает один из двух классов: HUMAN или AI. Модель предназначена для проверки статей, учебных работ, публикаций в социальных сетях и других формальных или полуформальных текстов на арабском языке. Это плотная BERT-модель с классификационной головой, объёмом 162,4 млн параметров и контекстом до 512 токенов. По карточке, она обучалась на пользовательском наборе из 4 798 сбалансированных примеров, включавшем современный литературный арабский и диалектные варианты; заявленная точность на сбалансированной валидационной выборке — 95%. Наиболее подходящие сценарии — анализ новостей и эссе на литературном арабском; для диалектов, неформальной речи, стихов и узкоспециальных текстов качество может отличаться. Детектор может ошибаться и не устанавливает авторство с достоверностью, достаточной для решений с серьёзными последствиями; в важных случаях результаты следует проверять человеком. Лицензия — Apache-2.0.
Модель gaganmittal2023/ast-gtzan — модель классификации аудио на основе Audio Spectrogram Transformer (AST), дообученная автором на наборе GTZAN. Она принимает аудио и предназначена для распознавания музыкальных жанров. В основе лежит MIT/ast-finetuned-audioset-10-10-0.4593 — AST, дообученная на AudioSet; модель содержит 113,2 млн параметров и сохранена в формате Safetensors для Transformers. В README указана точность 0,885 и значение loss 0,4088 на оценочном наборе. Модель подходит для классификации музыкальных фрагментов в жанровых категориях. Лицензия — BSD 3-Clause. Сведения о составе классов и ограничениях оценки в карточке не раскрыты.
Японская BERT-base модель с токенизатором Sudachi и BPE, опубликованная hitachi-nlp. Она предназначена для задачи fill-mask: модель предсказывает замаскированные токены в японском тексте. Архитектура — BERT с головой BertForMaskedLM; размер — 136,3 млн параметров, контекст — до 512 токенов. Модель обучена на данных Wikipedia и CC-100 и использует библиотеку Transformers; веса доступны в форматах PyTorch и safetensors. Модель подходит для восстановления пропусков и изучения контекстных представлений японского текста. Для токенизатора требуется отдельный файл словаря Sudachi+BPE из связанного репозитория. Лицензия — CC BY-NC-SA 4.0, предусматривающая указание авторства, распространение производных материалов на тех же условиях и ограничения на коммерческое использование.
Модель cffl/bert-base-styleclassification-subjective-neutral — классификатор текста на базе bert-base-uncased, дообученный на корпусе Wiki Neutrality Corpus (WNC), разработанный для исследовательских задач в области NLP и анализа данных. Она определяет, звучит ли текст субъективно и предвзято или нейтрально, и предназначена для оценки результатов переноса стиля текста, включая расчёт интенсивности переноса и анализ важности признаков. Модель содержит 136,7 млн параметров, использует архитектуру BERT для классификации последовательностей, принимает текст и выдаёт метки классов и вероятности. Максимальный контекст — 512 токенов. Лицензия — Apache-2.0. Классификатор пригоден для экспериментов и сравнительной оценки систем преобразования субъективного текста в нейтральный. Его предсказания отражают определение нейтральности, принятое в политике NPOV Википедии, и могут не совпадать с пользовательским пониманием субъективности. Корпус содержит проблемы качества данных; модель и датасет недостаточно оценены с точки зрения точности и смещений. Разработчики не рекомендуют применять модель в производственных системах без предварительного исследования смещений для конкретного сценария.
AungMoonLord/bert-log-anomaly-detection — англоязычный BERT-классификатор, разработанный Aungruk Vanichanai, Napat Wanitwatthakorn и Thanakrit Sriphiphattana для обнаружения аномалий в отдельных SQL-журналах транзакций. Модель дообучена для бинарной классификации записей как Normal или Anomaly и создана как прототип для хакатона Samsung × KBTG по цифровому мошенничеству и кибербезопасности. Модель построена на google-bert/bert-base-uncased, использует архитектуру BertForSequenceClassification и содержит 136,7 млн параметров. Она принимает текст одной SQL-записи, поддерживает английский язык и имеет контекст до 512 токенов. Карточка приводит тестовую точность около 0,70 и полноту 0,79 без дополнительной предобработки или 0,82 с ней; результаты указывают на риск ложных срабатываний и пропусков. Модель рассчитана на помощь в мониторинге финансовых транзакций и кибербезопасности, но не предназначена для выявления аномалий по последовательностям нескольких журналов или по нетекстовым данным. Обучающие данные — 1 611 синтетически сгенерированных и размеченных SQL-журналов. Лицензия — Apache 2.0; карточка представляет модель как демонстрационный хакатонный прототип.
CardioState-JEPA — замороженный общий энкодер для кардиальных сигналов, опубликованный Hamza Shafiq и соавторами. Он принимает волновые формы ЭКГ, фотоплетизмограммы (PPG) и фонокардиограммы (PCG) и преобразует их в единый векторный кардиальный код для последующих задач машинного обучения. Модель обучена с использованием архитектуры JEPA для совместного межмодального представления с учётом временных задержек. Репозиторий содержит веса в формате safetensors; для загрузки указана библиотека Transformers и режим trust_remote_code. Карточка ссылается на исследовательскую статью 2026 года. Энкодер предназначен для извлечения признаков из кардиальных сигналов, а не для непосредственной генерации текста или диагностических заключений. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
CerberusDet — модель обнаружения объектов на основе YOLOv8x, разработанная авторами семейства CerberusDet. Этот чекпойнт обучен совместно на PASCAL VOC 2007/2012 и подмножествах животных и столовой посуды из Objects365. Архитектура использует общие backbone и neck с отдельными головами для задач датасетов; модель содержит 142 млн параметров, принимает изображения размером 640×640 и поддерживает инференс в FP16. Репозиторий распространяет веса в формате safetensors, а для работы указана библиотека CerberusDet. Модель предназначена для локализации и классификации объектов на изображениях: объектов классов PASCAL VOC, животных и столовой посуды. В README приведены метрики mAP@0.5 от 0,54 до 0,93 в зависимости от набора данных и скорость 10 мс на NVIDIA V100 при FP16 и batch 32. Эти показатели относятся к указанным наборам и условиям; качество на других классах и изображениях не описано. Лицензия — AGPL-3.0.
Это модель классификации изображений efederici/convnext-base-224-22k-1k-orig-cats-vs-dogs, дообученная на наборе cats_vs_dogs на основе facebook/convnext-base-224-22k-1k. Она использует архитектуру ConvNeXt и предназначена для определения, изображена ли на фотографии кошка или собака. В README указаны точность 0,9973 и loss 0,0103 на оценочной выборке; эти результаты относятся к указанному набору данных. Модель принимает изображение и выдаёт класс изображения. Веса доступны в формате PyTorch, лицензия — Apache-2.0. Она подходит для простых сценариев сортировки фотографий кошек и собак, но карточка не подтверждает качество на других классах, наборах данных или условиях съёмки.
ConvNeXt Nano — сверточная модель классификации изображений из библиотеки timm, подготовленная Россом Уайтманом. Модель предварительно обучена на ImageNet-12k, а затем дообучена на ImageNet-1k; она также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 15,6 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Она выдаёт оценки классов ImageNet-1k и подходит для классификации изображений и построения визуальных признаков в прикладных системах компьютерного зрения. В метаданных указаны форматы PyTorch и Safetensors и лицензия Apache-2.0.
ConvNeXt Tiny — сверточная модель классификации изображений, представленная в библиотеке timm. Она предварительно обучена на ImageNet-22k, затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 28,6 млн параметров; для тестирования в карточке указано разрешение 288 × 288 пикселей, для обучения — 224 × 224. Модель предназначена для классификации изображений и может использоваться как backbone для извлечения карт признаков и эмбеддингов. В README приведены результаты на ImageNet-1k: точность top-1 — 82,1%, top-5 — 96,0%. Доступны веса PyTorch и safetensors; лицензия — Apache-2.0.
YoichiTakenaka/deverta-v3-japanese-large-Anticipation — модель классификации текста на основе DeBERTa V2, предназначенная для определения эмоции предвкушения (Anticipation) в японском тексте. Это один из восьми отдельных дообученных классификаторов пакета DeBERTa Emotion Predictor, который также оценивает радость, грусть, удивление, гнев, страх, отвращение и доверие. Для каждого текста модель выдаёт метку наличия целевой эмоции и уверенность в положительном классе. Модель принимает текст и рассчитана на японский язык. Архитектура DeBERTa V2 содержит 451,8 млн параметров и поддерживает контекст до 512 токенов. Веса опубликованы в формате safetensors; для использования пакета требуются PyTorch и Transformers. Лицензия — CC BY-SA 4.0. Модель подходит для анализа эмоциональной окраски японских сообщений и текстов. Её классификация ограничена одной эмоцией — предвкушением; остальные эмоции определяются отдельными моделями пакета. README не сообщает метрики качества или состав обучающих данных.
Модель SetFit/distilbert-base-uncased__sst2__train-8-0 — дообученная версия DistilBERT для классификации текста. В метаданных указана архитектура DistilBertForSequenceClassification, формат PyTorch и контекст до 512 токенов. Название модели указывает на связь с SST-2, однако README не описывает датасет обучения подробно. Модель предназначена для отнесения входного текста к классам. На оценочном наборе указаны loss 0,6920 и accuracy 0,5189, что свидетельствует о слабом качестве на этой оценке. В карточке нет сведений о языках, конкретных сценариях применения или ограничениях помимо результатов оценки. Лицензия — Apache-2.0.
timm/dpn68b.mx_in1k — модель классификации изображений на архитектуре Dual-Path Network (DPN), первоначально обученная авторами статьи на ImageNet-1k в MXNet и перенесённая в PyTorch Россом Вайтманом. Она также подходит как backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 12,6 млн параметров, требует изображение размером 224 × 224 и имеет вычислительную сложность 2,4 GMACs. Обучающий набор — ImageNet-1k; репозиторий предоставляет веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
facebook/dpt-dinov2-large-nyu — модель оценки глубины по изображению, разработанная Meta и основанная на архитектуре Dense Prediction Transformer (DPT) с визуальным backbone DINOv2. Она предназначена для сценариев, где нужно получить карту глубины сцены из одного изображения; карточка приводит её как пример эффективного сочетания DPT и DINOv2 для этой задачи. Модель принимает изображение и выдаёт оценку глубины в виде карты. Репозиторий содержит веса PyTorch, а лицензия — Apache-2.0. README не сообщает дополнительные сведения о размере модели, контексте или поддерживаемых естественных языках.
Это предобученные на ImageNet веса EfficientNet-B2, подготовленные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Модель предназначена для классификации изображений и может служить визуальным энкодером в задачах сегментации при работе с этой библиотекой. Репозиторий содержит веса в формате safetensors. Для использования автор README рекомендует библиотеку segmentation-models-pytorch. В метаданных указана лицензия other, поэтому условия её использования следует сверить с лицензией и условиями исходного проекта.
Репозиторий smp-hub содержит предобученные на ImageNet веса EfficientNet-B6, предназначенные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Модель можно применять для классификации изображений или как основу энкодера в сегментационных моделях библиотеки. EfficientNet-B6 — сверточная архитектура для обработки изображений. В репозитории веса представлены в формате safetensors. Карточка указывает лицензию other; конкретные условия лицензии из доступных сведений определить нельзя.
Модель dennisjooo/emotion_classification — классификатор изображений на базе Vision Transformer (ViT), дообученный на наборе FastJobs/Visual_Emotional_Analysis. Она предназначена для определения эмоциональной категории по изображению; в наборе данных используется восемь меток. Модель содержит 113,2 млн параметров и принимает изображения, масштабируемые до 224 × 224 пикселей. На тестовой выборке автор сообщает точность 0,6687, F1 0,6713 и precision 0,7104. Эти показатели относятся к указанному разделению набора данных и не гарантируют такого же качества на других изображениях. Модель опубликована в форматах PyTorch и Safetensors под лицензией Apache-2.0.
BAAI/Emu3-VisionTokenizer — компонент семейства Emu3, разработанного командой Emu3 в BAAI. Это модель архитектуры Emu3VisionVQ для извлечения признаков; в репозитории веса сохранены в формате safetensors. Лицензия — Apache-2.0. Токенизатор Emu3 преобразует изображения в дискретное пространство vision-токенов, используемое мультимодальными моделями семейства. README описывает Emu3 как семейство моделей, обученных предсказанию следующего токена и рассчитанных на генерацию изображений и видео, а также на понимание визуального содержимого с текстовыми ответами. Эти возможности семейства не следует автоматически считать возможностями одного токенизатора: карточка этой модели указывает задачу feature-extraction.
GhostNetV2 1.3 — модель классификации изображений и визуальный backbone из семейства GhostNetV2, обученная авторами статьи на ImageNet-1k. Она предназначена для присвоения изображению метки из набора классов ImageNet, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 9 млн параметров, обрабатывает изображения размером 224 × 224 и имеет вычислительную сложность около 0,3 GMAC. Архитектура GhostNetV2 дополняет эффективные операции GhostNet механизмом внимания для учета дальних зависимостей. Доступны веса PyTorch и Safetensors; библиотека модели — timm. Модель ориентирована на классификацию изображений общего назначения по классам ImageNet-1k и извлечение визуальных признаков. Лицензия Apache-2.0 допускает использование на её условиях.
GPT-C — модель генерации кода на архитектуре GPT-2, представленная в виде неофициальной перезагрузки исходной модели в формате SafeTensors для использования с Transformers. Репозиторий сохраняет доступность модели как прежнего базового ориентира; в перезагрузке могли быть внесены небольшие исправления конфигурации, например максимальной длины. Модель принимает текст и генерирует текст кода, однако её контекст ограничен 512 токенами. Она предназначена для экспериментов и базовых сценариев генерации кода; сведений о поддерживаемых языках программирования и качестве модели карточка не приводит. Условия лицензии в предоставленных данных не указаны.
Ray2333/GRM-llama3-8B-distill — модель вознаграждения для оценки ответов языковых моделей, разработанная авторами Generalizable Reward Model (GRM). Она основана на Llama 3 с архитектурой LlamaForSequenceClassification и предназначена для сравнения качества ответов и присвоения им оценок в сценариях обучения и оценки LLM. Веса основной модели зафиксированы; на датасете hendrydong/preference_700K дообучена только случайно инициализированная линейная голова вознаграждения. Модель содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. В README сообщается о среднем результате 86,1 на бенчмарке reward-моделей. Лицензия — MIT. При загрузке Llama 3 в 8-битном режиме возможно снижение качества.
HateBERT — англоязычная модель на архитектуре BERT, разработанная в сотрудничестве Университета Гронингена, Туринского университета и Университета Пассау. Это BERT base uncased, дополнительно обученный на более чем миллионе публикаций из сообществ Reddit, заблокированных за нарушения правил. Модель предназначена для заполнения пропусков в тексте и может служить языковой основой для исследований и разработки систем анализа оскорбительной речи, языка ненависти и других вредоносных высказываний. Репозиторий содержит модель с 136,7 млн параметров, контекстом до 512 токенов и весами в форматах PyTorch и Safetensors. Модель обучена на материалах заблокированных сообществ Reddit, поэтому её языковое распределение может не соответствовать обычной речи и другим площадкам. Лицензия — Apache-2.0; лицензии отдельно дообученных моделей могут отличаться.
HGNet-V2 B2 — модель классификации изображений и визуальный backbone из библиотеки timm. Авторы обучали её на ImageNet-22k и ImageNet-1k с использованием дистилляции SSLD. Модель содержит 11,2 млн параметров и выполняет 1,1 GMAC на изображение; размер входа при обучении — 224×224, при тестировании — 288×288 пикселей. Модель подходит для классификации изображений по категориям, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как backbone в компьютерном зрении; репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
JHCodec-1M — нейронный аудиокодек на основе декодера Transformer с остаточной векторной квантизацией (RVQ). Авторы указаны как анонимные; работа подана на Interspeech 2026. Модель обучена с функцией потерь SSRR, которая помогает сохранять разборчивость речи при восстановлении аудио, и использует архитектуру с нулевым упреждением для потоковой работы с низкой задержкой. Модель кодирует и восстанавливает монофоническое аудио с частотой 16 кГц; размер кадра составляет 320 отсчётов (20 мс), а длина входа должна быть кратна размеру кадра. Её предполагаемые сценарии — аудиокодирование в реальном времени, сжатие аудиоданных и применение в качестве фронтенда систем распознавания или синтеза речи. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Для запуска рекомендуется GPU с CUDA и Flash-Attention; при работе на CPU качество восстановления снижается. Карточка не приводит численное значение сжатия или оценки качества, поэтому сравнивать эти характеристики по имеющимся данным нельзя.
KVAE-Audio — непрерывный полночастотный аудиоавтоэнкодер, выпущенный проектом KandinskyLab. Он кодирует необработанный звуковой сигнал в компактные непрерывные латентные представления и восстанавливает его; модель рассчитана на речь, музыку и другие звуки, а латентное пространство также предназначено для использования генеративными моделями. Рабочая частота — 48 кГц, веса опубликованы в формате Safetensors. Авторы оценивают качество реконструкции и пригодность латентного пространства для генерации на наборах AudioCaps, Song Describer, LibriSpeech, AudioSet, MUSDB18-HQ и EARS. В описанных сравнениях KVAE-Audio используется в качестве автоэнкодера внутри генеративного конвейера при фиксированном генераторе. Лицензия модели — MIT.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_10 — модель классификации текста, опубликованная пользователем Jeevesh8 на Hugging Face. Она предназначена для задач, поддерживаемых пайплайном text-classification; по идентификатору модели и маркировке QQP можно заключить, что она связана с классификацией пар вопросов в датасете Quora Question Pairs, однако подробное описание назначения в карточке модели отсутствует. Модель основана на BERT-base-uncased и использует Transformers; на странице также указана поддержка JAX. Из идентификатора следует максимальная длина последовательности 128 токенов. BERT-base-uncased является текстовой, англоязычной моделью без учета регистра, но точные архитектурные параметры и набор выходных меток данной версии в доступных материалах не указаны. Сильная сторона модели — готовая адаптация BERT для классификации текста, ограничение — отсутствие model card с описанием качества, метрик, языков, области применимости и известных недостатков. Лицензия для этой конкретной модели на странице не указана.
MedASR — разработанная Google модель распознавания речи, преобразующая медицинскую диктовку в текст. Она предназначена для разработчиков медицинских и биологических приложений и подходит как отправная точка для создания систем диктовки, в том числе радиологических заключений, а также для передачи расшифровки в последующие текстовые модели. Модель использует архитектуру Conformer и содержит 105 млн параметров. На вход принимает монофоническое аудио с частотой 16 кГц в формате int16, на выходе выдаёт текст. Обучающие данные англоязычные; модель ориентирована на медицинскую речь. Качество может снижаться для речи с фоновым шумом, говорящих с иными языковыми особенностями и терминов, отсутствовавших в обучающих данных. Возможны ошибки в названиях лекарств и медицинских терминах, а также в датах и временных выражениях. Результаты требуют независимой проверки и не предназначены для самостоятельного использования при диагностике или принятии клинических решений. Использование регулируется условиями Health AI Developer Foundations.
MERT-v2-FullSong — двунаправленный аудиоэнкодер для извлечения универсальных музыкальных представлений, разработанный в рамках проекта YuE2. Модель продолжает предобучение MERT-v2-30s и рассчитана на полные музыкальные записи длительностью 30–360 секунд. Она принимает монофоническое аудио с частотой 24 кГц и выдаёт признаки на уровне кадров или всей записи; заявлены 24 слоя, размерность представлений 1 024 и частота кадров 25 Гц. В README указано 632 млн параметров, тогда как метаданные Hugging Face указывают 402,7 млн. Представления подходят для последующего обучения классификаторов и оценочных проб в задачах музыкального понимания, включая определение жанра, темпа, тональности, инструментов, настроения и эмоциональной окраски. Модель загружается через Transformers с интерфейсом семейства MERT. В README приведены результаты замороженного энкодера на наборах MARBLE; протоколы сравнения с внешними базовыми моделями могли различаться. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.