II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейHuBERT-ECG Base — предварительно обученная модель для работы с электрокардиограммами, разработанная авторами исследования HuBERT-ECG. Она обучена в режиме самообучения на 9,1 млн 12-канальных записей ЭКГ из четырёх стран и предназначена для извлечения признаков, которые можно использовать в последующем дообучении для диагностических и прогностических задач. В README описаны оценки на наборах данных для взрослых и детей, в том числе для одноканальных записей; версия Base содержит 113,3 млн параметров. Модель рассчитана на исследовательские и прикладные сценарии анализа ЭКГ, включая классификацию сердечных состояний и прогнозирование рисков после настройки под конкретную задачу. Репозиторий использует Transformers и формат safetensors. Перед подачей данных требуется предварительная обработка согласно статье. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
IUPAC2SMILES-canonical-base — модель Knowladgator Engineering для преобразования химических названий IUPAC на английском языке в канонические строки SMILES. Она основана на MT5 и использует архитектуру encoder-decoder с механизмом внимания и разные токенизаторы для кодировщика и декодировщика. Веса занимают около 180 МБ; число параметров — 29,4 млн. Модель предназначена для перевода названий веществ в машинно-читаемое представление, в том числе при пакетной обработке и выборе стиля названия. В оценке авторов указаны точность 93,7% и BLEU-4 0,974. Модель хуже обрабатывает крупные молекулы и не поддерживает изомерные и изотопные варианты SMILES. Распространяется по лицензии Apache 2.0.
IUPAC2SMILES-canonical-small — компактная модель Knowledgator Engineering для преобразования названий химических веществ по номенклатуре IUPAC в канонические строки SMILES. Она основана на MT5 и использует архитектуру энкодер-декодер с механизмом внимания и раздельными токенизаторами для входной и выходной частей. Модель обрабатывает английские названия IUPAC и выдаёт SMILES; для задания стиля названия предусмотрены специальные токены. Модель подходит для преобразования химических названий в машинно-читаемое представление в химических конвертерах и пакетной обработке. В README указаны точность 88,9% и BLEU-4 0,966. Размер модели по метаданным — 3,7 млн параметров; веса доступны в формате safetensors. Лицензия — Apache License 2.0. Ограничения: точность снижается при обработке крупных молекул; модель не поддерживает изомерные и изотопные варианты SMILES.
Mask2Former — модель компьютерного зрения от команды Meta, основанная на архитектуре Mask2Former с небольшим Swin-backbone. Этот чекпойнт обучен для сегментации отдельных объектов на изображениях из Cityscapes и предназначен для выделения масок объектов и присвоения им классов. Архитектура предсказывает набор масок и соответствующих меток; в Mask2Former используются многомасштабный декодер признаков с deformable attention и Transformer-декодер с masked attention. Модель принимает изображения и выдаёт сегментационные маски с метками классов. В карточке указан формат PyTorch и safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с репозиторием модели.
MegaDescriptor-L-224 — визуальная модель извлечения признаков для повторной идентификации животных, предварительно обученная Supervisely на наборах данных по реидентификации животных. Она использует архитектуру Swin-L (swin_large_patch4_window7_224), содержит 228,6 млн параметров и принимает изображения размером 224 × 224 пикселя. Модель формирует эмбеддинги изображений, пригодные для сравнения особей и поиска повторных наблюдений. Модель предназначена для экологических исследований и систем мониторинга дикой природы, где требуется сопоставлять фотографии животных, в том числе полученные с фотоловушек. В метаданных Hugging Face она размечена задачей image-classification, однако карточка описывает её как backbone для извлечения визуальных признаков и реидентификации. Для использования весов указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.
NVIDIA NeMo Mel Codec 22khz — модель нейронного аудиокодека от NVIDIA для сжатия мел-спектрограмм в квантованное представление и восстановления аудио. Она может использоваться как вокодер в системах синтеза речи и как предварительно обученный чекпойнт для инференса или дообучения в NeMo. Модель принимает монофоническую речь в WAV с частотой 22,05 кГц и восстанавливает аудио того же формата. Архитектура включает энкодер на остаточной сети, восемь кодовых книг с FSQ-квантованием и декодер HiFi-GAN. Частота кадров составляет 86,1 Гц, битрейт — 6,9 кбит/с. Обучение проводилось на 28,7 тыс. часов речевых данных на 105 языках. Кодек рассчитан прежде всего на полночастотную речь 22,05 кГц. Качество может снижаться для речи с меньшей полосой, в том числе для аудио 16 кГц, повышенного до 22,05 кГц; модель не обучалась и не оценивалась на неречевых звуках. Лицензия в метаданных указана как other.
hfl/minirbt-h256 — небольшая предварительно обученная модель для обработки китайского языка, опубликованная HFL. Она основана на архитектуре BERT и обучена с применением дистилляции знаний с помощью инструментария TextBrewer и технологии Whole Word Masking. Модель предназначена для заполнения пропусков в китайском тексте: она предсказывает замаскированные токены по окружающему контексту. Модель содержит 11,7 млн параметров и поддерживает контекст до 512 токенов. Доступны форматы PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о составе обучающих данных.
Suzana/new-york-tokyo-london — классификатор изображений, автоматически созданный с помощью HuggingPics. По названию и карточке модель предназначена для распознавания изображений трёх городов: Нью-Йорка, Токио и Лондона. Модель построена на архитектуре Vision Transformer (ViT) и содержит 113,2 млн параметров. Это специализированный классификатор для отнесения изображения к одному из целевых классов. Карточка предлагает создавать подобные классификаторы через демонстрацию HuggingPics в Google Colab. Модель опубликована в формате PyTorch; лицензия и дополнительные сведения об обучении в предоставленной карточке не описаны.
PaGeR — модель компьютерного зрения для оценки геометрии панорам по одному панорамному изображению в эквидистантной цилиндрической проекции (ERP). Её разработали Вукашин Божич, Изидора Славкович, Доминик Нарнхофер, Нандо Метцгер, Денис Розумны, Конрад Шиндлер и Николай Калишек; модель выпущена вместе с научной статьёй. В основе лежит адаптированная для обработки панорам через кубическую проекцию модель Depth Anything 3 da3-giant с архитектурой ViT-Giant. За один проход PaGeR строит карту относительной глубины и карту глубины в метрах, оценивает нормали поверхности в мировой системе координат и сегментирует небо. Для абсолютного масштаба используются отдельные головы для внутренних и наружных сцен; их можно выбрать вручную или маршрутизировать автоматически с помощью отдельного классификатора CLIP ViT-B/32. Модель рассчитана на панорамы высокого разрешения размером до 3K; внутри изображение проецируется на шесть граней куба по 504 пикселя каждая. PaGeR предназначена для анализа панорамных сцен, когда нужно получить геометрию, оценить расстояния, выявить поверхности и замаскировать области неба. Ограничения: качество абсолютной глубины зависит от выбора подходящей головы масштаба, а заявленный предел входного разрешения — до 3K. Лицензия CC BY-NC 4.0 разрешает академическое и некоммерческое использование; коммерческое использование запрещено.
gerald29 опубликовал модель классификации изображений растений для конкурса PlantCLEF 2024. Это дообученная модель DINOv2 для отнесения изображения растения к одному из классов; в основе лежит facebook/dinov2-base-imagenet1k-1-layer. Модель построена на архитектуре Dinov2ForImageClassification и содержит 113,2 млн параметров. Модель принимает изображения и выдаёт метку класса. Автор сообщает, что обучение заняло пять дней на RTX 4090; подробности о наборе данных, таксономии, точности и применимости к видам за пределами конкурса в карточке отсутствуют. Лицензия — MIT.
PoreCodec-RSQF42C12A — нейронный кодек для электрических сигналов нанопорового секвенирования, опубликованный ShuaiAnwo. Сверточный энкодер Conv1D с двумя этапами понижения разрешения уменьшает сигнал в 4 раза и формирует признаки размерности 512; Residual Finite Scalar Quantization (Residual FSQ) преобразует их в иерархические дискретные токены, а сверточный декодер восстанавливает нормализованный сигнал. Указаны уровни FSQ 15/15/15/15, два квантизатора и размер кодовой книги 50 625. Модель предназначена для токенизации и сжатия сырых токов нанопоровых измерений, а также для получения дискретных представлений для последующей обработки языковыми и последовательностными моделями, поисковыми системами и биоинформатическими приложениями. Встроенный экстрактор признаков выполняет коррекцию границ, удаление выбросов и нормализацию; доступны два варианта предобработки. README также описывает восстановление сигнала из токенов и сквозной режим кодирования и декодирования. Модель принимает одномерный массив измерений тока и выдает признаки и дискретные индексы; язык входных данных неприменим. В репозитории указаны веса safetensors и лицензия Apache-2.0. README не приводит количественных результатов точности или сжатия, поэтому качество на конкретных типах сигналов следует оценивать отдельно; восстановленный сигнал описан как нормализованный.
Это чекпойнт линейного пробника для семантической сегментации ADE20K на основе CanViT, модели активного компьютерного зрения, разработанной командой CanViT. Пробник обучен на замороженных признаках 64 × 64 canvas базовой модели CanViT-B; его голова включает LayerNorm, dropout, BatchNorm и свёртку 1 × 1. Обучение проводилось по протоколу probing paper на сценах размером 512 px, с десятью последовательными наблюдениями по 128 px и R-IID точками обзора. Модель предназначена для разметки областей изображения классами семантической сегментации ADE20K и для исследования представлений активного зрения на этой задаче. Она принимает изображение и выдаёт карту сегментации. Репозиторий распространяется в формате safetensors, библиотека для работы — canvit-pytorch; лицензия MIT.
Prompt Depth Anything ViT-L — модель для оценки метрической глубины по изображению с подсказками, разработанная авторами метода Prompt Depth Anything. Она использует данные iPhone LiDAR как подсказку, чтобы получать точные карты глубины высокого разрешения, вплоть до 4K. Модель поддерживает задачу depth-estimation и совместима с библиотекой Hugging Face Transformers. Модель предназначена для сценариев, где по изображению нужно восстановить расстояния до объектов и поверхности: например, для 3D-реконструкции и обобщённого роботизированного захвата. В карточке не указаны поддерживаемые языки, поскольку входными данными служат изображения, а результатом — карта глубины. Модель распространяется по лицензии Apache-2.0.
Prompt Depth Anything ViT-S — модель для оценки метрической глубины по изображению. Она использует высокоточные измерения iPhone LiDAR как подсказку, чтобы строить карту глубины с разрешением до 4K. В метаданных указана архитектура PromptDepthAnythingForDepthEstimation и формат весов safetensors. Модель предназначена для сценариев, где нужна оценка глубины сцены, в том числе для 3D-реконструкции и обобщённого роботизированного захвата предметов. README описывает метод Prompt Depth Anything и масштабируемый конвейер обучения, но не уточняет размер модели или поддерживаемые языки. Модель опубликована в формате safetensors под лицензией Apache-2.0.
thunlp/Qwen2-7B-Instruct-FR-Spec — вспомогательный репозиторий проекта FR-Spec от THUNLP со статистикой частот токенов, рассчитанной на корпусе SlimPajama-627B. Файл freq_32768.pt содержит список часто встречающихся токенов; README также сообщает, что config.json и pytorch_model.bin совпадают с файлами базовой модели Qwen2-7B-Instruct. Метаданные связывают репозиторий с Qwen2-7B-Instruct и EAGLE-Qwen2-7B-Instruct, указывают архитектуру Qwen2 для генерации текста и формат PyTorch. Однако описание и файлы указывают прежде всего на статистику токенов для FR-Spec, а не на самостоятельную модель для обычного пользовательского диалога. Лицензия — MIT. Указанный контекст — 2048 токенов.
Это модель извлечения признаков изображений на базе визуального энкодера Qwen-Drive-1.0-4B, преобразованного для библиотеки timm. Она предназначена для получения пространственных признаков и токенов изображений, которые можно использовать в системах компьютерного зрения и мультимодальных конвейерах. Модель содержит энкодер Qwen ViT со spatial merger и проекцией признаков на ширину исходной языковой модели, но не включает веса языковой модели или обученную классификационную голову. Чекпойнт содержит 332,7 млн параметров; ширина backbone — 1024, ширина проекции — 2560, исходный размер изображения — 768 × 768. Поддерживаются изображения разных пропорций; входные размеры должны делиться на 16, а для вариантов с объединением 2 × 2 — на 32. Реализация рассчитана на изображения: временные веса исходного Conv3d объединены в Conv2d. Используются абсолютные позиционные эмбеддинги с интерполяцией и осевой 2D RoPE. Лицензия — Apache 2.0.
merve/rfdetr-road-signs-agree2 — модель обнаружения дорожных знаков и сигналов светофора на изображениях, созданная дообучением Roboflow/rf-detr-medium. Она использует архитектуру RF-DETR и распространяется в формате safetensors через Transformers. В карточке приведены метрики оценки для классов знаков и сигналов, включая Bus Stop, Stop, Warning, Red Light и Green Light; результаты заметно различаются между классами. Модель предназначена для локализации дорожных знаков и сигналов светофора на изображениях, например для анализа дорожных сцен. В качестве базовой модели указана RF-DETR Medium, описанная в каталожных метаданных как трансформер обнаружения объектов с категориями COCO 2017. Датасет дообучения не раскрыт, поэтому приведённые оценки не позволяют судить о качестве на других наборах данных. Лицензия — Apache-2.0.
SegFormer-B5 от EPFL-ECEO — модель семантической сегментации изображений коралловых рифов. Она основана на архитектуре SegFormer с энкодером MiT-B5, предварительно обученным на ImageNet, и дообучена на наборе данных Coralscapes для распознавания сцен рифов. Модель принимает изображения и присваивает пиксели семантическим классам Coralscapes. Обучение проводилось с усиленными аугментациями; оценка выполнялась скользящими окнами размером 1024×1024. На тестовой выборке указаны точность 82,761 и средний IoU 57,8. Модель предназначена для анализа подводных изображений в задачах экологического мониторинга и исследования коралловых рифов. Она дообучена от nvidia/mit-b5 и распространяется по лицензии Apache-2.0; качество за пределами данных и классов Coralscapes не описано.
Модель onebeans/segformer_crack_detection разработана для обнаружения трещин на дорожных покрытиях. Это дообученная на наборе данных NHA12D_dataset модель eoruadl/segformer-b0-finetuned-segments-crop_crack-2 на базе архитектуры SegFormer; она выполняет семантическую сегментацию изображений. В репозитории указаны веса в формате safetensors, лицензия MIT и среда запуска на Windows 10 с PyTorch и Transformers. Модель предназначена для анализа изображений дорог и выделения участков с трещинами. README приводит пример запуска на видеокарте NVIDIA GeForce RTX 3070 с 8 ГиБ памяти. Карточка не описывает точность, набор классов, контекст использования или поддержку языков; оценить качество на других типах поверхностей по имеющимся данным нельзя.
sgenzer/seven-segment-led — модель классификации изображений, обученная автором с помощью AutoTrain. Она предназначена для распознавания изображений семисегментных светодиодных дисплеев и отнесения их к одному из классов; архитектура основана на Swin Transformer, размер модели — 33 млн параметров. На валидации модель показала accuracy 0,868 и macro F1 0,862. Эти результаты характеризуют качество на использованном наборе данных и не гарантируют такую же точность на изображениях с другими условиями съёмки или типами дисплеев. Модель распространяется в форматах PyTorch и safetensors; сведения о лицензии в доступных данных отсутствуют.
SkinMap — модель эмбеддингов изображений и текста для дерматологии, опубликованная проектом Digital-Dermatology. Она объединяет проекции 12 замороженных мультимодальных и самообучающихся энкодеров в общее пространство размерности 1024. Модель принимает изображения кожи и текстовые запросы; текст можно кодировать с клиническими шаблонами или без них. Эмбеддинги предназначены для переноса информации в последующие задачи, поиска взаимосвязей между образцами и оценки пропущенных метаданных. В комплект входят линейные пробники для оценки фототипа кожи по Фицпатрику, возраста, пола, географического происхождения, области тела и других характеристик. При наличии индекса репозитория доступен поиск ближайших соседей; без него поиск недоступен, но кодирование работает. Полный ансамбль загружает 12 базовых энкодеров одновременно и требует около 16 ГБ видеопамяти; на CPU модель работает медленно. SkinMap предназначена для исследовательского использования, не является медицинским устройством и не подходит для принятия клинических решений. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
keremberke/yolov8m-plane-detection — модель компьютерного зрения на базе YOLOv8m, предназначенная для обнаружения самолётов на изображениях. Она выдаёт рамки объектов с меткой planes и предназначена для сценариев, где нужно находить самолёты на снимках. Репозиторий использует библиотеку Ultralytics и содержит веса PyTorch; обучающий датасет указан как keremberke/plane-detection. Модель решает задачу object detection и распознаёт один класс объектов — самолёты. Карточка не сообщает размер входного изображения, показатели качества или условия лицензии, поэтому эти характеристики нельзя оценить по доступным сведениям.
Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new-13k_onset-drums_fold_3 разработана как дообученная версия gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new-13k_onset-drums_fold_2 на наборе GARY109/AI_LIGHT_DANCE — ONSET-DRUMS_FOLD_3. Это модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC, содержащая 113,3 млн параметров и распространяемая в формате PyTorch. Она предназначена для распознавания аудио в задаче, связанной с датасетом ONSET-DRUMS; README приводит значение WER 0,1250 и loss 0,4093 на оценочной выборке. Заявленная задача в карточке Hugging Face — automatic speech recognition. Однако описание назначения и ограничения в README не заполнены, а сведения не подтверждают распознавание обычной речи или поддержку конкретных естественных языков. Лицензия в предоставленных данных не указана.
CXR-BERT-general — англоязычная BERT-модель Microsoft для биомедицинских текстов и клинических записей. Она была предобучена с нуля методом masked language modeling на аннотациях PubMed и клинических текстах MIMIC-III и MIMIC-CXR. Модель содержит 136,7 млн параметров, использует архитектуру BertForMaskedLM и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для исследований в клинической обработке языка и визуально-языковых задачах, особенно в радиологии. Её можно применять для предсказания замаскированных слов и дообучать под клинические области за пределами рентгенологии; в исследовательской работе она также показала пользу как текстовый энкодер для задач вроде определения соответствия фраз и изображений. Этот репозиторий содержит текстовую модель, а не мультимодальную модель для непосредственной обработки изображений. Модель рассчитана на английский язык. Авторы сообщают о сильных результатах на задачах радиологического NLI и предсказания токенов. Разработчики ограничивают применение исследованиями и воспроизведением экспериментов; использование в развернутых системах не входит в заявленное назначение. Лицензия — MIT.
tiantiaf/childvox-speechmaturity-whisper-large — модель классификации аудио, разработанная Tiantian Feng и основанная на Whisper large-v3 от OpenAI. Она дообучена на наборе данных SpeechMaturity для анализа детских вокализаций и отнесения аудиофрагментов к категориям Canonical, Non-Canonical, Crying, Laughing или Junk. Категория Canonical обозначает зрелые слоги с переходом от согласного к гласному, Non-Canonical — незрелые вокализации, например изолированные гласные или согласные, а Junk — фрагменты, не являющиеся детскими вокализациями, включая шум и взрослую речь. Модель принимает аудио и выдаёт категорию. Базовая Whisper large-v3 мультиязычна; карточка не уточняет языковой охват классификатора. Модель предназначена для исследовательского анализа детских вокализаций. Её нельзя использовать для клинической диагностики, индивидуальной оценки развития без экспертной проверки, наблюдения или вторжения в частную жизнь. Коммерческое использование запрещено; лицензия указана как OpenRAIL.
Модель Chimpanzee Vocalization CNN12 разработана Утрехтским университетом для обнаружения вокализаций шимпанзе в биоакустических записях. Это 12-слойная сверточная нейросеть с пятью сверточными блоками, глобальным усреднением и полносвязной выходной частью, которая различает вокализации шимпанзе и фон. Модель принимает аудио, преобразованное в трёхканальное представление на основе мел-спектрограммы, нормализации PCEN и дельта-признаков. Записи для обработки нужно привести к частоте 48 кГц, пропустить через полосовой фильтр 100–2000 Гц и разделить на кадры по 0,5 секунды. Чекпойнт обучен на реальных записях из Камеруна и синтетических примерах, созданных смешением криков шимпанзе из Камеруна с фоновыми записями из Замбии. Модель предназначена для мониторинга шимпанзе в природоохранных и исследовательских проектах. Проверка на записях из другого акустического окружения показала высокую AUC, однако точность обнаружения зависит от рекордера и условий записи. Качество на других видах и существенно отличающемся оборудовании не гарантируется. Веса доступны по лицензии Apache-2.0; для запуска требуется PyTorch и реализация класса модели из исходного проекта, поскольку чекпойнт не интегрирован с Transformers.
Koichi Yasuoka разработал эту модель на базе KoichiYasuoka/deberta-base-thai для определения синтаксической зависимости head в предложениях на тайском языке. Модель использует архитектуру DeBERTa V2, содержит 115,6 млн параметров и принимает текстовый контекст и вопрос в формате задачи question answering; длина контекста — до 512 токенов. Модель предназначена для синтаксического разбора по Universal Dependencies: она помогает определить, какое слово является вершиной зависимости для заданного слова. Если слово встречается в контексте несколько раз, README рекомендует помечать нужное вхождение токеном [MASK], чтобы устранить неоднозначность. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
DepthVLM-4B — мультимодальная модель для оценки глубины по изображениям, созданная авторами проекта DepthVLM. Она дообучена на базе Qwen/Qwen3-VL-4B-Instruct: к языковой модели добавлена лёгкая голова предсказания глубины, а обучение проходит в два этапа. Модель формирует плотную метрическую карту глубины и может одновременно выдавать языковой ответ. Модель рассчитана на оценку глубины в помещениях и на улице, а также поддерживает мультимодальное понимание и пространственное рассуждение. В README заявлены предсказания карты глубины в полном разрешении и более быстрый инференс по сравнению с некоторыми другими VLM-подходами; приведены результаты на бенчмарках Argoverse2, Waymo и DDAD. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.
Это дообученная модель на архитектуре DistilBERT, созданная на корпусе книг gokulsrinivasagan/processed_book_corpus-ld-100. Она использует класс DistilBertForLDAMaskedLM; веса опубликованы в формате safetensors. Контекст модели — до 512 токенов. По названию и классу архитектуры модель предназначена для задач, связанных с LDA и языковым моделированием на книжном корпусе. В README приведены метрики на тестовой выборке: loss 4,6471 и accuracy 0,7269. Описание конкретных сценариев применения, языков корпуса и ограничений автор не предоставил. Лицензия в доступных данных не указана.
DistillPath-KS16-HOpt0 — разработанная Рамоном Каспаром, Андреем Игнатовым и Валентиной Боевой в ETH Zurich компактная модель для извлечения признаков из изображений тканей. Это энкодер гистологических изображений на базе Vision Transformer ViT-S/16 с 21,7 млн параметров и вектором признаков размерности 384; модель реализована для библиотеки timm. Модель предназначена для получения признаков из гистологических тайлов и их последующего использования в задачах анализа медицинских изображений и вычислительной патологии. Она получена дистилляцией H-optimus-0 (ViT-g/14, 1,1 млрд параметров) в студенческую модель kaiko ViT-S/16; при обучении использовались 6000 публичных слайдов TCGA. В карточке приведены результаты на нескольких профильных бенчмарках, включая EVA, HEST и PLISM. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель извлекает признаки, а не выдает готовый клинический диагноз; результаты бенчмарков сами по себе не подтверждают пригодность для клинических решений.