II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейOwen-ai-text-detection — классификатор текста на базе Qwen3-0.6B, дообученный для выявления участия ИИ в создании текста. Он различает три класса: текст, написанный человеком без участия модели; текст человека, который модель слегка отредактировала или переписала; и текст, сгенерированный моделью целиком. Это позволяет отдельно оценивать распространённый промежуточный случай редактирования ИИ, а при необходимости получать бинарную оценку суммированием вероятностей двух классов с участием ИИ. Модель предназначена для классификации англоязычных текстов. В README приведены результаты на отложенной выборке: точность трёхклассовой классификации 95,67%, Macro F1 91,35% и Brier score 0,0676. Для воспроизведения описанного способа использования требуется специальный токен считывания после текста и температурная калибровка логитов с коэффициентом 2,3634. Модель обучена на окне в 1 024 токена, поэтому более длинный текст обрезается и оценка отражает только его начало. Класс текстов с помощью ИИ создан синтетически одним редактором и двумя уровнями правок, что ограничивает представительность этого класса. Лицензия — Apache-2.0.
PoliBERTweet — англоязычная модель RoBERTa для работы с политическими сообщениями в Twitter. Её веса опубликованы для исследования PoliBERTweet, представленного на LREC 2022; модель инициализирована весами vinai/bertweet-base и дополнительно предобучена на более чем 83 млн англоязычных твитов о президентских выборах США 2020 года с задачей masked language modeling. Модель подходит для предсказания замаскированных токенов в политических твитах, а также для последующего дообучения под классификацию и другие задачи анализа политического контента. Архитектура — RobertaForMaskedLM, размер — 162,4 млн параметров, контекст — 130 токенов. Репозиторий содержит веса PyTorch; лицензия — GPL-3.0.
POET — модель разметки частей речи французского языка, разработанная Янисом Лабраком и Ричардом Дюфуром из университетов Авиньона и Нанта. Она использует CamemBERT с классификационной головой для последовательной разметки токенов и обучена на корпусе ANTILLES, созданном на основе UD_French-GSD. Модель присваивает словам и другим токенам одну из 60 расширенных меток, включающих грамматические и семантические признаки: род, число, наклонение, лицо, время и форму глагола. В отличие от исходных 17 частей речи, расширенная схема даёт более детальную лингвистическую разметку. Модель содержит 137,8 млн параметров и рассчитана на контекст до 514 токенов. Обучающие данные подавались без нормализации, поэтому модель чувствительна к регистру и пунктуации. Она предназначена для французского текста и не является универсальным анализатором для других языков. В метаданных указана лицензия Apache-2.0.
Это линейный пробник семантической сегментации сцен ADE20K на модели CanViT, разработанный авторами CanViT. Он обучен на замороженных признаках базовой модели canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in1k-dv3b16-2026-06-22 и предназначен для разметки изображения по классам ADE20K. Архитектура пробника включает LayerNorm, dropout, BatchNorm и свёртку 1 × 1. При обработке используются 10 зрительных фрагментов размером 128 пикселей с R-IID-точками обзора; сцены имеют размер 512 пикселей, а признаки берутся с холста 32 × 32. Модель рассчитана на сегментацию изображений сцен и распространяется по лицензии MIT. Для установки библиотеки README указывает canvit-pytorch версии не ниже 0.2.
AhmedBarka/qwen3-embedding-0.6b-arabic-ecom-phase2 — плотная модель эмбеддингов на базе Qwen3-Embedding-0.6B, дообученная в два этапа для семантического поиска товаров в арабоязычной электронной коммерции. Она предназначена для поиска кандидатов по коротким запросам и названиям товаров, а также для передачи оценок сходства обучаемому ранжировщику. Модель использует архитектуру Qwen3Model, содержит 507,6 млн параметров, представлена в формате safetensors и поддерживает контекст до 32 768 токенов. Для заявленного сценария авторы рекомендуют при кодировании запросов и документов не добавлять инструкцию запроса; в примере использования максимальная длина последовательности ограничена 128 токенами. Модель обучена на парах из набора prestoai/arabic-ecom-data и ориентирована на арабский язык. На тесте задачи модель улучшила полноту найденных релевантных товаров в топ-50 относительно лексического поиска, но хуже упорядочивала результаты при сильном лексическом совпадении. Поэтому она подходит для расширения списка кандидатов и подачи признака сходства ранжировщику, но не для замены лексического поиска при переупорядочивании сильных совпадений. Лицензия — Apache-2.0.
Это визуальный энкодер семейства Qwen, представленный в timm как извлечённая из Qwen3-VL-30B-A3B-Instruct модель признаков изображений. Чекпойнт содержит нативно преобразованные веса vision-энкодера с пространственным объединителем и проекцией на ширину исходной языковой модели; дополнительного обучения не проводилось. Размер модели — 445,7 млн параметров, ширина backbone — 1152, ширина проекции — 2048; исходный размер изображения — 768 × 768. Модель предназначена для получения пространственных признаков и токенов изображений в задачах компьютерного зрения и мультимодальных конвейерах. Она принимает RGB-изображения, поддерживает прямоугольные размеры, а для вариантов с объединителем 2×2 размеры сторон должны делиться на 32; в остальных описанных случаях — на 16. Вход нормализуется со средним и стандартным отклонением 0,5 для каждого канала. Энкодер не содержит весов языковой модели и обученной головы классификации, поэтому сам по себе не генерирует текст и не выдаёт классы. Модель выпущена под лицензией Apache 2.0. Она формирует признаки для последующей обработки, но не включает проекторы DeepStack из Qwen3-VL; промежуточные карты признаков доступны отдельно. Высокая вычислительная стоимость указана в карточке: 1297,8 GMACs.
recitation-segmenter-v2 — модель obadx для автоматической сегментации чтения Корана по местам остановок ваκф. Она дообучена на базе facebook/w2v-bert-2.0 и использует архитектуру Wav2Vec2-BERT для покадровой классификации аудио с разрешением 20 мс. Модель содержит около 402,7 млн параметров и предназначена для обработки аудиозаписей чтения Корана, в том числе для разметки аудиоколлекций и систем обучения чтению. Модель обучена на более чем 850 часах чтения Корана с примерно 300 тысячами размеченных высказываний. Она оптимизирована для чтения Корана и может быть полезна как компонент систем анализа произношения. По данным карточки, для работы требуется около 3 ГБ видеопамяти; заявлена обработка записей разной длительности. Лицензия — MIT. Ограничение: очень короткую паузу сакта модель считает полноценной остановкой ваκф, что может быть важно для углублённого анализа таджвида. На другие виды арабской речи модель может переноситься хуже.
RepVGG-A1 — сверточная модель классификации изображений, реализованная в библиотеке timm на основе гибкой архитектуры BYOBNet. Она обучена авторами статьи RepVGG на ImageNet-1k и предназначена для распознавания объектов на изображениях, а также может служить основой для извлечения признаков и эмбеддингов. Модель содержит около 14,1 млн параметров, требует 2,6 GMACs и рассчитана на входное изображение размером 224 × 224 пикселя. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — MIT.
RexReranker-0.6B — компактная модель-реранкер для поиска товаров, разработанная thebajajra на основе Qwen/Qwen3-Reranker-0.6B. Это плотная decoder-модель класса Qwen3ForCausalLM с 507,6 млн параметров. Она принимает запрос пользователя и текст кандидата-товара — название, а при наличии описание и атрибуты — и оценивает их релевантность через вероятности бинарного ответа «yes» или «no». Модель предназначена для повторного ранжирования результатов товарного поиска после этапа извлечения кандидатов, а также для подбора и сортировки товаров в торговых ассистентах с учётом естественно-языковых ограничений, например размера, совместимости и цвета. Её также можно использовать для офлайн-оценки методов ранжирования в электронной торговле. Обучение проводилось на датасете Amazebay-Relevance с 6,33 млн пар «запрос — товар». Поддерживается контекст до 40 960 токенов; в метаданных указан английский язык. Лицензия — Apache-2.0. Модель специализирована на релевантности товаров и требует набора кандидатов, полученных на предыдущем этапе поиска; сама по себе она не заменяет полнотекстовый поиск или каталог товаров. README не приводит численных результатов оценки, поэтому качество на конкретном каталоге и типах запросов следует оценивать отдельно.
nlp-waseda/roberta-large-japanese — большая японская модель RoBERTa, разработанная Waseda NLP и предварительно обученная на японской Википедии и японской части корпуса CC-100. Она предназначена для восстановления замаскированных фрагментов текста и других сценариев masked language modeling, а также может служить основой для последующей адаптации к задачам обработки японского языка. Модель использует архитектуру RobertaForMaskedLM, содержит 435,4 млн параметров и поддерживает контекст до 514 токенов. Словарь включает 32 000 токенов; текст сегментируется на слова с помощью Juman++ и затем токенизируется SentencePiece. Токенизатор Transformers может автоматически выполнять эту предобработку. Модель принимает и выдаёт текст на японском языке. Модель опубликована на условиях лицензии CC BY-SA 4.0. В README приведена ссылка на результаты на JGLUE, но конкретные оценки не указаны.
Koichi Yasuoka разработал эту модель на архитектуре RoBERTa-large для морфологической разметки корейского текста. Она дообучена на основе KoichiYasuoka/roberta-large-korean-hanja и присваивает каждому корейскому слову (어절) тег части речи по системе UPOS. Карточка также указывает на назначение для синтаксического анализа зависимостей. Модель содержит 442,9 млн параметров, принимает текст и выдаёт метки токенов. Контекст составляет до 514 токенов. Её можно применять для морфологического анализа корейских предложений и подготовки данных для лингвистических или NLP-задач. Лицензия — CC BY-SA 4.0.
SecRoBERTa — предварительно обученная языковая модель RoBERTa для текстов по кибербезопасности, представленная авторами работы SecBERT. Модель содержит 96,6 млн параметров, использует собственный WordPiece-словарь secvocab и принимает последовательности длиной до 514 токенов. Основная задача — восстановление замаскированных токенов в англоязычных текстах о кибербезопасности. Модель предназначена для адаптации к прикладным задачам анализа кибербезопасности, включая распознавание сущностей, классификацию текста, извлечение смысла и ответы на вопросы. В обучающий корпус вошли APTnotes, Stucco-Data, CASIE и материалы SemEval-2018 Task 8. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — Apache-2.0. Модель специализирована на предметной лексике кибербезопасности, однако карточка описывает её как предварительно обученную основу, а не как готовое решение для перечисленных downstream-задач. Контекст ограничен 514 токенами; подтверждена поддержка английского языка.
SER-Odyssey-Baseline-WavLM-Arousal — модель распознавания эмоциональных характеристик речи, обученная для базовой линии соревнования Odyssey 2024 Emotion Recognition. Она специализируется на оценке arousal — уровня эмоционального возбуждения — по аудио речи и выдаёт численную оценку примерно от 0 до 1. Модель содержит около 402,7 млн параметров; в репозитории представлены веса PyTorch в формате safetensors. Модель обучена на датасете MSP-Podcast и предназначена для анализа эмоциональной окраски речи, например в подкастах и записях разговоров. Карточка приводит оценивание на наборах Test3 и Development соревнования Odyssey; лицензия — MIT.
Это модель классификации текста skandavivek2/spam-classifier, созданная дообучением distilbert-base-uncased. Она предназначена для определения спама в текстовых сообщениях. В метаданных указаны архитектура DistilBertForSequenceClassification, формат PyTorch и контекст до 512 токенов; модель относится к семейству DistilBERT. В README сообщается о точности 0,9885 и значении loss 0,0614 на оценочном наборе, однако набор данных и подробности оценки не описаны. Модель распространяется по лицензии Apache-2.0. Ее результаты могут зависеть от соответствия входных сообщений данным обучения.
BERT Spam Detector — русскоязычная модель классификации спама в чатах, созданная дообучением rubert-tiny2. Она принимает текст сообщения и определяет, относится ли он к спаму; пример применения — фильтрация рекламных сообщений о работе и предложений перейти в личные сообщения. Модель построена на архитектуре BERT и содержит 29 млн параметров, максимальная длина контекста — 2048 токенов. Для обучения использован набор данных ben zlokzik/russian-spam-fork. Модель предназначена для классификации текстов на русском языке и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
liaad/srl-en_mbert-base — модель на основе bert-base-multilingual-cased, дообученная исследовательской группой LIAD на английских данных OntoNotes v5.0 в формате CoNLL для семантической разметки ролей. Она предназначена для извлечения признаков контекстуальных токенов, используемых в задачах анализа предложений и определения семантических ролей.
StreetPrompt — модель классификации видео с открытым словарём, разработанная Mehmet Kerem Turkcan из Center for Smart Streetscapes (CS3) Колумбийского университета. Она оценивает, насколько видеоклип соответствует классам, заданным текстовыми описаниями, например «улица затоплена» и «сухая улица». Для добавления классов не нужны размеченные данные или повторное обучение. В репозитории представлены варианты nano, agx и rtx4090: они используют видеоэнкодеры MobileNetV4 Conv Small, MobileNetV4 Conv Medium и ConvNeXt Small соответственно; размер вариантов — от 4,35 до 50,8 млн параметров. Для всех вариантов используется замороженный текстовый энкодер CLIP ViT-B/32. Модель рассчитана на классификацию дорожных и уличных сцен, включая наводнения, снег, заторы, столкновения, препятствия и вмешательство в работу камер. Варианты предназначены для разных аппаратных платформ, включая Jetson Orin Nano и AGX Orin. Карточка приводит результаты на синтетических тестах и реальных кадрах BDD100K. Модель предназначена для исследований и прототипирования систем мониторинга улиц, дорог и общественных пространств с последующей проверкой сигналов человеком. Оценки относительны к выбранному списку подсказок, а качество зависит от их формулировок. Модель обучалась преимущественно на синтетическом видео; краткие события, мелкие объекты и абстрактные категории распознаются хуже, а результаты на реальных камерах следует проверять отдельно. Не предназначена для автоматизированных решений высокого риска, идентификации людей или наблюдения за отдельными лицами. Лицензия — CC BY 4.0.
Модель martin-ha/toxic-comment-model — дообученная версия DistilBERT для классификации токсичных комментариев. Она принимает текст и относит его к классам токсичности; модель предназначена для фильтрации и первичной модерации комментариев в интернете. Архитектура — DistilBertForSequenceClassification, формат весов — PyTorch, максимальная длина контекста — 512 токенов. В карточке указана поддержка английского языка. В README сообщается о точности 94% и F1-мере 0,59 на отложенной выборке из 10 000 примеров. Модель может ошибочно считать токсичными нейтральные высказывания о некоторых группах идентичности, в частности о мусульманах и евреях, поэтому автоматические решения следует проверять. В README не указана лицензия.
Pectics разработала vad-macbert — модель регрессии для оценки китайского текста по трём измерениям VAD: валентности, возбуждению и доминированию. Она дообучена на базе hfl/chinese-macbert-base и использует архитектуру BERT с головой классификации последовательностей, настроенной на три непрерывных значения. Размер модели — 129,5 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для оценки эмоциональной окраски китайских реплик, например при анализе диалогов и субтитров. Обучающие метки получены от англоязычной модели RobroKools/vad-bert и перенесены на китайские тексты из параллельного корпуса OpenSubtitles. В README приведены результаты оценки на подготовленных выборках; на длинных текстах модель также проверялась, но примеры длиной более 400 символов представлены недостаточно для надёжной оценки. Модель распространяется под лицензией MIT. Её оценки наследуют возможные смещения англоязычной модели-разметчика и погрешности параллельного выравнивания; корпус субтитров содержит переводные артефакты, а очистка не устраняет весь форматный шум.
vgg13.tv_in1k — сверточная модель семейства VGG13 для классификации изображений и извлечения визуальных признаков. Модель опубликована разработчиками timm и использует оригинальные веса torchvision, обученные на ImageNet-1k. Она содержит около 133 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Она может служить визуальным backbone в более крупных компьютерно-зрительных системах. Для работы с изображениями произвольного размера или задачами вне обучающего набора потребуется соответствующая предобработка или адаптация. Веса доступны в форматах PyTorch и Safetensors. Лицензия — BSD-3-Clause.
ViHealthBERT Base Syllable — вьетнамская языковая модель для анализа медицинских текстов, разработанная Minh Phuc Nguyen, Vu Hoang Tran, Vu Hoang, Ta Duc Huy, Trung H. Bui и Steven Q. H. Truong. Это плотная модель архитектуры RoBERTa, представленная в PyTorch; метаданные указывают 162,4 млн параметров и контекст до 258 токенов. Вариант syllable использует слоговую токенизацию. Модель предназначена для извлечения признаков из вьетнамских медицинских текстов и служит базой для прикладных задач: распознавания именованных сущностей, устранения неоднозначности медицинских аббревиатур и суммаризации FAQ. README сообщает о сильных результатах на наборах COVID-19, ViMQ и acrDrAid. Для обработки текста авторы рекомендуют предварительную сегментацию слов инструментом RDRSegmenter из VnCoreNLP. Карточка не указывает лицензию. Для воспроизведения рекомендуемого препроцессинга требуется VnCoreNLP; результаты модели зависят от корректной сегментации и настройки под конкретную задачу. Модель представлена как исследовательский baseline для вьетнамского здравоохранения.
Это дообученный детектор объектов YOLO11n от Ultralytics, адаптированный к набору VisDrone-DET в рамках DetectionBench. Он предназначен для поиска и локализации объектов на изображениях с дронов: пешеходов, людей, велосипедов, автомобилей, фургонов, грузовиков, трициклов, автобусов, мотоциклов и других классов VisDrone. Модель принимает изображения и выдаёт рамки объектов с метками классов и оценками уверенности. На тестовой выборке VisDrone-DET модель показала mAP@50 39,52% и mAP@50–95 23,0%. Набор отличается высокой плотностью мелких объектов и сильным дисбалансом классов, поэтому точность может быть низкой для редких категорий; класс others фактически не обучен. Репозиторий содержит веса PyTorch и использует библиотеку Ultralytics. Лицензия модели указана как AGPL-3.0; README также отмечает ограничение исходного набора VisDrone на некоммерческое исследовательское использование по CC BY-NC-SA 3.0.
Это детектор объектов YOLOv9s, дообученный на наборе VisDrone-DET в рамках DetectionBench. Он предназначен для поиска и локализации объектов на изображениях с дронов, в том числе пешеходов, людей, велосипедов, автомобилей, фургонов, грузовиков, трициклов, автобусов и мотоциклов. Модель использует библиотеку Ultralytics и распространяется в формате PyTorch. На тестовой выборке VisDrone-DET указаны mAP@50 45,38% и mAP@50–95 26,95%. Набор содержит много мелких объектов и выраженный дисбаланс классов: автомобили и пешеходы преобладают, а класс «others» не имеет обучающих примеров и фактически не распознаётся. Модель создана для аэросъёмки и не рассчитана на все типы сцен. Лицензия репозитория — AGPL-3.0; README также указывает, что ограничения лицензии VisDrone (CC BY-NC-SA 3.0, некоммерческое исследовательское использование) распространяются на обученные на нём модели.
jordyvl/vit-base_rvl-cdip — дообученная модель классификации изображений на архитектуре Vision Transformer (ViT). Она основана на google/vit-base-patch16-224-in21k и содержит 113,2 млн параметров. Модель предназначена для классификации изображений; в README приведены результаты оценки: accuracy и F1 Micro 0,897, F1 Macro 0,8972. Модель опубликована в формате PyTorch под лицензией Apache-2.0. README не уточняет обучающий датасет и классы классификации, поэтому область применения и переносимость результатов на другие наборы изображений по имеющимся данным определить нельзя.
Bektur756 выпустил модель для классификации изображений кошек, собак и панд. Это дообученная версия Vision Transformer Google ViT-Base с патчами 16×16 и классификационной головой на три класса. На вход подаётся RGB-изображение, которое приводится к размеру 224×224; всего модель обрабатывает 196 патчей и токен [CLS]. В метаданных указано 113,2 млн параметров, а в README — 85 800 963 параметра; эти значения расходятся. Модель подходит для определения, изображена ли на фотографии кошка, собака или панда. В README приведены точность 100% на тестовой выборке из 120 изображений и средняя задержка около 22 мс на Tesla T4; результаты относятся к небольшому датасету Melisa13/Animals_dataset и не гарантируют такую же точность на других изображениях. Модель распространяется по лицензии Apache-2.0.
Это модель V-JEPA 2 ViT-L размером 256 с головой классификации видео, разработанная FAIR при Meta и дообученная на наборе Diving48. Она предназначена для классификации действий в видеороликах, в частности для распознавания действий, связанных с прыжками в воду. Модель содержит 402,7 млн параметров и распространяется в формате Safetensors; для работы используется библиотека Transformers. Модель принимает видео и выдаёт метки классов. Базовая модель V-JEPA 2 предназначена для понимания и представления видео и изображений, однако этот вариант настроен на классификацию видео из Diving48. Лицензия — MIT. Карточка не сообщает подробностей о точном наборе классов или ограничениях качества.
JaesungHuh разработал классификатор пола по человеческому голосу. Модель принимает аудио и относит голос к категориям пола; для запуска доступны предварительно обученные веса и демонстрация на Hugging Face. В метаданных указаны задача audio-classification, формат safetensors и обучающий датасет VoxCeleb. Модель подходит для автоматической классификации голосовых записей в приложениях и исследовательских прототипах. Она выпущена по лицензии MIT. Представленность VoxCeleb может не соответствовать населению мира, поэтому предсказания могут быть смещены для отдельных групп и условий записи.
watermark_detector — модель классификации изображений на базе Vision Transformer (ViT), дообученная на google/vit-base-patch16-224-in21k. Она предназначена для обнаружения водяных знаков на изображениях. Модель содержит 113,2 млн параметров и опубликована в формате PyTorch под лицензией Apache-2.0. На оценочном наборе указаны точность 0,6574 и значение функции потерь 0,6014. Датасет, состав классов, методика оценки и практические ограничения в карточке не раскрыты, поэтому результаты не позволяют судить о надёжности обнаружения на конкретных типах изображений.
Hamzaaa/wav2vec2-base-finetuned-Tess — модель аудиоклассификации, опубликованная пользователем Hamzaaa на Hugging Face. Она основана на архитектуре wav2vec2 и предназначена для отнесения аудиосигналов к заранее заданным классам. Модель содержит около 113,3 млн параметров и используется через библиотеку Transformers с задачей audio-classification; доступна реализация на PyTorch. По открытым данным нельзя надёжно определить точный набор классов, поддерживаемые языки, размер контекста и условия лицензирования. Карточка модели отсутствует, поэтому специфические сценарии применения и качество классификации не подтверждены.
WavLM Base Plus MLX fp16 — экспорт модели WavLM от Microsoft в формате safetensors, подготовленный для запуска с MLX и используемый в speech-swift как извлекатель признаков речи. Модель принимает монофоническую речь с частотой 16 кГц и формирует скрытые представления, которые последующие модели могут использовать для извлечения характеристик голоса, содержания речи и паралингвистических признаков. В составе Indic-Mio средние значения скрытых слоёв 1 и 2 передаются в глобальный энкодер MioCodec для получения 128-мерного эмбеддинга говорящего при клонировании голоса по референсной записи. Архитектура — плотный SSL-энкодер WavLM, близкий по подходу к HuBERT; в метаданных указано 113,3 млн параметров. Это производная от microsoft/wavlm-base-plus модель. Репозиторий указывает MLX-совместимый экспорт fp16 в safetensors и лицензию MIT. Модель предназначена для извлечения признаков и сама по себе не синтезирует речь: генерацию выполняет связанная система Indic-Mio.