II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейЭто визуальный энкодер семейства Qwen, перенесённый в формат timm из весов зрительной части Qwen3.8-27B. Модель извлекает признаки изображений: `forward_features()` возвращает необработанные пространственные признаки, а вариант `_enc` выдаёт пространственно объединённые токены. Весов языковой модели и обученной классификационной головы в чекпойнте нет. Энкодер поддерживает изображения RGB прямоугольной формы. Для входных пикселей используются нормализация со средним и стандартным отклонением 0,5 на канал; размеры сторон должны делиться на 16, а варианты с объединением 2×2 — на 32. Архитектура использует MLP с GELU-tanh, обучаемые абсолютные позиционные эмбеддинги и двумерный осевой RoPE. В README указаны размер изображения 768×768, ширина backbone 1152 и ширина проекции 5120. Чекпойнт содержит около 459,8 млн параметров и опубликован в формате safetensors. По README, это нативное отображение исходных весов в timm без дополнительного обучения; лицензия — Apache 2.0. Он предназначен для извлечения визуальных признаков и пространственных токенов, но сам по себе не выполняет диалоговые задачи или классификацию изображений без добавления соответствующих компонентов.
mariagrandury/roberta-base-finetuned-sms-spam-detection — модель классификации текста на базе RoBERTa, дообученная на наборе данных sms_spam для выявления спама в SMS. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. По карточке модели, точность на оценочном наборе данных составляет 0,998, а значение функции потерь — 0,0133. Эти результаты относятся к указанному набору данных и не гарантируют такую же точность на сообщениях из других источников. Модель распространяется по лицензии MIT.
Koichi Yasuoka разработал эту модель для разметки частей речи в тайском языке. Она основана на RoBERTa с символьными эмбеддингами, предварительно обученной на текстах тайской Википедии, и дообучена для присвоения каждому слову универсальной части речи UPOS. Архитектура — RobertaForTokenClassification, размер — 115,3 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для морфосинтаксического анализа тайских текстов; карточка также указывает на задачу синтаксического анализа зависимостей. Её можно применять для автоматической разметки частей речи и подготовки данных для последующего языкового анализа. Модель принимает текст и выдаёт последовательность меток токенов. Лицензия — Apache-2.0.
RoBERTaTurk — базовая языковая модель RoBERTa для турецкого языка, разработанная авторами репозитория burakaytan/roberta-base-turkish-uncased. Модель предварительно обучена на турецкой Википедии, корпусе Turkish OSCAR и новостных сайтах; обучающая выборка составила 38 ГБ и около 329,7 млн предложений. Это плотная модель для masked language modeling с 151,8 млн параметров и контекстом до 514 токенов. Модель предназначена для заполнения пропусков в турецком тексте и может служить основой для дальнейшей адаптации к задачам обработки турецкого языка. Использует архитектуру RoBERTa и доступна в формате PyTorch. Лицензия — MIT.
Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/roberta-base-vietnamese: RoBERTa дообучена для разметки частей речи на вьетнамском языке. Она присваивает каждому слову тег UPOS из универсального набора частей речи и предназначена для анализа вьетнамских текстов; карточка также указывает на использование в разборе зависимостей. Модель содержит 137,8 млн параметров, принимает текст и имеет контекстное окно 512 токенов. Это модель token classification на PyTorch, обученная на данных Universal Dependencies. Лицензия — CC BY-SA 4.0.
Это крупная японская модель RoBERTa от nlp-waseda, предварительно обученная на японской Википедии и японской части корпуса CC-100. Она предназначена для masked language modeling: модель восстанавливает замаскированные токены в тексте и может использоваться для анализа японских текстов с подстановкой пропусков. Модель содержит 435,4 млн параметров и рассчитана на последовательности длиной до 512 токенов; в метаданных указано нативное контекстное окно 514 токенов. Токенизация использует Juman++ и SentencePiece с 32 000 токенов словаря. Карточка указывает, что токенизатор BertJapaneseTokenizer поддерживает автоматическую токенизацию Juman++, но обработка больших наборов данных может быть медленной из-за отсутствия быстрой токенизации. Модель распространяется по лицензии CC BY-SA 4.0.
Roformer-base-japanese — японская языковая модель семейства RoFormer, опубликованная Mori Lab Йокогамского национального университета. Это плотная модель на архитектуре RoBERTa для заполнения пропусков в тексте; в метаданных указано 74,1 млн параметров и контекст до 514 токенов. Модель предварительно обучена на японских текстах Википедии объёмом 3,45 ГБ в течение 125 млн шагов и использует токенизатор BERT BPE. Модель подходит для восстановления замаскированных фрагментов и как основа для дообучения японских NLP-систем. В README также приведён результат 95,12% на бинарной классификации тональности JGLUE-marc-ja-v1.0, однако модель не следует считать специализированным классификатором без соответствующего дообучения. Доступны веса PyTorch и Safetensors; лицензия Apache-2.0.
SKResNeXt-50 32x4d — модель классификации изображений из библиотеки timm, обученная Ross Wightman на ImageNet-1k по рецепту RA, вариант B из ResNet strikes back. Архитектура основана на Selective Kernel Networks и подходит также как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 27,5 млн параметров, требует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 4,5 GMACs. Её можно применять для определения объектов из набора классов ImageNet-1k и получения визуальных признаков изображений. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0.
stanfordnlp/stanza-mt — модель Stanza для мальтийского языка, разработанная Stanford NLP. Она предназначена для лингвистического анализа текста; метаданные Hugging Face классифицируют её как модель разметки токенов. Stanza в целом предоставляет инструменты для анализа текста от исходных слов до синтаксического разбора и распознавания сущностей, однако карточка этого чекпойнта не уточняет, какие именно такие функции входят в него. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или конкретные метрики качества.
texture-frames-trigger — англоязычная модель для этапа поиска триггеров семантических фреймов в предложении, разработанная как часть парсера FrameNet texture-frames. Это классификатор токенов на базе DeBERTa V3 Large с 533,8 млн параметров, дообученный на FrameNet 1.7 с разбиением документов Open-Sesame. Модель присваивает токенам метки O или TRIGGER и выделяет слова, вызывающие семантический фрейм. Модель предназначена для использования в составе конвейера, который после поиска триггеров определяет фреймы и их аргументы; также её можно загрузить напрямую через Transformers как AutoModelForTokenClassification. На тестовом разбиении Open-Sesame указана word-level F1 0,750 против 0,735 у базовой модели T5; один прямой проход занимает около 50–60 мс. Контекст ограничен 512 токенами. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория.
Модель tihon-nth/timesformer-8-10-epochs-5_class_1_p0_full_splited-1789191465.2443538 — дообученная версия facebook/timesformer-base-finetuned-k400 для классификации видео. Она использует архитектуру TimeSformerForVideoClassification и содержит 113,2 млн параметров. В оценке на неизвестном наборе данных достигла accuracy 0,7915 и loss 0,6336. Модель предназначена для отнесения видео к классам действий; конкретный набор классов и предметная область в карточке не описаны. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.
vehicle_classification — модель классификации изображений автомобилей, созданная дообучением Vision Transformer google/vit-base-patch16-224-in21k на наборе данных imagefolder. Она принимает изображение и предсказывает класс транспортного средства. В архитектуре ViTForImageClassification около 113,2 млн параметров; веса опубликованы в формате safetensors. На оценочной выборке модель показала accuracy 0,8467 и loss 0,5738. Эти результаты относятся только к указанной выборке и не гарантируют такую же точность на других изображениях. Модель распространяется по лицензии Apache-2.0; сведения о наборе классов и ограничениях применения в карточке не приведены.
Vela Feedback — модель классификации текста от команды llm-semantic-router, созданная на основе Vela-1.0-Encoder-307M. Она определяет, выражает ли сообщение удовлетворение, просьбу уточнить ответ, сообщение об ошибке, запрос на другой вариант или не содержит обратной связи. Модель рассчитана на разбор пользовательских отзывов и реплик в диалогах, в том числе длинных: контекст составляет до 32 768 токенов с учётом специальных токенов. Архитектура — ModernBERT для классификации последовательностей, размер — около 307 млн параметров. В описанной разработчиками оценке на наборе из 472 примеров Vela получила макро-F1 98,81 и точность 97,88 для четырёх общих классов; на 288 нейтральных примерах она дала 6 ложных срабатываний при пороге уверенности 0,7. Это результаты конкретной dev-выборки, причём отбор модели учитывал её показатели на ней, поэтому они не гарантируют аналогичного качества на других данных. Модель распространяется под лицензией Apache-2.0; доступны веса safetensors и формат ONNX.
minhah/videomae-base-finetuned-crema-d — видеотрансформер VideoMAE, дообученный автором репозитория на наборе данных CREMA-D для классификации видео. Модель содержит 113,2 млн параметров и использует архитектуру VideoMAEForVideoClassification; веса опубликованы в формате safetensors. Модель предназначена для отнесения видеороликов к классам. На указанном в карточке наборе оценки достигнуты accuracy 0,7363 и loss 0,7554. Базовая модель MCG-NJU/videomae-base предварительно обучена без учителя и предназначена для извлечения видеопризнаков и последующего дообучения. Репозиторий не описывает точный состав классов и сценарии применения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
Это дообученный детектор объектов Ultralytics YOLOv11n, созданный участником DetectionBench на наборе VisDrone-DET. Модель предназначена для обнаружения и локализации людей и транспортных средств на изображениях с дронов; среди классов — пешеходы, автомобили, велосипеды, фургоны, автобусы и трициклы. Репозиторий содержит веса PyTorch, для работы указана библиотека Ultralytics. На тестовой выборке VisDrone-DET модель показала mAP@50 39,52% и mAP@50–95 23,0%. Набор содержит много мелких объектов и выраженный дисбаланс классов: редкие классы распознаются хуже, а класс others практически непригоден для обнаружения. Модель распространяется под лицензией AGPL-3.0; README также указывает, что лицензия исходного набора VisDrone ограничивает некоммерческое исследовательское использование моделей, обученных на нём.
Это дообученный детектор YOLOv8n от Ultralytics, обученный на наборе VisDrone-DET в рамках DetectionBench. Модель предназначена для обнаружения объектов на аэрофотоснимках и кадрах с дронов; она предсказывает рамки и классы людей, транспорта и других объектов VisDrone. Репозиторий использует PyTorch и библиотеку Ultralytics, лицензия модели указана как AGPL-3.0. На тестовой выборке VisDrone-DET модель показала mAP@50 39,69% и mAP@50–95 23,03%. Данные содержат много мелких объектов и выраженный дисбаланс классов: редкие классы распознаются хуже, а класс others фактически непригоден для обнаружения из-за отсутствия размеченных примеров в обучении. В README также указано ограничение на некоммерческое исследовательское использование датасета VisDrone по его лицензии CC BY-NC-SA 3.0; условия применения обученных на нём весов следует оценивать с учётом этого ограничения.
Это модель ViViT для классификации действий в видео, разработанная на основе google/vivit-b-16x2-kinetics400 и дообученная автором репозитория на неизвестном наборе данных. Она предназначена для отнесения видеороликов к классам; в README приведены результаты оценки: accuracy 0,7373 и loss 1,0536. Модель содержит 113,2 млн параметров, использует архитектуру ViViT и распространяется в формате safetensors для библиотеки Transformers. Лицензия — MIT. Состав классов, обучающие данные и подробные ограничения в карточке не раскрыты, поэтому пригодность для конкретного набора категорий следует проверять отдельно.
Модель tihon-nth/vivit-vit-fc-loss-8-10-epochs-5_class_1_p0_splited-1788680718.6508312 — дообученная версия google/vivit-b-16x2-kinetics400 для классификации видео. Она построена на архитектуре ViViT и содержит 113,2 млн параметров. Модель предназначена для определения классов действий или событий в видеороликах; оценка на тестовом наборе составила accuracy 0,7316 и loss 1,0742. Модель принимает видео и выдаёт метку класса. Набор данных и конкретные классы в карточке не раскрыты, поэтому применимость к определённой предметной области оценить нельзя. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — MIT.
Это дообученная модель facebook/wav2vec2-base для классификации аудиоречи по возрастной группе. Она использует архитектуру Wav2Vec2ForSequenceClassification, содержит 113,3 млн параметров и обучена на наборе coscan-speech с меткой age_group. Для оценки классификации речи на тестовой выборке указаны accuracy 0,9984 и loss 0,0118. Модель принимает аудио и выдаёт метку класса; язык речи и подробности о группах не описаны. Модель распространяется по лицензии Apache-2.0.
LeBenchmark/wav2vec2-FR-1K-base — предобученная модель wav2vec 2.0, опубликованная LeBenchmark. Это базовая dense-архитектура Wav2Vec2Model с 113,3 млн параметров, обученная на 1 000 часах французской речи. Модель предназначена для извлечения речевых представлений, которые можно использовать в задачах распознавания речи и других речевых системах после настройки под конкретную задачу. Модель принимает аудио и выдаёт признаки векторного представления. Её можно применять как замороженный энкодер или дообучать для ASR с CTC, распознавания говорящего и разделения источников. Карточка отмечает, что результаты распознавания речи с CTC не обязательно будут передовыми; интеграция в SpeechBrain описана как находящаяся в бета-версии, а дообучение — как экспериментальный вариант. Лицензия Apache-2.0 разрешает повторное использование модели; лицензии исходных корпусов могут иметь отдельные ограничения.
Nikhil0097/wavlm-large-emotion-vad — модель WavLM-large, дообученная автором для оценки эмоциональных характеристик естественной английской речи. Она принимает монофонический звук с частотой 16 кГц и выдаёт непрерывные оценки валентности, возбуждения и доминирования (Valence, Arousal, Dominance, VAD). Модель предназначена для анализа эмоций в речи, в частности в подкастах; в README сообщается об оценке на тестовых клипах MSP-Podcast v2.0 с разделением по говорящим. Модель содержит около 402,7 млн параметров и использует WavLMModel с регрессионной головой, которая усредняет скрытые состояния и выдаёт три значения. В README приведены CCC 0,705 для валентности, 0,714 для возбуждения и 0,626 для доминирования. Эти результаты относятся к естественной речи в стиле подкастов на английском языке; автор предупреждает, что качество на постановочной речи не переносится. Модель основана на microsoft/wavlm-large и распространяется по лицензии CC BY-NC-SA 4.0.
WavTokenizer large-unify-40token — акустический дискретный кодек-токенизатор для аудио, основанный на работе Ji и соавторов, опубликованной на ICLR 2025. Репозиторий содержит крупный чекпойнт для разных аудиодоменов, преобразованный из novateur/WavTokenizer-large-unify-40token в формат Transformers; преобразование проверено сравнением кодирования и декодирования с исходной реализацией. Модель кодирует монофоническое аудио с частотой 24 кГц в один кодбук из 4096 кодов с частотой 40 токенов в секунду и шагом 600 отсчётов. Архитектура включает энкодер SEANet с векторным квантованием и декодер в стиле Vocos с блоками ConvNeXt, позиционной свёрткой и вниманием, а также обратным STFT. Предназначена для сжатого представления аудио и использования аудиотокенов в языковых моделях. Для воспроизводимого назначения кодов требуется float32: float16 и bfloat16 могут менять выбор кодов около границ решений. Лицензия — MIT.
Kuongan/xlm-roberta-base-kin-finetuned — модель классификации текста на основе XLM-RoBERTa Base, дообученная разработчиком Kuongan. Веса объёмом 305,2 млн параметров сохранены в формате safetensors; модель принимает текст и выдаёт классы. Для контекста используется окно до 514 токенов. Модель предназначена для классификации текстовых последовательностей. В карточке приведены результаты оценки: loss 0,3006, F1 0,3526, ROC AUC 0,6351 и accuracy 0,4226. Датасет обучения и конкретные классы не описаны, поэтому оценить пригодность для конкретной предметной области нельзя. Лицензия — MIT.
Kuongan/xlm-roberta-base-orm-finetuned — дообученная модель классификации последовательностей на архитектуре XLM-RoBERTa Base, опубликованная в формате Safetensors. Она предназначена для отнесения текста к классам; конкретные классы и прикладной сценарий не описаны. Модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Базовая модель — FacebookAI/xlm-roberta-base. В README приведены результаты оценки: loss 0,3548, F1 0,4488, ROC AUC 0,6931 и accuracy 0,5087. Датасет обучения указан как None, поэтому по доступным данным нельзя определить предметную область и состав меток. Лицензия модели — MIT.
Unbabel/xlm-roberta-comet-small — компактная модель на архитектуре XLM-RoBERTa, разработанная Unbabel. В основе лежит mMiniLM-L12xH384: её дообучили на аннотациях прямой оценки качества машинного перевода из выпусков Workshop on Statistical Machine Translation за 2015–2020 годы. Модель содержит 110,2 млн параметров и обрабатывает текст с контекстом до 514 токенов. Модель предназначена для извлечения текстовых представлений в задачах автоматической оценки качества машинного перевода. По сравнению с XLM-RoBERTa base и large она компактнее. В репозитории указаны веса PyTorch. Лицензия в предоставленных данных не приведена.
DavidDrill69/yolov11-license-plate-detection — модель компьютерного зрения на основе YOLOv11 для обнаружения номерных знаков на изображениях. Карточка указывает вариант YOLOv11x и приводит метрики precision 0,9893, recall 0,9508 и mAP@50 0,9813. В репозитории доступны веса PyTorch для Ultralytics и формат ONNX для кроссплатформенного запуска; метаданные классифицируют модель как object-detection и связывают её с датасетом roboflow/license-plate-recognition-rxg4e. Модель предназначена для умных парковок, автоматизации контроля доступа и оплаты проезда, наблюдения за дорожным движением, а также для конвейеров распознавания автомобильных номеров с последующим OCR. Она принимает изображения и выдаёт обнаруженные объекты с рамками. В метаданных указан английский язык, однако модель решает визуальную задачу и языковая поддержка для обнаружения несущественна. Лицензия — AGPL-3.0. Карточка не описывает ограничения по условиям съёмки или качеству изображений; приведённые метрики не заменяют проверку на целевых данных.
afrisenti-original-scratch_scratch — модель классификации текста на архитектуре RoBERTa, дообученная автором на неизвестном наборе данных. Она предназначена для присвоения тексту меток; название модели указывает на возможную связь с анализом тональности африканских языков, однако README не подтверждает языки или набор меток. Модель содержит 17,1 млн параметров, использует библиотеку Transformers и принимает последовательности длиной до 132 токенов. На оценочном наборе указаны Accuracy 0,6538 и Macro F1 0,6547. Эти результаты относятся к набору, состав и метки которого не описаны, поэтому их нельзя напрямую переносить на другие данные. Модель распространяется по лицензии MIT.
AI Text Detector от adaptive-classifier — бинарный классификатор, определяющий, написан ли текст человеком или сгенерирован либо отредактирован ИИ. Модель предназначена для проверки текстов на вероятное использование генеративных моделей, в том числе при анализе пользовательских материалов и исследовании качества детектирования. Классификатор использует замороженный энкодер TrustSafeAI/RADAR-Vicuna-7B размером 355 млн параметров: он преобразует текст в вектор размерности 1024, после чего адаптивная память прототипов и нейросетевая голова выдают класс «человек» или «ИИ». Модель обучалась для английского языка; в карточке приведены результаты на тестовых наборах из доменов отзывов, новостей, художественных и академических текстов, включая тесты на письмах и текстах от ранее не встречавшихся моделей. В описанных тестах точность составила 74,2% на внутридоменном наборе, 79,1% на наборе писем и 74,3% на наборе с текстами от новых моделей. Это вероятностный детектор, а не доказательство авторства: он не различает редактирование ИИ и генерацию, зависит от признаков RADAR и для более надёжной проверки рекомендуется текст не короче примерно 50 слов. Модель распространяется под лицензией Apache-2.0; веса доступны в форматах ONNX и safetensors.
rmaser/aloe-siglip2-base — визуальный энкодер семейства ALOE, разработанный для преобразования представлений SigLIP2 ViT-B/16 в объяснимую B-cos-модель. На этапе выравнивания модель обучалась сопоставлять глобальные и промежуточные токенные признаки замороженного учителя на изображениях без разметки. Она предназначена для использования как визуальный backbone в классификации изображений, извлечении признаков и задачах переноса, включая zero-shot классификацию с текстовым энкодером SigLIP2. Модель содержит 113,2 млн параметров и публикуется в формате safetensors для Transformers; для загрузки требуется пользовательский код репозитория. ALOE стремится сохранить геометрию признаков и качество исходного энкодера, одновременно предоставляя встроенные B-cos-объяснения. В README отмечено, что публичные чекпойнты следует считать исследовательскими артефактами. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и на условиях распространения производных материалов, но не коммерческое использование.
AmharicNewsCharacterNormalized — дообученная akiseid модель классификации текста на базе XLM-RoBERTa Base. По названию модель связана с нормализованными символами амхарских новостей, однако карточка не описывает классы и целевую схему классификации. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и формат safetensors; длина контекста — 514 токенов. На указанном в карточке наборе оценки достигнуты accuracy 0,9538 и F1 0,9538. Датасет обозначен как None, а сведения о назначении, обучающих данных и ограничениях не приведены. Модель распространяется по лицензии MIT.