II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейCAMeLBERT-CA Poetry Classification Model — модель классификации арабской поэзии, разработанная CAMeL Lab путём дообучения CAMeLBERT для классического арабского языка на наборе данных APCD. Она предназначена для классификации стихотворных текстов и может использоваться через pipeline библиотеки Transformers; авторы также планировали добавить поддержку в CAMeL Tools. Модель основана на архитектуре BERT и содержит 136,3 млн параметров. Она принимает текст на арабском языке, имеет контекстное окно 512 токенов и выдаёт метку классификации. Доступны версии в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.
Японская BERT-base модель от hitachi-nlp для предсказания пропущенных токенов в тексте. Она использует архитектуру BERT с головой BertForMaskedLM, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. В комплекте предусмотрена токенизация MeCab с Unigram; для её загрузки требуется отдельно получить файл словаря из репозитория разработчика. Модель обучалась на данных Wikipedia и CC-100 и рассчитана на японский язык. Её можно использовать для восстановления замаскированных фрагментов текста и как основу для задач анализа японского текста. Репозиторий распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование.
Модель leomaurodesenv/bert-base-uncased-disaster-tweet-jailbreaking-augmented — дообученная англоязычная BERT-модель Google на основе google-bert/bert-base-uncased для классификации текста. Она предназначена для отнесения текстовых последовательностей к классам; название указывает на связь с сообщениями о катастрофах и данными для jailbreaking, однако карточка не поясняет точную схему меток или сценарий классификации. Модель содержит 136,7 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов.
animetimm разработала модель многометочной классификации изображений на основе CAFormer, предназначенную также для извлечения визуальных признаков. Это дообученная версия timm/caformer_b36.sail_in22k_ft_in1k_384, адаптированная на наборе animetimm/danbooru-wdtagger-v4-w640-ws-full для предсказания 12 476 тегов, включая общие теги, персонажей и рейтинговые категории. Модель содержит 134 млн параметров и рассчитана на изображения 384 × 384 пикселя. Её можно использовать с timm и PyTorch для обучения и оценки, а также выполнять инференс в формате ONNX. В README приведены метрики на тестовой выборке: micro F1 0,689 при пороге 0,40; качество различается между категориями тегов. Модель подходит для автоматической разметки изображений в стиле Danbooru и поиска изображений по предсказанным тегам. Она ориентирована на соответствующий набор тегов, поэтому качество на иных типах изображений и вне этой таксономии не подтверждено. Лицензия — GPL-3.0.
Cent1-1B — компактная причинно-языковая модель, разработанная CentIo для вызова инструментов в финансовых сценариях и анализа финансовой отчётности. Она дообучена на Qwen/Qwen3-1.7B и использует плотную архитектуру Qwen3 с 1,7 млрд параметров, 28 слоями и контекстом 40 960 токенов. Модель принимает текстовый запрос и схемы доступных функций, выбирает подходящий инструмент и формирует вызов с типизированными аргументами; если инструмент не нужен, отвечает в диалоговом формате. Поддерживает английский язык. Весовая версия fp16 занимает около 3,4 ГБ; лицензия Apache 2.0. В тестировании BFCL v3 simple модель показала качество вызова функций, близкое к Qwen3-4B, особенно при заполнении аргументов. Её следует использовать как маршрутизатор запросов и форматировщик вызовов, а вычисления поручать отдельным инструментам. На тесте FinQA точность численных ответов была низкой и ниже базовой модели; неоднозначные схемы инструментов также ухудшают маршрутизацию. Модель не предназначена для сложного многоэтапного планирования или длительных агентных сценариев, а её выводы не являются финансовой консультацией.
CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.
Это дообученная на наборе изображений SUN397 зрительная часть модели CLIP ViT-B/32, основанной на архитектуре Vision Transformer с размером патча 32. Репозиторий содержит 113,2 млн параметров в формате Safetensors; разработчик модели в предоставленных данных не указан. Модель предназначена для извлечения признаков изображений и представления сцен, в частности для задач, связанных с категориями SUN397. В карточке приведены результаты оценки: 0,6321 для исходной модели и 0,7501 после дообучения; метрика не названа. Для использования предлагается загрузка через Transformers как CLIPVisionModel. Это только зрительная часть CLIP, поэтому из карточки нельзя заключить, что данный репозиторий самостоятельно выполняет сопоставление изображения с текстом. Сведения о лицензии, языковой поддержке и ограничениях применения в предоставленных данных отсутствуют.
DarijaBERT — языковая модель от AIOX Lab и SI2M Lab INSEA для марокканского арабского диалекта дарижа. Это модель семейства BERT с архитектурой BERT-base без задачи Next Sentence Prediction; она содержит около 174,7 млн параметров и поддерживает контекст до 512 токенов. Модель обучена примерно на 100 млн токенов из рассказов на дариже, комментариев YouTube и твитов. Основная задача модели — предсказывать пропущенные токены в тексте на дариже. Она подходит для языковых исследований и как основа для приложений обработки марокканского диалекта. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Andou2yu/deep-attackg-cross-encoder — дообученная модель cross-encoder на базе cross-encoder/ms-marco-MiniLM-L6-v2, созданная с помощью библиотеки Sentence Transformers. Она оценивает пары текстов и выдаёт один числовой балл, который используют для ранжирования документов относительно запроса и семантического поиска. В README указано обучение на 42 906 парах текстов; примеры и состав данных относятся к описаниям кибератак и вредоносной активности, поэтому модель ориентирована на поиск и сопоставление материалов по кибербезопасности. Модель построена на архитектуре BERT и содержит 25,9 млн параметров. Максимальная длина последовательности — 512 токенов. Для оценки релевантности она принимает пару текстов, обрабатываемую совместно, и возвращает скалярную оценку; формат весов — safetensors. Лицензия и поддерживаемые языки в предоставленных сведениях не обозначены. Результаты зависят от обучающих данных, а ограничение длины может требовать сокращения длинных текстов.
Nevico/dfine-small-remia-cartons — детектор объектов D-FINE Small, разработанный на основе ustc-community/dfine-small-coco и дообученный Nevico на наборе изображений Nevico/remia-ned1-cam1-cartons. Модель предназначена для обнаружения картонных коробок на изображениях и выдаёт их расположение в виде ограничивающих рамок с классом объекта. В README приведены результаты на оценочной выборке: mAP 0,9785, mAP@50 0,99 и mAP@75 0,9793 для класса Carton. Эти показатели относятся к указанной выборке; сведений о проверке на других данных нет. Модель принимает изображения и выдаёт рамки и метки обнаруженных объектов. Репозиторий использует формат Safetensors и библиотеку Transformers. Лицензия — Apache-2.0.
DictaBERT Parse — модель BERT, разработанная Dicta, для совместного морфологического и синтаксического разбора современного иврита. Модель объёмом 211,6 млн параметров дообучена от dictabert-joint на Hebrew UD Treebank и корпусах NEMO, чтобы согласовать разметку с этими корпусами. Длина контекста — до 512 токенов. Модель сегментирует префиксы, снимает морфологическую неоднозначность, определяет леммы, строит деревья зависимостей и распознаёт именованные сущности. Результаты можно получить в JSON или в форматах Universal Dependencies, включая вариант разметки IAHLT. Лицензия — CC BY 4.0.
zeromodels/dinov2-small — конверсия модели DINOv2-small от Facebook AI Research в Keras 3, подготовленная проектом zeromodels. Это самообученный Vision Transformer без отдельной целевой головы: он принимает изображения и возвращает признаки и токены патчей для последующего использования в визуальных задачах и downstream-моделях. Модель предназначена для извлечения переносимых визуальных признаков, например для построения классификаторов и других задач компьютерного зрения. Реализация работает с TensorFlow, Torch и JAX; в репозитории указана версия весов TensorFlow. Процессор нормализует входные изображения, поэтому настройки нормализации при подаче данных следует согласовать с ним. Модель основана на facebook/dinov2-small и выпущена по лицензии Apache 2.0. В карточке не приведены параметры размера входного изображения или численный размер вектора признаков.
DistilBERT для классификации SMS-сообщений на спам и обычные сообщения (Ham). Модель предназначена для фильтрации нежелательных SMS и выявления рекламных или мошеннических сообщений. В карточке указано обучение на наборе SMS Spam Collection Dataset с Kaggle. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метку класса. Максимальная длина контекста — 512 токенов. В карточке приведены результаты: accuracy 99,19%, precision 100%, recall 94,12% и F1 96,91%; эти показатели относятся к описанной оценке и могут не отражать качество на других данных. Модель распространяется по лицензии MIT.
Trakerlack/distilbert-toxic-onnx-int8 — модель классификации токсичных комментариев, созданная дообучением distilbert-base-uncased на наборе Jigsaw Toxic Comment Classification. Она относит текст к одному из двух классов: токсичный или чистый. Модель предназначена для модерации комментариев и фильтрации пользовательского контента. Модель основана на DistilBERT и экспортирована в ONNX с динамической INT8-квантизацией для быстрого вывода на CPU. В README указаны AUC-ROC 0,9217, размер 64 МБ и медианная задержка около 29 мс на CPU. Контекст модели составляет 512 токенов. Поддерживается английский язык. Лицензия — Apache-2.0.
KoRiF разработал модель distilhubert-finetuned-gtzan, дообучив компактную HuBERT-модель ntu-spml/distilhubert на наборе GTZAN для классификации аудио. Модель содержит 18,9 млн параметров и предназначена для отнесения аудиозаписей к музыкальным жанрам. На оценочной выборке GTZAN указаны accuracy 0,88 и loss 0,7321. Модель принимает аудио и выдаёт метку класса; базовая модель рассчитана на аудио с частотой 16 кГц. Лицензия — Apache-2.0. Подробности о поддерживаемых жанрах, длительности входных записей и условиях оценки не приведены.
MahmoodAnaam/flaird-modernbert-large-attention-single-task-frozen — модель классификации последовательностей на базе архитектуры FlairD, опубликованная в формате safetensors и использующая библиотеку Transformers. В README указано, что модель дообучена на неизвестном наборе данных; базовая модель и конкретные классы не названы. Модель предназначена для классификации текста. В карточке приведены результаты оценки: ROC-AUC 0,991, F1 0,966, F0.5u 0,985, C@1 0,936, среднее значение 0,967 и loss 0,0073. Описание применения, обучающих данных и ограничений в README отсутствует, поэтому область применения и переносимость метрик на другие данные неясны.
GenAID — модель кодирования аудио для распознавания китайских акцентов, построенная на базе facebook/wav2vec2-large-xlsr-53. Она принимает необработанный аудиосигнал с частотой 16 кГц и формирует 64-мерный вектор акцента, стараясь отделять признаки акцента от информации о личности говорящего. Архитектура включает сверточный экстрактор признаков XLS-R, Transformer-энкодер из 24 блоков и узкое место с GELU; экстрактор признаков заморожен, а энкодер и проекция дообучены. Модель различает девять меток: северный, сычуаньский, гуандунский, южный, хэнаньский, шанхайский, уханьский, тяньцзиньский и сингапурский варианты китайской речи. Её можно применять для классификации акцента и извлечения компактных векторов акцента в аудиосистемах. Для загрузки репозитория требуется trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.
Koichi Yasuoka разработал эту модель на основе GPT-2 small, предварительно обученной на японской Википедии. Она дообучена для разметки японского текста: присваивает словам теги UPOS и признаки FEATS, то есть определяет части речи и грамматические характеристики. Модель рассчитана на анализ предложений на японском языке и использует архитектуру GPT-2 с контекстом до 1024 токенов. Модель можно применять для морфологического анализа японских текстов и подготовки лингвистически размеченных данных. Для работы требуется библиотека fugashi. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0.
Hammer 2.0-0.5B — компактная языковая модель для вызова функций в приложениях с агентами на устройстве, разработанная командой MadeAgents. Это плотная авторегрессионная модель семейства Qwen2, дообученная на базе Qwen/Qwen2.5-0.5B-Instruct с применением маскирования функций. Для обучения использованы 60 тысяч примеров вызова функций из APIGen/xLAM и дополнительный набор xlam-irrelevance-7.5k. Модель содержит 493,7 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для генерации текста и выбора или вызова функций в агентных сценариях, в том числе для локальных приложений с ограниченными ресурсами. В README сообщается о результатах на BFCL-v3 и других академических тестах, но эти оценки не гарантируют качество для конкретных инструментов и рабочих процессов. Карточка указывает лицензию CC BY 4.0.
superb/hubert-large-superb-er — портированная в Transformers версия HuBERT из S3PRL для распознавания эмоций в речи в рамках задачи SUPERB. Модель классифицирует аудиозапись высказывания по эмоциональному классу; обучение и оценка описаны для четырёх сбалансированных классов датасета IEMOCAP с пятикратной кросс-валидацией. Базовая модель hubert-large-ll60k предварительно обучена на речи с частотой дискретизации 16 кГц, поэтому входное аудио также должно иметь частоту 16 кГц. Архитектура — HuBERT Large с классификационной головой для последовательностей, около 402,7 млн параметров; веса доступны в формате PyTorch. В опубликованном README приведена точность 0,6762 для реализации S3PRL на session1; результат для версии Transformers не указан. Модель распространяется по лицензии Apache-2.0.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_mnli_ft_94 — модель, размещённая пользователем или организацией Jeevesh8 на Hugging Face. По карточке каталога Hugging Face она относится к задачам классификации текста и была обновлена 21 июля 2022 года. Модель основана на BERT-base-uncased и дообучена на задаче Multi-Genre Natural Language Inference (MNLI), поэтому предназначена для классификации отношений между парами текстов, включая entailment, contradiction и neutral, а также для связанных сценариев текстовой классификации. Идентификатор указывает на максимальную длину последовательности 128 токенов и на специальную процедуру обучения с параметрами, связанными с инициализацией, перемешиванием, clipping и warmup, однако подробности этой процедуры в доступных данных не раскрыты. Возможности модели ограничены текстовыми входами; сведения о поддерживаемых языках, точном числе параметров, метриках качества, сильных сторонах, ограничениях и лицензии для этого конкретного варианта надёжно не указаны. Поэтому её следует рассматривать как англоязычную BERT-модель для MNLI-подобной классификации только при подтверждении соответствия конкретному набору данных и условиям использования.
MaskFormer — модель компьютерного зрения, разработанная командой Facebook и обученная для семантической сегментации изображений на ADE20K. Это версия small с backbone Swin; архитектура MaskFormer предсказывает набор масок и соответствующих им меток и применяет общий подход к сегментации объектов, семантической и паноптической сегментации. Данный чекпойнт предназначен для семантической сегментации сцен. Модель принимает изображение и выдаёт сегментацию по классам. В метаданных указаны форматы PyTorch и Safetensors, а также лицензия other. README не приводит подробностей о поддерживаемых классах, качестве на отдельных наборах данных или условиях лицензии.
MixNet-L — сверточная модель для классификации изображений и извлечения визуальных признаков, представленная в библиотеке timm. Версия ft_in1k дообучена на ImageNet-1k на основе исходных весов TensorFlow с padding типа SAME и адаптирована для PyTorch. Модель содержит около 7,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для определения объектов и категорий на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура MixNet применяет смешанные глубинные свёртки с ядрами разных размеров. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Качество распознавания зависит от соответствия входных изображений обучающим данным ImageNet-1k и корректной предобработки. Карточка описывает классификацию и извлечение признаков, но не приводит сведения о поддерживаемых языках или иных модальностях.
Koichi Yasuoka разработал эту модель для морфологической разметки японского текста. Это дообученная ModernBERT Large, предварительно обученная на текстах 青空文庫; модель присваивает каждому короткому слову тег части речи UPOS и признаки FEATS, а также предназначена для синтаксического анализа зависимостей. Она поддерживает контекст до 8192 токенов и содержит 409,7 млн параметров. Модель подходит для автоматического анализа японских предложений и подготовки лингвистической разметки для корпусов и исследований. В README показан запуск через Transformers с пользовательским pipeline `upos` и `trust_remote_code=True`; метаданные указывают задачу `token-classification`. Распространяется по лицензии Apache-2.0.
vjosap/moralBERT-predict-cheating-in-text — модель классификации текста, опубликованная автором Vjosa Preniqi на Hugging Face. По названию и типу задачи она предназначена для выявления в тексте тем или признаков, связанных с обманом, в рамках классификации моральных категорий. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. Модель принимает текст и выдаёт результат классификации. Доступные сведения подтверждают задачу text-classification, однако не раскрывают архитектуру, обучающие данные, поддерживаемые языки, схему меток и точность. Поэтому предсказания следует рассматривать как вспомогательную классификацию, а не как достоверное установление факта обмана.
dima806/multiple_accent_classification — модель классификации аудио для распознавания акцента в речи. Она создана дообучением facebook/wav2vec2-base-960h и использует архитектуру Wav2Vec2ForSequenceClassification; число параметров — 113,3 млн. Модель предназначена для отнесения речевого аудио к классам акцентов. Модель принимает аудио и выдаёт метки классов. В качестве основы использована модель wav2vec 2.0, обученная на английской речи. Репозиторий распространяется по лицензии Apache-2.0.
Shushant/nepaliBERT — модель семейства BERT, опубликованная Shushant и дообученная на корпусе непальского текста. Это masked language model на архитектуре BERT Base Uncased с примерно 136,7 млн параметров и контекстом до 512 токенов; основная задача в Hugging Face — заполнение пропусков в тексте. Корпус включает около 10 млн предложений и новостные материалы с непальских сайтов и OSCAR Nepali. Модель предназначена для языковых задач на непальском языке, прежде всего для восстановления скрытых токенов и как основа для дальнейшей адаптации к NLP-задачам. В README сообщается о сравнительных результатах на анализе тональности непальских твитов, однако готовая классификационная задача не указана. Модель работает с текстом на письме деванагари. По README, модель показала loss 1,0495 на оценочной выборке и perplexity 8,56; эти результаты относятся к описанным автором экспериментам. Доступна под лицензией MIT.
strickvl/nlp-redaction-classifier — модель классификации текста, дообученная автором карточки на базе microsoft/deberta-v3-small на пользовательском датасете. Она предназначена для NLP-задач редактирования или выявления текста, связанного с редактированием, однако карточка не уточняет метки классов и рабочий сценарий. Модель использует архитектуру DeBERTa V2 для классификации последовательностей, содержит 155 млн параметров и принимает текст длиной до 512 токенов. В карточке приведены результаты оценки на тестовом наборе: loss 0,0893 и корреляция Пирсона 0,8273. Указана лицензия MIT.
Opus Moderation 1 — англоязычный классификатор модерации текста от opus-research, дообученный на answerdotai/ModernBERT-base. Модель на 149 млн параметров использует архитектуру ModernBERT для классификации последовательностей и выдаёт семь оценок токсичности и оскорбительного содержания, а также оценку попыток jailbreak. Контекст модели — до 8192 токенов, однако обучение проводилось на последовательностях длиной 192 токена, а длинные входы обрезаются. Модель предназначена для автоматической проверки комментариев и сообщений, выявления токсичности, угроз, оскорблений, атак на идентичность и попыток обхода ограничений LLM. Она обучалась на Civil Comments с мягкими метками доли голосов аннотаторов и на Toxic-Chat с метками jailbreak. На отложенных данных качество различается по меткам: например, F1 для токсичности составляет 0,694, а для оскорблений — 0,706. По заявленным проверкам, доля ложных срабатываний на реальных безвредных комментариях с упоминанием идентичности составила 3%. Модель распространяется под лицензией Apache-2.0. Карточка помечает её как заменённую версией Opus Moderation 2 и рекомендует v2 для обычного использования. Ограничения включают ненадёжную метку severe_toxicity (F1 0,10), полноту обнаружения jailbreak 0,50 при пороге 0,5, остаточную предвзятость к отдельным упоминаниям идентичности и ожидаемое снижение качества вне английских комментариев и чатов.
OTel-Embedding-8B — текстовая модель эмбеддингов для поиска в документах телекоммуникационной отрасли, разработанная в рамках инициативы Open Telco AI. Это полнопараметрическое дообучение Qwen/Qwen3-Embedding-8B на наборе OTel-Embedding; в метаданных указаны архитектура Qwen3, 7,6 млрд параметров, контекст до 40 960 токенов и формат safetensors. Модель предназначена для извлечения релевантных фрагментов из телеком-стандартов, спецификаций, RFC, научных работ и других отраслевых документов, в том числе как поисковый компонент RAG-системы. На отложенной выборке OTel-Embedding авторы сообщают NDCG@10 93,5% ± 0,3%, что на 9,6 процентного пункта выше базовой модели. Эти результаты относятся к внутреннему разбиению набора данных и не подтверждают такое же качество на внешних тестах или во всех подразделах телекоммуникаций. Модель рассчитана на английский язык и не является универсальной; результаты поиска следует проверять перед операционным, клиентским, нормативным или сетевым применением. Лицензия модели — Apache-2.0; также необходимо учитывать лицензию или условия базовой модели.