II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейstanfordnlp/stanza-uk — модель Stanza для лингвистического анализа украинского языка, разработанная Stanford NLP. Она предназначена для обработки текста: в частности, классифицирует токены; Stanza также предоставляет инструменты для синтаксического анализа и распознавания сущностей. Репозиторий содержит веса PyTorch и имеет лицензию Apache-2.0. Карточка не сообщает размер модели и длину контекста.
THOR-1.0-base — геопространственная базовая модель на основе Vision Transformer (FlexiViT), разработанная Норвежским вычислительным центром (NR), Арктическим университетом Норвегии UiT и ESA Φ-lab. Она извлекает признаки из спутниковых данных Copernicus Sentinel-1, Sentinel-2 и Sentinel-3, включая SAR, мультиспектральные снимки OLCI и SLSTR с исходным разрешением от 10 до 1000 м. Модель предварительно обучена на парных наблюдениях Sentinel-1, Sentinel-2 и Sentinel-3 из набора THOR-Pretrain, вместе с вспомогательными данными о земном покрове, высотах и метеорологии. Благодаря случайному выбору размеров изображений и патчей при обучении THOR позволяет менять размер патча при выводе, регулируя вычислительные затраты и детализацию признаков без переобучения. Модель предназначена для дообучения под задачи классификации земного покрова, картирования сельскохозяйственных культур и обнаружения наводнений, а также для других геопространственных сценариев. В тестах PANGAEA THOR-Base показала высокую эффективность при ограниченном объёме размеченных данных. Репозиторий использует PyTorch и библиотеку TerraTorch; лицензия — Apache-2.0.
ChrisZeng/twitter-roberta-base-efl-hateval — модель классификации текстов на базе RoBERTa, дообученная на наборе HatEval от модели cardiffnlp/twitter-roberta-base-2021-124m. Она предназначена для выявления ненавистнических высказываний в текстах из Twitter. В карточке указаны результаты на оценочной выборке HatEval: accuracy 0,7913, F1 0,7899 и loss 0,3683. Модель содержит 151,8 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и распространяется в формате PyTorch. Данных о лицензии и поддерживаемых языках в предоставленной карточке нет. Показатели на HatEval не гарантируют такую же точность на других платформах, языках или типах текста.
Модель Cardiff NLP на базе RoBERTa-base предназначена для классификации твитов по признаку оскорбительного языка. Сначала RoBERTa обучалась на примерно 58 млн твитов, затем модель дообучили для выявления оскорбительных высказываний с использованием бенчмарка TweetEval. Она содержит около 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Модель выдаёт метки «оскорбительное» и «не оскорбительное» с оценками уверенности. Она подходит для анализа публикаций в Twitter и выявления оскорбительной речи в коротких текстах. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Модель padmalcom/wav2vec2-large-nonverbalvocalization-classification — классификатор аудио на базе архитектуры wav2vec2, разработанный для распознавания невербальных вокализаций. Она относит звуковой фрагмент к одному из 16 классов: стук зубами, скрежет зубами, щёлканье языком, сморкание, кашель, зевок, прочищение горла, вздох, хлопок или причмокивание губами, учащённое дыхание, плач, смех, чихание, стон или крик. Модель принимает аудио и выдаёт класс вокализации. В карточке она обозначена как независимая от языка; метаданные также указывают мультиязычную поддержку. Размер модели — около 402,7 млн параметров. Она может применяться для автоматической разметки звуковых событий в аудиозаписях. Репозиторий распространяется по лицензии Apache-2.0.
RogerB/afro-xlmr-large-kin-finetuned — дообученная модель XLM-RoBERTa для предсказания пропущенных токенов. Она основана на Davlan/afro-xlmr-large и содержит 658,7 млн параметров; модель принимает текст и предсказывает замаскированные токены в контексте длиной до 514 токенов. Базовая модель адаптирована для африканских языков, однако конкретные языки этого чекпойнта в доступных сведениях не перечислены. Модель подходит для восстановления пропусков в тексте и задач языкового моделирования с маской. В README указана оценка loss 1,1892 на тестовой выборке, но сведения о датасете и назначении дообучения отсутствуют, поэтому результат нельзя интерпретировать для конкретного языка или сценария. Распространяется по лицензии MIT.
auth_scale_binary — дообученная модель Microsoft DeBERTa-v3-base для бинарной классификации текстов. Она построена на архитектуре DeBERTa-v2 и содержит около 211,6 млн параметров; модель принимает текст и выдаёт метку класса. В карточке указано, что на оценочной выборке она получила accuracy 0,7011, precision 0,7102, recall 0,6783, F1 0,6939 и AUC 0,7532. Назначение классов, состав обучающего набора и конкретные сценарии применения в карточке не раскрыты, поэтому применение модели за пределами бинарной классификации определить нельзя. Максимальная длина контекста — 512 токенов. Модель распространяется по лицензии MIT.
CAMeLBERT-Mix DID Madar Corpus26 — модель для определения арабского диалекта по тексту, разработанная CAMeL Lab. Она получена дообучением CAMeLBERT-Mix на наборе MADAR Corpus 26 с 26 классами диалектов и предназначена для классификации коротких высказываний; модель можно использовать через Transformers pipeline для text-classification. Архитектура основана на BERT, содержит 136,3 млн параметров и принимает до 512 токенов контекста. Метаданные указывают поддержку арабского языка и форматов PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.
odunola/bert-based_cased-finetuned-financial-talk — дообученная модель классификации последовательностей на основе BERT base cased. Она предназначена для присвоения тексту одной из категорий в сценариях, связанных с финансовыми обсуждениями. В карточке приведены результаты оценки на наборе данных: accuracy 0,8997, F1 0,8994, precision 0,8999 и recall 0,8997; сведения о категориях и датасете не раскрыты. Модель содержит 135,5 млн параметров, использует формат PyTorch и рассчитана на контекст до 512 токенов. Базовая модель — google-bert/bert-base-cased. Указанная лицензия — Apache-2.0. Карточка не сообщает подробностей о языке обучающих данных и ограничениях качества вне оценки на указанном наборе.
BERTc-165M — китайская символьная модель семейства ModernBERT, разработанная Ismantic и предварительно обученная с нуля для предсказания замаскированных токенов. Она подходит для заполнения пропусков и как языковой энкодер для задач обработки китайского текста, включая сегментацию, определение частей речи и сущностей, а также исправление орфографии. Модель содержит 164,6 млн параметров, имеет 12 слоёв, скрытый размер 1024, 16 голов внимания и контекст до 1024 токенов. Использует позиционные кодировки ScaledSinusoidal, блоки GeGLU и связанные входные и выходные эмбеддинги. Веса доступны в формате safetensors; реализация написана на PyTorch и не требует Transformers. Для токенизации используется символьный SentencePiece с отдельным словарём на 12 536 элементов; карточка сообщает о результатах на PD-1998 и SIGHAN-15. Лицензия модели — Apache-2.0; лицензии обучающих корпусов следует проверять отдельно. Токенизатор необходимо загружать в символьном режиме без словаря, иначе разбиение не будет соответствовать обучению. Модель ориентирована на китайский язык; заявленные результаты относятся к перечисленным наборам данных и сами по себе не гарантируют качество на других доменах.
Модель LoneWolfgang/bert-for-japanese-twitter-sentiment — дообученная версия BERT для определения тональности японских публикаций в Twitter. Базовая модель — японский BERT от Tohoku NLP, дополнительно адаптированный к текстам Twitter продолжением обучения на задаче masked language modeling; затем модель дообучили на наборе Japanese Twitter Sentiment 1k (JTS1k), исключив смешанные примеры. Модель классифицирует текст по трём меткам: отрицательная, нейтральная и положительная тональность. Она предназначена для анализа японских сообщений в соцсетях, включая короткие тексты и публикации с эмодзи и хештегами. Архитектура — BERT для классификации последовательностей, 137,8 млн параметров; максимальный контекст — 512 токенов. Использовать можно через Transformers pipeline для классификации текста. Модель распространяется по лицензии Apache-2.0. Её специализация на японских сообщениях Twitter и обучающем наборе JTS1k ограничивает основания для переноса результатов на другие языки, платформы и типы текстов; README не приводит метрик качества.
BERTimbau Finance Large — языковая модель на архитектуре BERT, разработанная дообучением BERTimbau Large на двух наборах данных бразильского банковского сектора. Она предназначена для работы с текстами о финансах на бразильском португальском языке, в частности для предсказания замаскированных токенов; её представления можно использовать как основу для задач NLP в банковской тематике. Модель содержит 433,2 млн параметров по метаданным, имеет 24 слоя и принимает последовательности длиной до 512 токенов. Модель доступна в форматах PyTorch, Safetensors, TensorFlow и ONNX. Лицензия — Apache-2.0. Карточка демонстрирует получение контекстных эмбеддингов, но не приводит оценок качества самой финансовой версии; для классификации, поиска сходства и других прикладных задач потребуется подходящая настройка и проверка на целевых данных.
yanekyuk/berturk-uncased-keyword-discriminator — дообученная модель на архитектуре BERT для турецкого языка, предназначенная для классификации токенов и выделения ключевых слов. Она основана на dbmdz/bert-base-turkish-uncased и содержит 137,8 млн параметров. Модель принимает текст и выдаёт метки для его токенов; максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки: F1 0,6368, точность 0,6234 и полнота 0,6508. Набор обучения не назван, а разделы с описанием назначения и ограничений не содержат дополнительных сведений, поэтому качество на других данных и практические ограничения оценить нельзя. Модель распространяется по лицензии MIT.
Это англоязычная модель классификации текста, созданная дообучением vinai/bertweet-base на датасете SARC. Она предназначена для выявления сарказма в коротких сообщениях, в частности в текстах, похожих на публикации в социальных сетях. Основа модели — RoBERTa, предварительно обученная на англоязычных твитах; число параметров составляет 162,4 млн, контекст — до 130 токенов. На оценочной выборке SARC модель показала accuracy 0,7636 и F1 0,7636. Она принимает текст и выдаёт результат классификации. Карточка не приводит сведения о лицензии дообученной модели, поэтому условия её использования по этим данным определить нельзя.
sid321axn/Bio_ClinicalBERT-finetuned-medicalcondition — модель классификации текста на основе BERT, дообученная автором репозитория на базе emilyalsentzer/Bio_ClinicalBERT для распознавания медицинских состояний по тексту. Модель содержит 135,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. В карточке приведены результаты оценки: F1 Score 0,8254 и loss 0,7201. Модель предназначена для классификации медицинских текстов, связанных с состояниями здоровья; конкретные классы, состав обучающих данных и подробные сценарии применения не описаны. Лицензия — MIT.
Bragi-LLM-GGUF — компактная локальная модель для генерации кода на Python, созданная независимым исследователем Chen, Ho Yiing. Это GGUF-квантование Qwen/Qwen2.5-Coder-1.5B-Instruct с размером около 1,5 млрд параметров и файлом весов 786 МБ; используется формат Q3_K_M с калибровкой imatrix на обучающей части MBPP. Модель принимает текстовые инструкции и генерирует текстовый код; в карточке указана поддержка английского языка. Модель предназначена для локальной и офлайн-генерации небольших Python-решений. В тесте MBPP базовая GGUF-модель показала 65% pass@1 при однократной генерации. Заявленные 92% относятся к полной системе Bragi с отдельными символьной библиотекой и маршрутизатором, а не к этому файлу весов отдельно. К ограничениям относятся невысокая надёжность при редких формулах, отсутствие измерений для рефакторинга нескольких файлов и работы с существующими кодовыми базами, а также узкая специализация на Python. Лицензия — MIT; модель запускается с llama.cpp и ориентирована на локальное использование.
Модель DT4H/cardio-ner-it-cardioberta-multilabel разработана DataTools4Heart (DT4H) и представляет собой дообученную CardioBERTa.it для многометочной классификации токенов и извлечения сущностей из итальянских клинических текстов по кардиологии. Она использует архитектуру BERT и разметку IOB; независимые метки для токенов позволяют предсказывать пересекающиеся типы сущностей. Модель выделяет заболевания, лекарства, процедуры и симптомы в клинических случаях. Чекпойнт получен усреднением весов десяти моделей, обученных в рамках 10-кратной перекрёстной проверки на итальянской части корпуса CardioCCC: использованы 508 документов из наборов 1 и 2. Модель содержит 137,1 млн параметров, принимает текст и имеет контекстное окно 512 токенов. Лицензия — MIT. Для обработки текстов длиннее максимальной длины последовательности README рекомендует скользящее окно с перекрытием.
Модель sercetexam9/cs221-afro-xlmr-large-76L-ibo-finetuned-10-epochs — дообученная версия Davlan/afro-xlmr-large-76L для классификации текста. Она построена на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров. Модель рассчитана на обработку последовательностей длиной до 514 токенов и подходит для классификации текстов на языках, поддерживаемых базовой Afro-XLMR, в особенности африканских. В карточке приведены результаты оценки: F1 0,5895, ROC AUC 0,7541 и accuracy 0,5226. Эти показатели относятся к указанному набору оценки; его название и состав данных не раскрыты. Модель распространяется по лицензии MIT.
CS221-xlm-roberta-base-finetuned-semeval — модель классификации текста, созданная дообучением FacebookAI/xlm-roberta-base. Она использует архитектуру XLM-RoBERTa для классификации последовательностей, содержит 305,2 млн параметров и принимает текст длиной до 514 токенов. Многоязычная базовая модель предназначена для последующих задач обработки текста. Модель опубликована под лицензией MIT. На указанном в карточке наборе для оценки приведены F1 0,7079, ROC AUC 0,7818 и accuracy 0,3791. Карточка не описывает классы, целевые языки и предполагаемые сценарии применения, поэтому применимость этих показателей к конкретным данным оценить нельзя.
DINOv3 ViT-L/16 SAT-493M — модель извлечения визуальных признаков, разработанная Meta AI. Это вариант семейства DINOv3 на архитектуре Vision Transformer, дистиллированный из DINOv3 ViT-7B, предварительно обученного на спутниковых данных SAT-493M. Модель принимает изображения и возвращает класс-токен, токены патчей и регистрационные токены; размер патча — 16 пикселей. Допускаются изображения с размерами, кратными 16; остальные размеры обрезаются до ближайшего меньшего кратного. Модель предназначена как универсальная основа для задач компьютерного зрения: её признаки можно использовать для поиска похожих изображений, классификации, сегментации, оценки глубины и других задач без дообучения или с простыми классификаторами. Спутниковая предобучающая выборка включает 493 миллиона изображений Maxar с разрешением 0,6 м на пиксель, поэтому модель применима к анализу спутниковых снимков. README указывает, что DINOv3 в целом даёт сильные плотные признаки, но отмечает различия в качестве между регионами и группами по уровню дохода; дообучение может усилить смещения. Лицензия — DINOv3 License (в метаданных обозначена как other).
RayK/distilbert-base-uncased-finetuned-cola — англоязычная модель классификации предложений на основе DistilBERT, дообученная на наборе данных GLUE для задачи CoLA. Она предназначена для оценки грамматической приемлемости предложения и может применяться для фильтрации или анализа английских текстов. Модель использует архитектуру DistilBertForSequenceClassification, работает с текстом и рассчитана на контекст до 512 токенов. На оценочной выборке указаны loss 0,6949 и коэффициент корреляции Мэттьюса 0,5410. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит подробных сведений о тренировочных настройках или ограничениях качества.
ChakuChidiya/distilbert-base-uncased-G2 — дообученная модель DistilBERT для классификации токенов. Она основана на ChakuChidiya/distilbert-base-uncased-G1 и предназначена для задач разметки отдельных токенов во входном тексте. Архитектура — DistilBERT с головой token classification; длина контекста — до 512 токенов. Репозиторий содержит формат TensorFlow. Модель опубликована ChakuChidiya и лицензирована по Apache-2.0. В карточке указано дообучение на неизвестном датасете, но конкретная схема меток, область применения и результаты оценки не описаны, поэтому пригодность для определённых видов разметки не установлена.
YCHuang2112/distilhubert-finetuned-gtzan — модель классификации аудио, созданная дообучением ntu-spml/distilhubert на наборе GTZAN. Она предназначена для отнесения аудиозаписей к музыкальным жанрам. Архитектура HuBERT с классификационной головой содержит 18,9 млн параметров; в README указана точность 0,88 на оценочной выборке и loss 0,6949. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
MariaK/distilhubert-finetuned-gtzan-v2 — модель классификации аудио на базе DistilHuBERT, дообученная на наборе GTZAN. Она предназначена для распознавания музыкального жанра по аудиозаписи. В метаданных указана архитектура HuBERTForSequenceClassification и размер 18,9 млн параметров. На оценочном наборе модель показала точность 0,87 и значение функции потерь 0,4959. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Карточка не сообщает подробностей о длительности или формате входного аудио и перечне жанров, поэтому эти характеристики не приводятся.
amaan00z/emotion_xlmr3 — модель классификации эмоций в тексте, разработанная Аманом Шейхом и дообученная на базе FacebookAI/xlm-roberta-base. Она предназначена для анализа текстов на хинглише — смеси хинди и английского, в том числе сообщений из индийских социальных сетей. Модель относит текст к одной из десяти категорий: гнев, страх, отвращение, грусть, неодобрение, удивление, восхищение, радость, любовь или нейтральная эмоция. В основе лежит трансформер XLM-RoBERTa Base с 305,2 млн параметров и контекстом до 514 токенов. Автор сообщает о точности 0,9875 и F1 0,9850 на оценочном наборе; эти показатели относятся к описанной автором выборке и не гарантируют аналогичное качество на других данных. Модель распространяется по лицензии MIT.
Модель dima806/faces_age_detection — дообученный Vision Transformer ViT-Base для классификации изображений лиц по возрастным группам. Она принимает изображение лица и предсказывает одну из трёх категорий: YOUNG, MIDDLE или OLD. По отчёту в карточке, точность на указанной выборке из 12 965 примеров составляет около 91%. Модель подходит для оценки возрастной группы на фотографиях в задачах компьютерного зрения. Размер — 113,2 млн параметров; доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.
Карточка модели 0x3/gemma-4-E4B-it-audio-encoder на Hugging Face совпадает с карточкой Aratako/gemma-4-E4B-it-audio-encoder, поэтому описание составлено по ней. Aratako/gemma-4-E4B-it-audio-encoder — аудиоэнкодер, извлечённый из Google Gemma 4 E4B Instruct. Это плотная модель класса Gemma4AudioEncoder, подготовленная для Transformers и распространяемая в формате safetensors. При включённой по умолчанию проекции она выдаёт векторы размерности 2560 в пространстве эмбеддингов языковой модели Gemma 4 E4B; без проекции — исходные аудиопредставления размерности 1536. Модель предназначена для извлечения признаков из аудио и передачи полученных представлений компонентам Gemma 4 E4B или другим совместимым системам. Для загрузки требуется Transformers версии 5.5.0 или новее. Лицензия — Apache 2.0. README не сообщает о поддерживаемых языках аудио и отдельных ограничениях качества или применения.
Human-vs-NonHuman-Detection — модель классификации изображений, созданная PrithivMLmods дообучением визуального энкодера google/siglip2-base-patch16-224. Она использует архитектуру SiglipForImageClassification и относит изображение к одному из двух классов: «человек» или «не человек». Модель предназначена для обнаружения присутствия человека на изображениях, автоматической фильтрации и категоризации изображений, а также для использования в системах мониторинга и робототехнике. В README приведён отчёт на 15 635 примерах: точность составила 98,62%, F1 для класса «человек» — 0,9836, для класса «не человек» — 0,9881. Эти результаты относятся к указанному набору оценки и не гарантируют такое же качество на других данных. Модель принимает изображения и выдаёт метку класса. Распространяется по лицензии Apache-2.0.
ifoodie-menu-v3.1 — модель классификации изображений, опубликованная пользователем или организацией sainteye. Она предназначена для анализа изображений меню и распределения их по четырём категориям: «качественное», «плохое», «реклама» и «обычное». Модель может использоваться для автоматической сортировки и предварительной оценки изображений меню в системах каталогизации или модерации. В карточке указана метрика Accuracy со значением 0,9375, а также использование PyTorch. Архитектура, размер модели, поддерживаемые языки, максимальный контекст и дополнительные модальности не раскрыты. Лицензия и ограничения на использование также не указаны, поэтому условия распространения и применения необходимо уточнять у автора модели.
MATPAC++ — аудиоэнкодер MATPAC, разработанный авторами проекта MATPAC и дообученный на AudioSet для классификации звуков. Эта карточка содержит версию с классификационной головой на 527 классов AudioSet; модель также выдаёт представления размерностью 3840 признаков, доступные через выходы энкодера. Модель предназначена для определения присутствующих в аудиозаписи звуковых событий и их активации во времени. Её можно применять для анализа аудио и музыки, в том числе для покадровой по времени визуализации классов звуков в видеороликах. Архитектура в метаданных обозначена как MATPAC, плотная модель класса MatpacModel; библиотека — Transformers, веса доступны в формате safetensors. Для загрузки пользовательского кода требуются зависимости torchaudio, einops и timm версии 0.4.12. Модель распространяется по лицензии Apache-2.0. README указывает, что демонстрационное приложение анализирует первые 120 секунд аудио; точность классификации и поддерживаемые языки не заявлены.