II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейrntc/gliner2-fr-biomed-v3d — модель GLiNER2 для извлечения биомедицинской информации из текстов на французском языке. Она разработана для распознавания сущностей с заданными пользователем типами, классификации, структурированного извлечения и выявления отношений. Модель построена на контрастивном биомедицинском MedEmbed-v9 на базе ModernBERT; в README указано 149 млн параметров. Веса опубликованы в формате safetensors. Модель обучена на синтетических данных, созданных с помощью дистилляции Qwen3-235B по биомедицинским и научным источникам на французском языке. По заявлению авторов, версия v3d улучшает классификацию и структурированное извлечение. Обучение не использовало размеченные данные бенчмарков, чтобы сохранить zero-shot работу с новыми типами сущностей. Модель подходит для обработки клинических и биомедицинских документов, включая извлечение диагнозов и лекарств. Для повышения полноты извлечения длинных фрагментов требуется настроить max_width во всех соответствующих подмодулях; за один вызов рекомендуется передавать не более 20 типов сущностей. Авторы отмечают, что плоское NER надёжнее режима структурированного извлечения. Лицензия — MIT.
Карточка модели 0x3/Google-USM на Hugging Face совпадает с карточкой Atotti/Google-USM, поэтому описание составлено по ней. Это извлечённый аудиоэнкодер из мультимодальной модели Google Gemma 3n E2B IT, опубликованный Atotti. Он построен на архитектуре Gemma3nAudioEncoder, связанной с работой Universal Speech Model (USM); в README отмечено, что его устройство может отличаться от описанного в статье USM. Репозиторий содержит веса в формате safetensors, лицензия — Gemma. Энкодер принимает аудиосигнал и преобразует его в последовательность признаковых представлений. Он предназначен для использования как аудиокомпонент более крупной мультимодальной модели или как основа для задач классификации звука после добавления классификационной головы и дообучения. Самостоятельную транскрипцию речи он не выполняет. Карточка указывает зависимость от Transformers 4.53.0.
Это извлечённый аудиоэнкодер из мультимодальной модели Google Gemma 3n E2B IT, опубликованный Atotti. Он построен на архитектуре Gemma3nAudioEncoder, связанной с работой Universal Speech Model (USM); в README отмечено, что его устройство может отличаться от описанного в статье USM. Репозиторий содержит веса в формате safetensors, лицензия — Gemma. Энкодер принимает аудиосигнал и преобразует его в последовательность признаковых представлений. Он предназначен для использования как аудиокомпонент более крупной мультимодальной модели или как основа для задач классификации звука после добавления классификационной головы и дообучения. Самостоятельную транскрипцию речи он не выполняет. Карточка указывает зависимость от Transformers 4.53.0.
HardCoReNAS — компактная модель классификации изображений, обученная авторами статьи на ImageNet-1k с их «green» рецептом. Она также подходит как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 5,3 млн параметров, требует около 0,2 GMACs на изображение и рассчитана на входной размер 224 × 224 пикселя. Её можно применять для классификации изображений и получения признакового представления в PyTorch через библиотеку timm. Модель предназначена для изображений общего назначения. Доступна по лицензии Apache-2.0; карточка не описывает отдельные ограничения качества или области применения.
lupobricco/irony_classification_ita_base — дообученная модель классификации текста на архитектуре CamemBERT, основанная на Musixmatch/umberto-commoncrawl-cased-v1. Она предназначена для определения иронии в тексте. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки: F1 — 0,7035, ROC AUC — 0,7635 и точность — 0,6124. Обучающий набор данных и подробности предполагаемого применения не описаны. Базовая модель предназначена для итальянского языка, поэтому итальянский — основной язык для этой модели. Репозиторий содержит веса в формате Safetensors; сведения о лицензии отсутствуют в предоставленных данных.
yaongua/korean_kws2 — дообученная модель wav2vec2 для классификации аудио. Она основана на Kkonjeong/wav2vec2-base-korean и содержит 113,3 млн параметров. По архитектуре это Wav2Vec2ForSequenceClassification; репозиторий содержит веса в формате safetensors. Карточка приводит точность 1,0 и loss 0,3679 на наборе оценки, но не описывает метки классов и условия оценки, поэтому практическую интерпретацию этих результатов ограничить нельзя. Модель предназначена для классификации аудио, однако README не уточняет сценарии применения и обучающие данные. Базовая модель предназначена для транскрибации корейской речи, но это не подтверждает, что данный чекпойнт выполняет транскрибацию. Лицензия в предоставленных данных не указана.
Llama3-MS-CLIP ViT-B/16 — разработанная IBM и ESA Geospatial модель семейства CLIP для сопоставления текста с мультиспектральными спутниковыми изображениями. Она обучена на миллионе пар изображение–текст из SSL4EO-S12-v1.1 с автоматически созданными описаниями. Архитектура включает отдельные кодировщики изображений и текста; входные RGB-слои расширены для мультиспектральных данных, а дополнительные каналы изначально обнулены. Модель предназначена для классификации спутниковых снимков по текстовым меткам без специального обучения на этих метках, а также для поиска изображений по текстовому запросу. В README указана работа со снимками Sentinel-2 L2A со всеми 12 каналами; при оценке модель превзошла RGB-модели на большинстве приведённых бенчмарков. Репозиторий содержит веса в формате PyTorch и использует библиотеку TerraTorch. Лицензия — Llama 3. Модель специализирована на мультиспектральных данных наблюдения Земли; заявленные сценарии связаны со снимками Sentinel-2 L2A. Описание не сообщает ограничений по качеству или применению, помимо этой специализации.
Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_9 — модель классификации текста, размещённая пользователем Jeevesh8 на Hugging Face. По идентификатору она представляет собой дообученную версию BERT-base-uncased для задачи QQP (Quora Question Pairs), то есть для классификации пар вопросов, в частности определения их смысловой эквивалентности или дубликатности. Модель использует архитектуру BERT на базе Transformer и предназначена для работы через библиотеку Transformers как sequence-classification model. Базовый BERT-base-uncased имеет 12 слоёв, скрытое представление размерности 768, 12 attention heads и около 110 млн параметров; модель рассчитана на английский язык, применяет uncased-токенизацию и ограничение последовательности до 128 токенов, указанное в её идентификаторе. Она принимает текстовые данные и не поддерживает изображения, аудио или другие модальности. Сильная сторона модели — специализация на классификации пар вопросов после дообучения на задаче QQP. Ограничения включают английский язык, фиксированное ограничение длины контекста и узкую ориентацию на классификацию, поэтому модель не предназначена для генерации текста или общего диалога. На странице модели отсутствует отдельная карточка с результатами, метриками, подробными ограничениями и условиями лицензирования; лицензия именно этого производного чекпойнта надёжно не указана.
Это дообученная Khadija69 модель Microsoft/mdeberta-v3-base для классификации токенов. Она предназначена для присвоения меток отдельным токенам; название репозитория указывает на схему разметки BIES и данные stem_1K, однако описание набора данных и точного назначения меток в карточке отсутствует. Модель содержит 306 млн параметров, использует архитектуру DeBERTa V2 и формат TensorFlow, а её контекст ограничен 512 токенами. Метаданные указывают лицензию MIT. В README приведены результаты на оценочном наборе после пяти эпох: точность обучения 0,434 и валидации 0,3815; назначение, языки и ограничения модели подробно не описаны. Эти показатели следует учитывать при оценке пригодности для практического применения.
Mengzi-oscar-base — китайская модель предварительного обучения, разработанная на основе мультимодальной архитектуры Oscar и инициализированная весами Mengzi-Bert-Base. В репозитории представлены веса BERT для задачи заполнения пропусков в тексте: модель содержит 129,5 млн параметров и обрабатывает последовательности длиной до 512 токенов. При предварительном обучении использовались 3,7 млн пар изображений и текстов: 0,7 млн китайских подписей к изображениям и 3 млн китайских вопросов об изображениях, относящихся к 0,22 млн изображений. Это описывает обучающие данные, но не подтверждает, что опубликованный чекпойнт принимает изображения на вход. Модель распространяется по лицензии Apache-2.0.
MERaLiON-SER-v1 — мультиязычная модель распознавания эмоций и аффективных характеристик речи, разработанная командой MERaLiON. Она принимает аудио и предсказывает семь категорий эмоций: нейтральность, радость, грусть, гнев, удивление, страх и отвращение, а также непрерывные оценки валентности, возбуждения и доминирования в диапазоне от 0 до 1. Модель содержит 309 млн параметров и использует замороженный энкодер Whisper-Medium с LoRA-адаптацией, за которым следуют attention pooling и модифицированный ECAPA-TDNN; декодер Whisper не используется. Модель предназначена для анализа эмоциональной окраски речи в аудиозаписях и потоковом сценарии, включая оценку эмоциональных траекторий. Заявлена поддержка английского, китайского, малайского и тамильского языков; поддержка тайского, индонезийского и вьетнамского ограничена. В оценке на нескольких публичных наборах данных показаны конкурентные результаты, но качество зависит от языка, домена и представленности эмоций. Модель распространяется по MERaLiON Public License.
Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на тайских текстах корпуса CC100. Это плотная модель архитектуры ModernBERT с 112,4 млн параметров, предназначенная для заполнения пропусков в тексте и дообучения для последующих задач обработки тайского языка, например разметки частей речи и синтаксического анализа зависимостей. Модель принимает текст и предсказывает замаскированные токены; поддерживает контекст длиной до 8192 токенов. Модель подходит как основа для создания тайскоязычных систем разметки и анализа текста. В карточке указаны формат PyTorch и лицензия Apache-2.0. Качество на конкретных прикладных задачах зависит от дообучения и оценки на соответствующих данных.
PortugueseT5OieAbstractive — португалоязычная модель семейства T5 с архитектурой encoder-decoder, разработанная bratao. Она дообучена на базе bratao/PortugueseT5-Instruct для абстрактивного извлечения открытой информации из предложений: модель формирует отношения в виде ARG0, V и ARG1. Число параметров — 385,2 млн; модель принимает текст и генерирует текст. В карточке указан португальский язык. Модель предназначена для извлечения субъектов, предикатов и объектов из португальских предложений, например для подготовки структурированных данных из текстов. Для запуска подходят Transformers и библиотека portuguese-openie; возможен вывод на CPU, GPU рекомендуется для большей скорости. README сообщает о результатах на 100 предложениях с синтетическими эталонными извлечениями, однако публичное состояние обучения выглядит неполным, а связь опубликованного чекпойнта с оценённой версией не подтверждена. Это экспериментальная исследовательская публикация. Генерация абстрактивная, поэтому результат может не совпадать с буквальным фрагментом исходника и может быть неполным, дублированным или ошибочным; схему вывода следует проверять. Результаты за пределами небольшого набора преимущественно энциклопедических предложений не установлены. Условия лицензии в предоставленных источниках не приведены.
hfl/rbt3 — предварительно обученная китайская модель BERT с маскированием целых слов (Whole Word Masking), разработанная HFL. Она предназначена для ускорения задач обработки китайского естественного языка; основная задача по карточке — восстановление замаскированных токенов. Модель содержит 44,5 млн параметров, использует архитектуру BertForMaskedLM и поддерживает контекст длиной до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Модель выпущена по лицензии Apache-2.0.
ResNet101D — сверточная модель классификации изображений из библиотеки timm, обученная в Apache Gluon на ImageNet-1k с использованием рецептов Bag of Tricks. Архитектура включает активации ReLU, трехслойный блок начальной обработки из сверток 3×3 с пулингом и обходные соединения с усредняющим пулингом 2×2 и сверткой 1×1. Модель содержит 44,6 млн параметров, требует около 8,1 GMACs и рассчитана на изображения размером 224×224 пикселя. Модель предназначена для присвоения изображению класса из набора ImageNet-1k; её также можно применять как основу для извлечения карт признаков и векторов изображений. Лицензия Apache-2.0 разрешает использование на её условиях. README не приводит оценки качества именно этой модели; указанная в карточке таблица сравнения относится к другим моделям.
Koichi Yasuoka разработал модель на базе RoBERTa для разметки частей речи в текстах на тайском языке. Она предварительно обучена на тайской Википедии и дообучена для присвоения каждому слову метки UPOS — универсальной системы обозначений частей речи. Модель предназначена для автоматической морфологической разметки и может использоваться в конвейерах анализа тайского текста. Модель работает с текстом, токенизированным на слоговом уровне, и выдаёт метки токенов. В карточке также заявлен разбор зависимостей, однако приведённый пример демонстрирует только предсказание UPOS. Основа — KoichiYasuoka/roberta-base-thai-syllable; формат весов PyTorch, лицензия Apache-2.0. Ограничение: обучающие данные происходят из тайской Википедии, поэтому качество на других жанрах и доменах может отличаться.
Koichi Yasuoka разработал англоязычную модель разметки текста на основе RoBERTa-large, дообученную на UD_English. Она присваивает каждому слову тег UPOS из универсальной системы частей речи и предназначена для морфологической разметки английского текста; карточка также указывает на применение для синтаксического анализа зависимостей. Модель содержит 454,1 млн параметров, принимает текст с контекстом до 514 токенов и доступна в формате PyTorch для Transformers. Лицензия — CC-BY-SA-4.0. Модель полезна для лингвистического анализа и предварительной разметки английских текстов. Указанная область применения ограничена английским языком и задачами токенной классификации; README не приводит метрик качества.
RuBERT-Toxic-Pikabu-2ch — модель классификации русскоязычных комментариев на токсичные и нетоксичные. Её разработал sismetanin, дообучив RuBERT на русскоязычном наборе Kaggle Russian Language Toxic Comments Dataset с комментариями из 2ch и Pikabu. Модель использует архитектуру BERT с классификационной головой; в репозитории представлены версии PyTorch и Flax, размер составляет 205,1 млн параметров, контекст — до 512 токенов. Модель предназначена для автоматической модерации комментариев и выявления токсичных высказываний на русском языке. В README для RuBERT-Toxic указана оценка F1 92,20% на описанном сравнении моделей. Датасет содержит 14 412 комментариев, размеченных как токсичные или нетоксичные. Лицензия в предоставленных данных не указана.
Модель jkhan447/sarcasm-detection-Bert-base-uncased-CR — дообученная версия bert-base-uncased для классификации текста и выявления сарказма. Она содержит 136,7 млн параметров, построена на архитектуре BERT и принимает последовательности длиной до 512 токенов. На указанном в карточке наборе для оценки достигла точности 0,7187; подробности о данных и методике оценки не приведены. Модель можно применять для автоматической разметки саркастичных высказываний в текстах. В карточке указана лицензия Apache-2.0. Область применения и ограничения сверх приведённых результатов не описаны.
Модель на архитектуре BERT, дообученная на базе SciBERT для распознавания именованных сущностей в медицинских текстах. Она помечает токены, относящиеся к названиям лекарств и нежелательным эффектам, пятью метками: начало и продолжение сущности препарата, начало и продолжение описания эффекта, а также токены вне этих сущностей. Модель предназначена для извлечения упоминаний препаратов и побочных эффектов из текста, например при анализе сообщений о нежелательных реакциях. Она содержит 137,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки токенов. Указанная библиотека — Transformers; формат весов — PyTorch. Языковая метка карточки — английский. Условия лицензии в предоставленных данных не указаны.
SEC-BERT-BASE — англоязычная модель семейства BERT, разработанная группой обработки естественного языка Афинского университета экономики и бизнеса (AUEB) для финансовых текстов. Это вариант архитектуры BERT-BASE, предварительно обученный на финансовых документах; модель содержит 136,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для восстановления скрытых слов в финансовых документах, включая отчётность компаний и числовые выражения, а также для исследований финансового NLP и приложений FinTech. В примерах карточки SEC-BERT-BASE точнее базового BERT-BASE предсказывает слова и значения в контексте финансовых показателей. Модель принимает текст и предсказывает пропущенные токены. Доступны веса PyTorch и TensorFlow. Лицензия — CC BY-SA 4.0.
3loi/SER-Odyssey-Baseline-WavLM-Categorical — модель распознавания эмоций в речи, обученная для базовой линии соревнования Odyssey 2024 по распознаванию эмоций. Она анализирует аудио и относит речь к одной из восьми категорий: гнев, грусть, радость, удивление, страх, отвращение, презрение или нейтральное состояние. Модель содержит 402,7 млн параметров, построена на архитектуре SERModel и доступна в форматах PyTorch и Safetensors. Модель обучена на MSP-Podcast и предназначена для классификации эмоциональной окраски речи. Карточка упоминает оценку на тестовом и development-наборах соревнования, но численные результаты в предоставленном README отсутствуют. В метаданных указан английский язык. Лицензия — MIT.
Cloudy1225/stackoverflow-roberta-base-sentiment — модель RoBERTa-base для анализа тональности текстов по программной инженерии. Автор дообучил её на наборе StackOverflow4423, повторно настроив базовую cardiffnlp/twitter-roberta-base-sentiment. Модель принимает текст и относит его к одному из классов: отрицательная, нейтральная или положительная тональность. Она предназначена для анализа сообщений Stack Overflow и похожих текстов о разработке ПО. Архитектура — RobertaForSequenceClassification, размер — 151,8 млн параметров, контекст — до 514 токенов. Модель работает с текстом; языки в карточке модели не обозначены. Модель выпущена в форматах PyTorch и safetensors и распространяется по лицензии OpenRAIL. Результаты классификации могут быть ненадёжны для текстов вне тематики программной инженерии; README не приводит оценок качества.
Это модель Stanza для ассами, опубликованная командой Stanford NLP. Она предназначена для лингвистического анализа текста на ассами и доступна для запуска через библиотеку Stanza. Карточка связывает модель с задачей классификации токенов; семейство Stanza также предоставляет инструменты анализа текста, включая распознавание именованных сущностей. Модель опубликована в формате PyTorch под лицензией Apache-2.0. README не сообщает размер модели, длину контекста или конкретные ограничения качества.
Stanza для армянского языка — модель из набора инструментов лингвистического анализа, разработанного Stanford NLP. Репозиторий содержит модель PyTorch для разметки токенов; Stanza также предоставляет инструменты для синтаксического анализа и распознавания сущностей, но карточка не уточняет, какие из этих функций входят именно в эту модель. Модель предназначена для анализа армянского текста в составе Stanza. Репозиторий опубликован под лицензией Apache-2.0.
Карточка модели animetimm/swinv2_base_window8_256.dbv4-full на Hugging Face совпадает с карточкой Mooshie/swinv2_base_window8_256.dbv4-full, поэтому описание составлено по ней. Mooshie подготовил модель multilabel-классификации изображений на архитектуре SwinV2 Base с окном 8, дообучив timm/swinv2_base_window8_256.ms_in1k на наборе animetimm/danbooru-wdtagger-v4-w640-ws-full. Модель содержит 99,7 млн параметров; в карточке указаны изображения размером 448 × 448 для обучения и тестирования. Она предсказывает метки из набора 12 476 тегов Danbooru, включая общие теги, персонажей и рейтинг, и также может использоваться как визуальный backbone. Модель предназначена для автоматической разметки аниме-изображений и поиска по тегам. В README приведены результаты на тестовой выборке и пороги для категорий тегов; для отдельных меток доступны собственные пороги. Репозиторий содержит веса Safetensors и ONNX, для работы указана библиотека timm. Лицензия — GPL-3.0. Качество распознавания зависит от выбранного порога и категории: показатели для общих тегов заметно ниже, чем для персонажей. Модель обучена на тегах Danbooru, поэтому её метки и поведение ориентированы на этот домен.
tf_efficientnet_b4.aa_in1k — модель классификации изображений семейства EfficientNet, портированная Россом Уайтменом (Ross Wightman) из TensorFlow в PyTorch. Исходные веса обучены авторами EfficientNet на ImageNet-1k с применением AutoAugment. Модель содержит 19,3 млн параметров, требует изображения размером 380 × 380 пикселей и может использоваться также как backbone для извлечения признаковых карт и эмбеддингов изображений. Модель предназначена для отнесения изображений к классам ImageNet-1k и извлечения визуальных признаков для последующей обработки. Репозиторий распространяет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0. Карточка не описывает ограничений помимо обучения на ImageNet-1k, поэтому качество на изображениях и классах вне этого набора может отличаться.
TimeSformer Base дообучена для классификации видео и является производной от facebook/timesformer-base-finetuned-k400. Модель использует архитектуру TimesformerForVideoClassification и содержит 113,2 млн параметров. Исходная модель классифицирует видео по 400 категориям действий Kinetics-400; эта версия дообучена на другом наборе данных, состав классов которого не описан. Модель предназначена для отнесения видео к классам действий. В README приведены результаты на оценочном наборе: accuracy 0,8248 и loss 0,5165. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Это преобразованный в формат Hugging Face чекпойнт wav2vec 2.0 Base от Fairseq, подготовленный пользователем techsword. Модель с 113,3 млн параметров предварительно обучена примерно за 85 тысяч обновлений на 730-часовой подвыборке LibriSpeech; веса сохранены в safetensors. Конверсию выполнили официальным конвертером Transformers и проверили сравнением весов и результатов прямого прохода с исходной моделью Fairseq. Модель предназначена для извлечения признаков из аудио и может служить основой для экспериментов и последующей настройки задач обработки речи. В README также упомянуты эксперименты с tone-probe. Для использования указана лицензия Apache 2.0.
Wav2Vec2-Large-LV60 — базовая модель Facebook для предварительного обучения на речевом аудио без текстовых расшифровок. Она построена на архитектуре wav2vec 2.0 и содержит 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц; предобучение использует маскирование представлений речи и контрастивную цель. Модель предназначена для получения представлений речи и как основа для систем распознавания речи после добавления токенизатора и дообучения на размеченных аудиозаписях. В карточке описаны результаты экспериментов wav2vec 2.0 на английском корпусе LibriSpeech, в том числе при ограниченном объёме размеченных данных; эти результаты относятся к экспериментам статьи, а не к распознаванию непосредственно этой базовой моделью. Без дообучения модель не выдаёт текст: у неё нет токенизатора, и она обучена только на аудио. Для использования в распознавании речи необходимы токенизатор и дообучение на размеченных текстом аудиоданных. Модель распространяется по лицензии Apache-2.0.