II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейМодель sachaarbonel/bert-italian-cased-finetuned-pos — дообученная Sacha Arbonel итальянская версия BERT Base для разметки частей речи в тексте. Она обучена на итальянской части набора XTREME UD POS и присваивает каждому токену одну из 17 меток, включая существительное, глагол, прилагательное, пунктуацию и другие категории. Модель содержит 137,1 млн параметров, имеет архитектуру BERT для классификации токенов и принимает последовательности длиной до 512 токенов. В README указаны F1 97,25, точность 97,15 и полнота 97,36 на оценочном наборе. Репозиторий содержит веса PyTorch и Flax, включая формат safetensors. Лицензия в предоставленных данных не указана.
binomial-marks-1 — компактная специализированная модель Binomial AI Research для анализа стенограмм корпоративных финансовых звонков. Она принимает текст на английском языке и сведения о стране, секторе, тикере и квартале, а за один проход формирует 23 числовых сигнала: оценки направления по десяти темам, включая прогнозы, рост выручки и маржу, а также оценки уверенности руководства, его уклончивости и скептицизма аналитиков. Архитектура модели обозначена как MarksMultiHead; контекст составляет 16 384 токена. Модель предназначена для количественного анализа финансовых звонков: её сигналы можно использовать как признаки в факторных моделях, фильтрах отбора компаний и триггерах событийных исследований. По данным карточки, обучение проводилось на более чем 80 000 стенограмм, а оценки модели сопоставлялись с ответами крупных языковых моделей. Инференс детерминированный и может выполняться локально; заявлена лицензия Apache 2.0. Ограничения: модель обучена преимущественно на английских стенограммах, а для переводных неанглоязычных звонков качество снижается. Оценки тональности лучше использовать для сравнения и нормализации между компаниями, а не как абсолютные пороги; тексты длиннее 16 384 токенов усекаются. Это NLP-оценщик, а не модель прогнозирования доходности или торговых рекомендаций.
Cardioner Medroberta.Nl Multilabel — модель на основе MedRoBERTa.nl, дообученная для классификации фрагментов нидерландских клинических текстов по нескольким категориям. Разработчики объединили лучшие контрольные точки десяти разбиений перекрёстной проверки; модель использует схему IOB для разметки фрагментов. Она содержит 153,2 млн параметров и рассчитана на контекст до 514 токенов, хотя в README для обработки указывается ограничение менее 512 токенов. Модель извлекает из клинических текстов по кардиологии названия заболеваний, лекарств, процедур и симптомов. Её можно применять для структурирования записей, поиска клинических сущностей и последующей агрегации предсказаний по последовательностям. Для длинных документов README рекомендует предварительно делить текст на предложения или абзацы. Модель принимает текст на нидерландском языке и выдаёт метки классов для найденных фрагментов. Она дообучена на вручную размеченном корпусе CardioCCC для клинической кардиологии; метрики F1 в карточке приведены по десяти разбиениям перекрёстной проверки. Распространяется по лицензии GPL-3.0.
Common-Voice-Gender-Detection-ONNX — ONNX-версия модели prithivMLmods/Common-Voice-Gender-Detection, разработанная на основе facebook/wav2vec2-base-960h и автоматически конвертированная для использования с transformers.js. Модель предназначена для бинарной классификации аудио речи по категориям female и male. Модель использует архитектуру Wav2Vec2ForSequenceClassification и работает с англоязычными аудиоданными. Она может применяться для анализа речи и демографических характеристик дикторов в записях колл-центров, персонализации диалоговых систем, автоматической разметки голосовых датасетов, исследовательских задач в области лингвистики и акустики, а также добавления метаданных к подкастам, интервью и видеоматериалам. К сильным сторонам относятся использование предварительно обученной архитектуры Wav2Vec2 и формат ONNX, подходящий для эффективного инференса в совместимых средах. Модель классифицирует только по двум указанным категориям; в README не приведены сведения о точности, размере файла, максимальной длительности или длине контекста, устойчивости к шуму и применимости к другим языкам. Результат следует интерпретировать как классификацию голосового сигнала, а не как достоверное определение гендерной идентичности человека. Модель распространяется по лицензии Apache-2.0.
Это модель семантической сегментации изображений DeepLabV3 из семейства SMP, опубликованная в репозитории smp-test-models/deeplabv3-tu-resnet18. По названию репозитория она использует энкодер ResNet18 с весами, связанными с timm. Модель предназначена для разметки областей изображения по классам и может загружаться через библиотеку segmentation-models-pytorch с помощью from_pretrained. Карточка не содержит сведений о датасете и метриках качества. Модель распространяется по лицензии MIT.
S3Sound/distilhubert-finetuned-gtzan — модель классификации аудио на базе DistilHuBERT, дообученная на наборе GTZAN. Она предназначена для определения музыкального жанра по аудиозаписи. В оценке на тестовой выборке указана точность 0,85 и loss 0,548. Модель содержит 18,9 млн параметров и использует архитектуру HuBERT для классификации последовательности. Базовая DistilHuBERT предназначена для извлечения представлений из аудио с частотой 16 кГц; сведения о требованиях к входному формату этой дообученной версии в карточке не приведены. Модель распространяется по лицензии Apache-2.0.
Модель armpln/finetuned_model_emotion_detection — дообученная версия многоязычного энкодера mmBERT от JHU CLSP для многометочной классификации эмоций в испаноязычных публикациях Twitter. Для входного текста она определяет наличие или отсутствие 11 категорий: гнева, ожидания, отвращения, страха, радости, любви, оптимизма, пессимизма, грусти, удивления и доверия. Модель построена на архитектуре ModernBERT, содержит 306,9 млн параметров и поддерживает контекст до 8192 токенов. Модель предназначена для анализа эмоций в испаноязычных соцсетях и экспериментов с анализом тональности и аффекта. На оценочной выборке указаны Macro F1 0,5265 и loss 0,3387. Доступна по лицензии MIT. Обучение проводилось на испанской части набора SemEval 2018 Task 1 Affect in Tweets. Поскольку данные ограничены Twitter, качество может снижаться на текстах из других областей, а также на сленге, текстах с опечатками, переключением языков и культурными отсылками. Метки не взаимоисключающие: одна публикация может выражать несколько эмоций.
FinMA-7B-NLP — языковая модель для финансовой сферы, разработанная в рамках проекта PIXIU. Это модель семейства LLaMA с 7 млрд параметров, дообученная на инструкционных NLP-данных PIXIU; репозиторий содержит веса PyTorch и SafeTensors и рассчитан на работу через Transformers. Модель предназначена для анализа финансовых текстов и выполнения инструкций на английском языке. Модель подходит для анализа тональности финансовых текстов, классификации новостных заголовков, распознавания именованных сущностей и ответов на вопросы по финансовым материалам. Она ориентирована на текстовый ввод и генерацию текста. Лицензия репозитория — MIT. Карточка не сообщает длину контекста и конкретные ограничения качества; результаты следует проверять в целевом финансовом сценарии.
flaird-modernbert-large-concatenation-single-task — модель классификации последовательностей на архитектуре FlairdForSequenceClassification, опубликованная MahmoodAnaam. Она представлена как дообученная модель и предназначена для классификации текста. В README приведены результаты оценки: ROC-AUC 0,999, F1 0,993 и другие метрики; назначение классов и подробности оценки не раскрыты. Модель распространяется в формате safetensors через Transformers.
Модель mohammadtaghizadeh/flan-t5-base-imdb-text-classification — дообученная Mohammad Taghizadeh версия google/flan-t5-base для классификации отзывов о фильмах из набора IMDB на положительные и отрицательные. Она построена на архитектуре T5 и содержит 123,8 млн параметров; принимает текст отзыва и генерирует метку класса. В README указаны accuracy 93% и F1 95,084 на тестовом наборе из 25 000 отзывов. Модель подходит для определения тональности англоязычных отзывов о фильмах и анализа мнений в данных, похожих на IMDB. Контекст составляет 512 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Результаты относятся к указанному набору данных и не гарантируют такое же качество на других темах, языках или форматах текста.
HiliSenti-v1-model — модель jjjardev для классификации тональности предложений на языке хилигайнон. Это дообученная XLM-RoBERTa-large для отнесения текста к одному из трёх классов: отрицательная, нейтральная или положительная тональность. Модель принимает текст и возвращает метку класса с оценкой уверенности. В README заявлены точность 93,5% и macro F1 93,4% на тестовом наборе HiliSenti v1; метаданные указывают архитектуру XLM-RoBERTa для классификации последовательностей, 658,7 млн параметров и контекст до 514 токенов. Модель предназначена для анализа отзывов и обратной связи, мониторинга социальных сетей, а также образовательных, гражданских и исследовательских приложений, связанных с хилигайнон. Она оптимизирована для этого языка и поддерживает только классификацию тональности на уровне предложения. Лицензия — CC BY-NC-SA 4.0.
HuBERT-Base-JTube — японская модель энкодера HuBERT от SaruLab, обученная на корпусе JTubeSpeech. Она преобразует входную речь в латентные представления и предназначена для извлечения признаков и построения систем распознавания речи, например для последующей расшифровки аудио. Модель имеет архитектуру HuBERTModel, содержит 113,3 млн параметров и доступна в формате PyTorch через библиотеку Transformers. Модель обучалась на примерно 2720 часах японской речи из корпуса JTubeSpeech. Это энкодер для задач распознавания: он не генерирует речь и сам по себе не является разговорной моделью или готовой системой транскрибации. Лицензия — MIT.
HuBERT-Large — модель Facebook для самообучаемого извлечения речевых представлений из аудио. Она использует архитектуру HuBERT, подобную BERT, и была предварительно обучена на наборе Libri-Light. Модель содержит 402,7 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для получения признаков из речи и может служить основой для систем распознавания речи после дообучения на размеченных аудиоданных. Веса доступны в форматах PyTorch и TensorFlow; модель распространяется по лицензии Apache-2.0. В исходной модели нет токенизатора, и она не преобразует речь в текст напрямую. Для распознавания речи требуется создать токенизатор и дообучить модель на размеченных текстом аудиоданных.
TokenBender/llama2-7b-chat-hf-codeCherryPop-qLoRA-merged — языковая модель семейства Llama 2, дообученная на 122 тысячах инструкций по программированию. Она предназначена для генерации кода и выполнения типовых задач вроде написания шаблонного кода по запросу. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на контекст до 4096 токенов; основная модальность ввода и вывода — текст. Автор сообщает о ранних экспериментах и субъективно хороших результатах, но также характеризует качество модели как невысокое. В README упомянуты планы проверить HumanEval и утечки обучающих данных, поэтому качество и устойчивость для серьёзных задач не подтверждены. Модель основана на Meta Llama 2; README указывает на связанные с доступом ограничения Meta. Условия коммерческого использования следует сверить с лицензией базовой модели.
Карточка модели Firework2026/mask2former-satellite на Hugging Face совпадает с карточкой mfaytin/mask2former-satellite, поэтому описание составлено по ней. Mask2Former for Satellite Image Segmentation — модель mfaytin, дообученная для семантической сегментации спутниковых и аэрофотоснимков. Она построена на архитектуре Mask2Former с backbone Swin Transformer и дообучена на наборе OpenEarthMap от facebook/mask2former-swin-base-ade-semantic. Модель размечает каждый пиксель одним из девяти классов земного покрова: фон, голая земля, трава, мощёные поверхности, дороги, деревья, вода, сельскохозяйственные угодья и здания. Её можно применять для анализа землепользования, городского планирования, экологического мониторинга и GIS-задач. Результаты могут быть менее надёжны для регионов, не представленных в обучающих данных, изображений с иным разрешением, съёмки с других сенсоров и платформ, а также при сезонных и погодных изменениях. Репозиторий распространяется по лицензии MIT.
khadija69/mdebertaV3_BIES_stem_1K_6 — дообученная модель на архитектуре mDeBERTa-v2 для классификации токенов. Она основана на khadija69/mdebertaV3_BIES_stem_1K_5 и предназначена для присвоения меток отдельным токенам, например для извлечения сущностей или разметки последовательностей. Модель содержит 306 млн параметров, принимает текст и поддерживает контекст до 512 токенов. В README приведены метрики обучения и валидации после пяти эпох: точность на валидационном наборе составляет 0,3978. Датасет и схема меток не описаны, поэтому целевую предметную задачу и языки нельзя установить по доступным сведениям. Модель опубликована в формате TensorFlow под лицензией MIT.
BSC-NLP4BIA/multiclinner-sv-disease-CardioBERTa — модель команды NLP4BIA Барселонского суперкомпьютерного центра, дообученная на базе DT4H/CardioBERTa.sv для распознавания упоминаний заболеваний в шведских клинических текстах. Она выполняет разметку токенов по схеме BIO, выделяя сущности DISEASE; модель относится к семейству BERT, содержит 151,9 млн параметров и имеет контекстное окно 512 токенов. Модель предназначена для извлечения названий заболеваний из клинических записей на шведском языке. Для воспроизведения опубликованных результатов важно подавать предварительно токенизированный текст и корректно сопоставлять предсказания с исходными символьными позициями; для длинных документов рекомендуется обработка с перекрытием stride=128. На тестовом наборе MultiClinNER строгий F1 составил 0,6883, а символьный F1 — 0,8023. В карточке указано, что возможные смещения модели не оценивались. Лицензия — CC BY 4.0.
VARabic/NADI2024-baseline — модель на архитектуре BERT, дообученная для определения арабского диалекта по тексту. Она обучена на обучающих наборах NADI 2020, 2021 и 2023 годов и MADAR 2018. Хотя модель описана как классификатор с одной меткой, её логиты используются для формирования многометочных предсказаний диалектов. Модель предназначена для автоматической идентификации разновидностей арабского языка в текстах. Она содержит 190 млн параметров, работает с текстом и поддерживает контекст до 512 токенов; в метаданных указаны PyTorch и архитектура BertForSequenceClassification. Базовая модель — MarBERTv2. Модель ориентирована на арабский язык и задачу определения диалекта. Качество за пределами обучающих наборов и для текстов длиннее контекстного окна не описано. Лицензия в предоставленных данных не указана.
NeoBERTugues — португалоязычный энкодер ModernBERT, дообученный автором на основе jhu-clsp/mmBERT-base. Для модели создан оптимизированный для португальского токенизатор: сохранены эмбеддинги общих токенов базовой модели, а новые токены инициализированы по статистике её весов. Модель содержит 134,9 млн параметров, имеет 22 слоя, скрытый размер 768, 12 голов внимания, словарь из 32 000 токенов и контекст до 8 192 токенов. Основное назначение — предсказание замаскированных слов в португальском тексте. Энкодер также можно использовать как основу для дообучения классификаторов и извлечения признаков, например для анализа тональности, определения парафразов и распознавания текстового следования. В README приведены ограниченные результаты пробной оценки на португалоязычных наборах данных; авторы отмечают, что масштабных бенчмарков не проводили и не заявляют о превосходстве над другими моделями. Модель принимает текст и выдаёт оценки кандидатов для заполнения маски. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.
omniASR-W2V-1B — преобразованный в формат Hugging Face энкодер wav2vec 2.0 из чекпойнта OmniLingual omniASR_W2V_1B. Модель содержит 1,3 млрд параметров, 48 слоёв и скрытый размер 1280; это предварительно обученный энкодер без CTC-головы. Модель предназначена для извлечения признаков из аудио, исследования представлений речи и дообучения для последующих речевых задач. Автор сообщает, что численное соответствие исходному чекпойнту fairseq2 проверено на аудиопримере. Для работы с весами указан формат safetensors и библиотека Transformers. Сведения о лицензии и поддерживаемых языках в доступных данных отсутствуют.
OpenMed-ZeroShot-NER-Disease-Large-459M — модель OpenMed для распознавания упоминаний заболеваний и патологических состояний в биомедицинском тексте. Она построена на архитектуре GLiNER и дообучена на наборе BC5CDR-Disease, содержащем аннотации заболеваний в аннотациях PubMed. Основная задача модели — извлекать текстовые фрагменты и присваивать им метку сущности, в первую очередь DISEASE; автор также заявляет возможность задавать пользовательские типы сущностей без дополнительного обучения. Модель предназначена для разметки биомедицинской литературы и клинических текстов, индексации заболеваний, фенотипирования пациентов и сбора клинических свидетельств. В README приведён показатель F1 около 0,90 на тестовом наборе BC5CDR-Disease, не использовавшемся при обучении. Модель принимает текст и выдаёт найденные сущности с метками. В метаданных указаны английский язык и библиотека PyTorch; лицензия — Apache-2.0. Результаты для пользовательских типов сущностей могут зависеть от выбранного порога, а заявленные возможности не гарантируют одинаковую точность для всех типов текста и сущностей.
lunarlist/pos_thai — модель Lunarlist для разметки частей речи в тексте на тайском языке. Это дообученная версия Geotrend/bert-base-th-cased на наборе данных lunarlist/tagging_thai, построенная на архитектуре BERT и предназначенная для классификации токенов. Модель содержит 119,8 млн параметров и поддерживает контекст до 512 токенов. В README сообщаются результаты оценки: F1 0,9533, точность 0,9693, precision 0,9525 и recall 0,9540. Модель принимает текст и выдаёт метки частей речи для его токенов. Модель распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанному в карточке набору и не гарантируют аналогичное качество на других данных.
RuBioRoBERTa — русскоязычная модель семейства RoBERTa для предсказания замаскированных токенов в тексте. Она подходит для восстановления пропусков и исследования контекстных языковых представлений на русском языке. Модель содержит 454,1 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и доступна в форматах PyTorch и Safetensors. Карточка содержит только краткое имя модели, поэтому её разработчик и специализация на конкретной биомедицинской области не подтверждены. Лицензия в предоставленных данных не указана.
Модель Jhusef Alfonso López Parra для бинарного выявления сарказма в испанских текстах. Она дообучена на BETO — испаноязычной модели BERT — и предназначена для классификации фраз по меткам «sarcasmo» и «no_sarcasm». Архитектура — BertForSequenceClassification, размер — 137,1 млн параметров, максимальная длина контекста — 512 токенов. Модель можно применять для анализа тональности и сарказма в сообщениях, публикациях и других коротких текстах на испанском языке. В README приведён F1-macro 0,924 на валидации; это значение относится к описанному эксперименту и не гарантирует такую же точность на других данных. Для запуска подходит библиотека Transformers. Лицензия — Apache-2.0.
liaad/srl-en_xlmr-large — модель семантической разметки ролей, созданная командой проекта liaad на базе xlm-roberta-large и дообученная на англоязычных данных OntoNotes v5.0 в формате CoNLL. Она предназначена для анализа предложений: связывает предикаты с их аргументами и определяет семантические роли участников события. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и принимает текстовые последовательности с контекстом до 514 токенов. В карточке также отмечена поддержка португальского и английского языков; данный вариант обучен для английской разметки. Распространяется в формате PyTorch по лицензии Apache-2.0. К ограничениям относятся обучение всего на пяти эпохах и предварительная обработка английских данных для согласования с португальскими, из-за которой часть ролей была удалена, а назначения ролей могут отличаться от исходных данных. TensorFlow-версия не предоставляется из-за изменения параметра type_vocab_size.
stanfordnlp/stanza-lt — модель литовского языка из набора инструментов Stanza, разработанного Stanford NLP. Она предназначена для лингвистического анализа текста, в том числе для задач разметки токенов; Stanza также предоставляет инструменты синтаксического анализа и распознавания сущностей. Репозиторий содержит веса PyTorch и опубликован под лицензией Apache 2.0.
Это модель Stanza для норвежского букмола (nb), опубликованная командой Stanford NLP. Она предназначена для лингвистического анализа текста и входит в набор инструментов Stanza, который обрабатывает текст от базовой языковой разметки до синтаксического анализа и распознавания сущностей. В метаданных Hugging Face задача модели обозначена как классификация токенов; веса представлены в формате PyTorch, лицензия — Apache-2.0. Карточка не уточняет архитектуру, размер модели и конкретные типы разметки.
Это модель Stanza для португальского языка из набора лингвистических инструментов Stanford NLP. Она предназначена для анализа текста и разметки токенов в конвейере Stanza; семейство Stanza также поддерживает синтаксический анализ и распознавание сущностей. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или конкретные схемы разметки. Для использования необходима библиотека Stanza.
Модель Stanza для сербского языка разработана группой Stanford NLP. Это компонент набора инструментов Stanza для лингвистического анализа текста: он относится к задаче классификации токенов и используется в конвейере обработки сербского текста. Stanza предназначена для анализа текста от исходной строки до синтаксического разбора и распознавания сущностей. Репозиторий содержит веса PyTorch; модель подключается через библиотеку Stanza. Лицензия — Apache-2.0. Карточка не уточняет размер модели, контекстное окно и отдельные ограничения качества. Для практического применения модель ориентирована на сербский язык.
stanfordnlp/stanza-ug — модель Stanza для уйгурского языка, разработанная Stanford NLP. Она предназначена для лингвистического анализа текста и входит в набор инструментов Stanza, который охватывает обработку текста от исходных фрагментов до синтаксического анализа и распознавания сущностей. В метаданных указана задача классификации токенов, а модель распространяется в формате PyTorch. Модель подходит для разметки токенов в уйгурском тексте в составе NLP-процессов. Репозиторий автоматически подготовлен скриптом hugging_stanza.py из проекта stanfordnlp/huggingface-models. Лицензия — Apache-2.0. В карточке не приведены размер модели, длина контекста и конкретные метрики качества.