II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейleplebi/finbert-sentiment-tr — дообученная модель DistilBERT для классификации тональности финансовых текстов на отрицательную, нейтральную и положительную. Она предназначена для анализа коротких англоязычных финансовых высказываний, например отдельных предложений из новостей или отчетов. Модель основана на distilbert/distilbert-base-uncased, использует архитектуру DistilBERT и принимает текст с контекстом до 512 токенов. В README приведены результаты на тестовом наборе из 727 примеров: accuracy 0,8638, macro F1 0,8497 и weighted F1 0,8636. Модель обучена на наборе Financial PhraseBank. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с карточкой репозитория.
FTFM-1 — табличная foundation-модель для классификации строк по контексту, разработанная авторами репозитория josifgrabocka/ftfm. При fit она использует размеченную таблицу поддержки, а затем присваивает оценки новым строкам через predict; градиентное дообучение и настройка под отдельный датасет не требуются. Поддерживается только классификация, веса для регрессии не выпущены. Модель содержит 121 635 840 параметров и использует архитектуру из 16 факторизованных блоков строк и столбцов с шириной 512 и 8 головами. Представления строятся через контекстные латентные переменные строк и столбцов, а не через внимание между ячейками. Контекст поддержки вычисляется один раз и кэшируется; строки запросов можно обрабатывать произвольными пакетами. По умолчанию используется ансамбль из восьми представлений. Обучение проходило в три этапа на синтетических и реальных табличных эпизодах. Для применения нужны размеченные строки поддержки и новые строки в совместимом табличном формате. Размер контекста ограничен памятью устройства, занятой таблицей поддержки. Авторы сообщают, что фильтр обучающих таблиц по именам пропустил небольшое число таблиц из бенчмарков, поэтому результаты на этих таблицах следует интерпретировать с осторожностью. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое использование.
GISchat-weibo-100k-fine-tuned-bert — модель классификации текста, созданная дообучением bert-base-chinese на датасете weibo-100k. Она предназначена для классификации китайских сообщений из Weibo; на оценочной выборке авторы сообщают accuracy 0,9867 и loss 0,0458. Модель построена на архитектуре BERT для классификации последовательностей, содержит 129,5 млн параметров и принимает текст длиной до 512 токенов. В метаданных указан китайский язык, а веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
Это модель для классификации тональности испаноязычных комментариев в социальных сетях. Она разработана erickdp как дообученная версия fastino/gliner2-multi-v1: LoRA-адаптер обучен только для анализа тональности, затем объединён с базовыми весами. Модель использует библиотеку GLiNER2 и распространяется в формате safetensors по лицензии Apache-2.0. Модель относит текст к позитивной, негативной или нейтральной тональности по критерию оценочной окраски содержания: благоприятное или полезное содержание считается позитивным, неблагоприятное или вредное — негативным, а текст без явной окраски — нейтральным. В пилотной оценке на двух источниках средние macro-F1 составили 0,671, а accuracy — 0,721. Хотя базовая модель поддерживает динамические схемы других задач, они не входили в supervised-обучение этой версии и требуют отдельной проверки. Обучающая выборка содержала 2 500 примеров: половина была сгенерирована Claude, половина взята из размеченных людьми данных; распределение классов намеренно смещено в сторону позитивных примеров. На человеческом тестовом наборе полнота для нейтрального класса была слабой. Результаты пилота не гарантируют качество на других источниках и определениях тональности; перед применением следует проверить модель на репрезентативных данных с человеческой проверкой.
Модель jackmedda/google-long-t5-tglobal-base_finetuned_augmented_augmented_llama3.3_70b — дообученная версия google/long-t5-tglobal-base для классификации текста. Она построена на архитектуре LongT5ForSequenceClassification и содержит 123,8 млн параметров; базовая LongT5 — encoder-decoder модель Google Research для работы с длинными текстами. Модель принимает текстовые последовательности длиной до 4096 токенов и выдаёт результат классификации. В README приведены результаты оценки: loss 0,6142, accuracy 0,7647, F1 0,8667, precision 0,7647 и recall 1,0. Назначение классов и набор данных для обучения не раскрыты, поэтому качество на конкретных прикладных категориях оценить нельзя. Модель распространяется под лицензией Apache-2.0.
Kairos-23M — трансформерная модель временных рядов от mldi-lab, представленная в работе «Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models». Она предназначена для прогнозирования временных рядов без дообучения в разных прикладных областях. В модели используются динамическая токенизация патчами, кодировщик с выбором размера представления и динамические позиционные кодировки DRoPE, адаптирующиеся к спектральным особенностям ряда. В README указано около 23 млн параметров; метаданные Hugging Face содержат значение 8,3 млн параметров и контекст 512 токенов. Модель работает с временными рядами и ориентирована на обобщение между доменами без дополнительного обучения. Репозиторий использует формат Safetensors и библиотеку Transformers. Лицензия — Apache-2.0. README сообщает о обучении на корпусе PreSTS, содержащем более 300 млрд временных точек, и заявляет об эффективности модели при небольшом числе параметров; конкретные показатели качества не приведены.
LLaDA-8B full-sequence SFT on mix60k — плотная диффузионная языковая модель, дообученная Albert Ge на базе GSAI-ML/LLaDA-8B-Base. Это контрольная модель для исследования Register Tokens for Bounded-State Reasoning in Diffusion Language Models; в ней нет канала register-токенов или переноса дискретного текста между фрагментами. Обучение проведено на смеси из 60 тысяч примеров OpenMathInstruct-2 и OpenCodeInstruct, за один проход, с динамической длиной последовательности и ограничением завершения до 1024 токенов. Модель предназначена для генерации текста в задачах математики и программирования, а также диалогового применения. В README приведены результаты GSM8K и MATH500 для генерации на одном холсте длиной 1024 токена и для восьми отдельных фрагментов по 128 токенов без переноса состояния; в последнем режиме последующие фрагменты не видят ранее сгенерированный текст. Модель распространяется в формате safetensors; лицензия в предоставленных данных не описана.
Llama-3.1-8B-Instruct-Spatial-SQL-1.0 — специализированная модель Mark Rodrigo, слегка дообученная методом QLoRA и supervised fine-tuning на синтетических данных. Это плотная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текстовый вопрос с координатами или геометрией и генерирует пространственный SQL для PostGIS. Примеры охватывают вычисление площади, центроида, буфера и длины геометрии. Модель предназначена для преобразования команд на естественном языке в SQL-вызовы географических функций, например в приложениях с картами, передающих список координат. В карточке приведены примеры на английском, испанском и китайском; метаданные также указывают эти языки. Для пространственных вычислений в примерах используются метры и географические координаты WGS 84. Модель выдает SQL, который следует проверять перед выполнением в базе данных. Лицензия — Llama 3.1 Community License (llama3). Карточка описывает узкую область применения и отмечает, что оценочные данные требуют дополнительной проработки; качество на произвольных геопространственных запросах не подтверждено.
SushantGautam/LogClassification — дообученная модель Google CANINE-c для классификации текстов. Она предназначена для присвоения меток текстовым последовательностям; набор меток и конкретная область применения в карточке не описаны. Модель содержит 113,2 млн параметров, использует архитектуру CanineForSequenceClassification и распространяется в формате PyTorch. Указанное окно контекста — 16 384 токена. Модель основана на google/canine-c и выпущена по лицензии Apache-2.0. Данных о качестве, обучающем наборе и известных ограничениях нет, поэтому пригодность для конкретных типов логов или иных текстов следует проверять на соответствующих данных.
Maverick-Math-7B — плотная Mistral-модель на 7,1 млрд параметров, дообученная разработчиком feeltheAGI на математических и программных данных. Она предназначена для генерации ответов при решении математических задач, в том числе текстовых задач и задач на рассуждение; в карточке приведены результаты на GSM8K и MathQA. Модель поддерживает контекст до 32 768 токенов и распространяется в формате PyTorch. Модель можно использовать для получения решений и объяснений к математическим задачам, а также для задач, связанных с кодом. Доступные результаты бенчмарков дают ориентир по математическим задачам, но сами по себе не гарантируют точность ответов в практическом применении. Лицензия — Apache-2.0.
MFANN 3b version 0.9 — дообученная модель на архитектуре Phi, разработанная netcat420 и обученная на наборе данных MFANN. Она предназначена для классификации текста и генерации текста; основное назначение по карточке Hugging Face — текстовая классификация. Модель содержит 3,5 млрд параметров, использует библиотеку Transformers и принимает контекст длиной до 2048 токенов. Модель поддерживает английский язык. Репозиторий содержит веса в формате Safetensors, лицензия — Apache-2.0. Набор данных MFANN продолжает расширяться; версия модели обучена на его состоянии на 14 мая 2024 года. Карточка не описывает качество, конкретную схему меток или ограничения применения, поэтому пригодность для конкретной классификационной задачи следует проверять отдельно.
mHuBERT-147 — компактная мультиязычная модель для извлечения признаков из речи, разработанная авторами проекта UTTER и представленная в работе NAVER LABS Europe. Это третья итерация модели на архитектуре HuBERT base с примерно 113,3 млн параметров по метаданным; README указывает 95 млн параметров. Модель предварительно обучена на 90 тысячах часов аудиоданных с открытыми лицензиями для 147 языков, используя дискретные речевые единицы, полученные с помощью faiss IVF. Модель предназначена для получения речевых представлений, которые можно использовать как основу для последующих задач, включая распознавание речи и определение языка. Авторы сообщают о высоких результатах на ML-SUPERB и новых лучших результатах в трёх задачах определения языка. Репозиторий содержит веса Fairseq и их конверсию для Hugging Face Transformers; здесь опубликован вариант PyTorch/Safetensors. Лицензия — CC-BY-NC-SA-4.0, предусматривающая некоммерческое использование и распространение производных на тех же условиях. Состав данных включает несколько корпусов, и часть файлов CommonVoice впоследствии была удалена по запросам правообладателей.
Salesforce/moirai-moe-1.0-R-base — исследовательская модель семейства Moirai, опубликованная Salesforce. Она предназначена для прогнозирования временных рядов и относится к предварительно обученным моделям общего назначения для этой задачи. В репозитории указано около 99,1 млн параметров; веса представлены в формате safetensors. Модель можно применять как основу для экспериментов и оценки подходов к прогнозированию временных рядов. Разработчики предупреждают, что её не оценивали для всех сценариев применения, поэтому перед внедрением следует проверять точность и учитывать риски ошибок, особенно в ситуациях с серьёзными последствиями. Лицензия CC BY-NC 4.0 разрешает использование на условиях указанных ограничений, включая некоммерческий характер лицензии.
Jeevesh8/more_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_qqp_ft_7 — модель для классификации текста, опубликованная пользователем Jeevesh8 на Hugging Face. Она основана на BERT base uncased и дообучена для задачи QQP (Quora Question Pairs), то есть для определения, являются ли две пары вопросов семантически эквивалентными или дубликатами. Модель предназначена для сценариев сравнения, дедупликации и поиска похожих вопросов; в Transformers она используется через BertForSequenceClassification или pipeline text-classification. Архитектура включает 12 скрытых слоёв, 12 attention heads, hidden size 768 и intermediate size 3072; размер словаря — 30 522 токена, максимальная позиционная длина согласно конфигурации — 512 токенов. Модель работает с текстом и рассчитана прежде всего на английский язык без учёта регистра, поскольку использует bert-base-uncased. В имени репозитория указана последовательность длиной 128, что может отражать параметры обучения или подготовки данных, но в доступной конфигурации максимальная длина равна 512. Сильная сторона модели — специализированная настройка под классификацию пар вопросов на базе широко применяемого BERT. Ограничения включают узкую специализацию на задаче QQP, отсутствие сведений о метриках, данных обучения и результатах оценки, а также вероятную чувствительность к английскому языку и длине входа. На странице модели отдельная лицензия и условия использования не указаны.
huyleit разработал и дообучил PhoBERT-base — модель семейства RoBERTa — для распознавания эмоций во вьетнамских публикациях и комментариях в социальных сетях. Модель относит текст к одному из семи классов эмоций; среди приведённых в карточке — радость или симпатия, грусть и отвращение. Она рассчитана на тексты с Facebook, Threads и VNExpress, включая интернет-сленг и сокращения. Модель содержит 162,4 млн параметров и имеет контекст до 258 токенов. В репозитории доступны веса safetensors и варианты ONNX, в том числе квантованный INT8 для ускорения вывода на CPU. В README приведены результаты оценки на тестовой выборке из 1482 примеров, но показана лишь часть метрик, поэтому качество по всем классам по карточке оценить нельзя. Модель принимает текст на вьетнамском языке и выдаёт метки эмоций с оценками. Лицензия — MIT.
py312-pylingual-v1-segmenter — модель SysSec-UTD для сегментации текста с помощью классификации токенов. Это дообученная на наборе syssec-utd/segmentation-py312-pylingual-v1-tokenized модель syssec-utd/py312-pylingual-v1-mlm; архитектура основана на RoBERTa и содержит 136,3 млн параметров. Модель принимает текст и присваивает метки отдельным токенам, чтобы выделять сегменты текста. В README приведены результаты оценки: F1 0,9929, точность 0,9982, precision 0,9923 и recall 0,9935. Контекст составляет до 514 токенов. Карточка не раскрывает языки сегментации и подробности схемы меток, поэтому применение следует ограничивать сегментацией, соответствующей обучающим данным. Файлы представлены в формате safetensors; используется библиотека Transformers. Лицензия в предоставленных данных не указана.
py314-pylingual-v5-segmenter — модель на базе RoBERTa, разработанная syssec-utd и дообученная для классификации токенов. Она предназначена для сегментации текста, что следует из названия модели и датасета segmentation-py314-pylingual-v5-tokenized. Модель содержит 136,3 млн параметров, использует библиотеку Transformers, сохраняется в формате safetensors и принимает последовательности длиной до 1026 токенов. В README приведены результаты оценки: precision 0,9943, recall 0,9940, F1 0,9942 и accuracy 0,9984. Эти показатели относятся к указанному набору оценки; карточка не описывает подробно схему сегментации, языки данных или ограничения применения. Модель дообучена на базе syssec-utd/py314-pylingual-v5-mlm. Сведения о лицензии в предоставленных данных отсутствуют.
praful1/Qwen-0.6b-python-grpo — дообученная модель семейства Qwen3, разработанная на основе praful1/Qwen-0.6b-pythoncode-instruct с использованием TRL. Это плотная причинная языковая модель примерно на 507,9 млн параметров, рассчитанная на генерацию текста и диалоговые запросы; в примере карточки она пишет функцию сложения двух чисел. Модель предназначена для генерации Python-кода по запросам на естественном языке и ответов на инструкции по программированию. Она принимает текстовые сообщения и генерирует текст, включая код. Указанная длина контекста — 32 768 токенов. Веса опубликованы в формате Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана. Карточка не приводит результаты оценки качества, поэтому надёжность кода и пригодность для сложных задач по программированию по этим данным оценить нельзя.
Qwen3OIE-8B — португалоязычная модель извлечения открытой информации (OpenIE), разработанная на базе Qwen/Qwen3-8B и дообученная для преобразования предложений в одну или несколько троек отношений. Она генерирует JSON с полями ARG0, V и ARG1; архитектура — плотная авторегрессионная языковая модель Qwen3 с 7,6 млрд параметров. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Модель предназначена для извлечения субъектов, отношений и объектов из португальских текстов, например для структурирования предложений из энциклопедических материалов. В карточке сообщается о лучшем результате среди сравнивавшихся моделей по лексическому F1: 0,5612. Оценка проведена на небольшом наборе из 100 предложений с преимущественно автоматически созданными и выборочно проверенными эталонными извлечениями. Контекстная длина базовой конфигурации составляет 40 960 токенов, однако обучение выполнялось с последовательностями длиной 2 048 токенов, а более длинный контекст для OpenIE не оценивался. Генеративные ответы могут пропускать или дублировать отношения, галлюцинировать и нарушать JSON-схему; извлечённые аргументы могут быть абстрактными, а не дословными фрагментами исходного текста. Качество на разговорном, специализированном, диалектном, длинном и состязательном португальском не установлено. Состояние обучения в опубликованном файле неоднозначно, поэтому для воспроизводимых результатов рекомендуется фиксировать ревизию. Извлечения сами по себе не подтверждают истинность фактов.
Это англоязычная модель SetFit, разработанная tomaarsen для фильтрации кандидатов аспектов в анализе тональности по аспектам (ABSA) отзывов о ресторанах. Она использует дообученную модель эмбеддингов BAAI/bge-small-en-v1.5 на базе BERT и классификатор LogisticRegression с двумя классами: «аспект» и «не аспект». Модель обучена на наборе SemEval 2014 Task 4 (Restaurants) с применением контрастивного обучения и эффективного few-shot подхода. Модель принимает текстовые кандидаты аспектов вместе с контекстом отзыва и определяет, относится ли кандидат к аспекту, например к еде или персоналу. В описанном конвейере spaCy сначала предлагает возможные фрагменты, эта модель их фильтрует, а отдельная модель SetFit классифицирует тональность отобранных аспектов. Максимальная длина последовательности — 512 токенов; заявленная точность на приведённой оценке — 0,8623. Модель предназначена для английских ресторанных отзывов и узкой задачи фильтрации кандидатов; её не следует считать самостоятельной системой полного ABSA или классификатором полярности. Распространяется по лицензии Apache-2.0.
Wataru/sfi_w2v2_distill_ears — модель извлечения признаков из речи, разработанная как расширение wav2vec 2.0 base с независимой от частоты дискретизации свёрткой. Она предназначена для получения речевых представлений из аудио; карточка модели ссылается на статью с подробностями метода. Модель основана на facebook/wav2vec2-base-960h и дообучена, содержит около 113,3 млн параметров, использует архитектуру SfiHuBERTModel и формат safetensors. В метаданных указан английский язык и лицензия MIT. Карточка предлагает использовать Transformers с trust_remote_code=True. Подтверждённое назначение — извлечение признаков; доступные сведения не устанавливают конкретные частоты дискретизации, качество на разных частотах или поддержку транскрибирования как отдельную задачу.
Stanza model for Slovenian — языковой NLP-модель проекта Stanza, разработанного исследователями Stanford NLP. Она предназначена для лингвистического анализа словенского текста; Stanza предоставляет инструменты от обработки исходного текста до синтаксического анализа и распознавания сущностей. В репозитории доступны веса PyTorch, а основная задача модели в каталоге Hugging Face — классификация токенов. Модель подходит для разметки словенского текста в NLP-конвейерах, включая задачи распознавания сущностей. В карточке не приведены размер модели и длина контекста. Модель распространяется по лицензии Apache-2.0.
star-predictor — модель классификации текстов на основе BERT, дообученная разработчиком Yanni8 на наборе данных app_reviews. Она предназначена для классификации отзывов о приложениях; карточка не описывает конкретные классы и показатели качества. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель google-bert/bert-base-uncased ориентирована на английский язык. Модель распространяется по лицензии Apache-2.0.
TabFM 1.1.0 — табличная фундаментальная модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch; модель использует числовые и категориальные признаки и выполняет zero-shot предсказание: примеры обучающей выборки передаются как контекст, после чего модель выдаёт прогноз за один проход без дообучения и подбора гиперпараметров. Архитектура сочетает внимание по столбцам и строкам с причинным трансформером для обучения в контексте. Для классификации поддерживается до 10 классов. Модель предназначена для табличных данных, например DataFrame pandas или массивов NumPy, и не рассчитана на изображения, аудио, видео, сырой текст, графы или последовательности. Потребление памяти растёт с числом строк контекста; качество может снижаться на таблицах шире 500 признаков, а результат на конкретных данных нужно проверять отдельно, особенно в высокорисковых сценариях. Модель разработана командой Google Research и обучена на синтетических наборах данных, сгенерированных структурными причинными моделями. Лицензия указана как other; README исключает коммерческое использование. Модель не является официально поддерживаемым продуктом Google.
cardiffnlp/twitter-roberta-large-emotion-latest — модель Cardiff NLP на архитектуре RoBERTa-large, дообученная для многометочной классификации эмоций в сообщениях Twitter. Базовая модель обучалась на 154 млн твитов до конца декабря 2022 года, а дообучение для распознавания эмоций выполнено на наборе TweetEmotion из SuperTweetEval. Модель назначает тексту одну или несколько из 11 меток: гнев, ожидание, отвращение, страх, радость, любовь, оптимизм, пессимизм, грусть, удивление и доверие. Она подходит для анализа эмоциональной окраски коротких публикаций на английском языке. Размер модели — 454,1 млн параметров, контекст — до 514 токенов. Репозиторий содержит веса в формате Safetensors; лицензия — MIT.
Vit-Mature-Content-Detection — модель классификации изображений, созданная PrithivMLmods на основе дообучения google/vit-base-patch16-224-in21k. Она использует архитектуру ViTForImageClassification и содержит 113,2 млн параметров. Модель присваивает изображению одну из пяти меток: anime picture, hentai, neutral, pornography или enticing or sensual; neutral означает безопасный или обычный контент. Модель предназначена для фильтрации изображений в системах модерации контента, родительского контроля, предварительной обработки наборов данных и безопасного поиска. Она принимает изображения и возвращает метку класса, а не генерирует изображения или текст. Карточка указывает лицензию Apache-2.0. Классификация может ошибаться, поэтому модель не следует использовать как единственное основание для модерационных решений; карточка также предостерегает от преследования, стыда и скрытого наблюдения.
chaanks/wav2vec2-small — модель на архитектуре Wav2Vec2, опубликованная пользователем chaanks на Hugging Face. Она предназначена для извлечения признаков из аудиосигналов речи и может использоваться как речевой энкодер в последующих задачах машинного обучения. Модель содержит около 113,3 млн параметров и распространяется в формате Safetensors для PyTorch и Transformers. Основная модальность — аудио; в метаданных указан pipeline feature-extraction. Языковая специализация и длина контекста не определены по доступным данным. Лицензия в доступных источниках не указана.
DeepaPeri/xlm-roberta-base-en-5 — дообученная на неизвестном наборе данных многоязычная XLM-RoBERTa для классификации токенов. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForTokenClassification и принимает текст с контекстом до 514 токенов. Она предназначена для разметки отдельных токенов в тексте. На тестовом наборе указаны loss 0,3224 и F1 0,8310, однако описание задачи разметки, состав набора данных и подробности оценки не приведены. Модель основана на FacebookAI/xlm-roberta-base и распространяется по лицензии MIT.
MIT/ast-finetuned-audioset-14-14-0.443 — модель Audio Spectrogram Transformer (AST), дообученная на AudioSet. Архитектура на основе Vision Transformer применяется к спектрограмме: аудио преобразуется в изображение, которое модель классифицирует по классам AudioSet. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для классификации звуковых событий и подходит для автоматической маркировки аудиозаписей и анализа звуковых сцен. В карточке указаны результаты уровня state of the art на нескольких тестах классификации аудио, но конкретные метрики для этого чекпойнта не приведены. Лицензия — BSD 3-Clause.
Модель для классификации текста, созданная с помощью AutoTrain и дообученная на базе ulisesbravo/autotrain-wlgd2-3sulg. Она построена на архитектуре MPNet с классификационной головой и содержит около 136,7 млн параметров. Модель принимает текст и возвращает метку класса; заявленная задача — text-classification. В README приведены метрики на валидации: accuracy около 0,707 и macro F1 около 0,707. Эти результаты дают ориентир для оценки, но без описания классов и набора данных нельзя определить, для каких именно категорий предназначена классификация. Репозиторий содержит веса в формате safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.