II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейМодель tiantiaf/wavlm-large-categorical-emotion предназначена для классификации эмоций в речи. Она разработана на основе подхода Vox-Profile и использует обучающий конвейер SAILER, занявший первое место в INTERSPEECH 2025 Speech Emotion Challenge. Модель дообучена на MSP-Podcast и не использует транскрипт речи при классификации. Модель принимает аудио и относит речь к одной из девяти категорий: гнев, презрение, отвращение, страх, счастье, нейтральное состояние, грусть, удивление или другая эмоция. В качестве основы используется WavLM Large от Microsoft; веса доступны в формате safetensors. Лицензия — OpenRAIL. Метаданные указывают английский язык, а описание базовой модели характеризует её как предварительно обученную на английской речи.
Alamin2230/xlm-roberta-hard-part2 — дообученная модель классификации последовательностей на базе XLM-RoBERTa Base, опубликованная под лицензией MIT. Она предназначена для присвоения меток тексту; конкретная предметная область, набор меток и обучающие данные в карточке не раскрыты. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForSequenceClassification и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки: F1 0,9872, точность 1,0, полнота 0,9747, FPR 0 и FNR 0,0253. Эти показатели относятся к указанному автором набору оценки, но его состав и методика не описаны, поэтому их нельзя считать гарантией качества на других данных. Базовая модель XLM-RoBERTa поддерживает многоязычный текст; языковая применимость именно этой настройки зависит от неизвестного набора дообучения.
Модель разработана Univalle PLN в рамках практикума по обработке естественного языка и представляет собой дообученную версию XLM-RoBERTa-large для бинарного определения сарказма в испанских текстах. Это плотная трансформерная модель с классификационной головой; в ходе дообучения заморозили основную часть модели и адаптировали последние шесть слоёв энкодера и pooler. Размер модели — 658,7 млн параметров, контекст — до 514 токенов. Модель подходит для классификации испанских высказываний как саркастических или несаркастических, например, для анализа сообщений и комментариев. В README указаны результаты на валидационной выборке: accuracy 93,61% и F1 91,68%; эти показатели не гарантируют аналогичного качества на данных другого домена. Модель распространяется в формате safetensors по лицензии MIT.
AfroXLMR-large-75L — многоязычная модель Davlan для восстановления замаскированных фрагментов текста. Она создана адаптацией MLM модели XLM-R-large на корпусах mC4, Википедии и OPUS, охватывающих 75 языков, широко используемых в Африке, а также четыре языка с большим объёмом ресурсов. Модель основана на архитектуре XLM-RoBERTa, содержит около 658,7 млн параметров и принимает последовательности длиной до 514 токенов. Основная задача — предсказывать пропущенные токены в тексте. Модель подходит для многоязычной языковой обработки, особенно для африканских языков; она также может служить базой для задач, требующих языковых представлений, после соответствующей настройки. Модель распространяется под лицензией MIT.
AutoCatalogAI CLIP Multi-Task Classifier — модель для извлечения атрибутов модных товаров по изображениям. Она использует визуальный энкодер CLIP ViT-Base/32 с отдельными классификационными головами для семи полей: пола, основной категории, подкатегории, типа товара, основного цвета, сезона и назначения. Базовая модель — openai/clip-vit-base-patch32; обучение проводилось на наборе ashraq/fashion-product-images-small с разделением на обучающую, валидационную и тестовую выборки. На тесте из 6611 изображений средняя точность по атрибутам составила 83,4%, средний macro F1 — 65,7%, а exact match по всем атрибутам одновременно — 27,9%. Модель рассчитана на автоматическое заполнение карточек одежды и классификацию изображений товаров; для загрузки требуются пользовательские классификационные головы и код проекта AutoCatalogAI. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.
Matthijsvanhof/bert-base-dutch-cased-finetuned-mBERT — дообученная модель DistilBERT для классификации токенов, созданная на базе distilbert-base-multilingual-cased. Она предназначена для присвоения меток отдельным токенам входного текста; конкретный набор меток и целевой сценарий в карточке не раскрыты. Модель имеет контекст длиной до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки: F1 и точность по полноте составляют 0,7255, accuracy — 0,9758, loss — 0,0898. Датасет и ограничения применения не описаны, поэтому эти метрики нельзя привязать к конкретной задаче или оценить переносимость модели на новые данные.
Stremie/bert-base-uncased-clickbait — модель классификации текста на основе BERT, предназначенная для определения, является ли публикация в Twitter кликбейтом. По README, модель обучена на наборе данных Webis-Clickbait-17 и принимает текст публикации в поле postText. В метаданных указана архитектура BertForSequenceClassification, размер 136,7 млн параметров и контекст до 512 токенов. На тестовых данных автор сообщает оценку F1 около 0,7. Модель подходит для автоматической разметки публикаций и предварительной фильтрации кликбейта, однако качество может быть недостаточным для решений, требующих высокой точности, и отдельно не подтверждено для текстов за пределами Twitter. Условия лицензирования в предоставленных данных не указаны.
Wakaka/bert-finetuned-imdb — модель классификации текста на базе BERT, дообученная на датасете IMDb для определения тональности отзывов о фильмах. Она содержит 135,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт метку класса. На оценочной выборке IMDb указана точность 0,866 и значение функции потерь 0,5591. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для анализа тональности англоязычных отзывов о фильмах и классификации похожих текстов. Её оценка приведена для IMDb; качество на других темах и типах текста может отличаться. В карточке не описаны дополнительные ограничения.
xuancoblab2023/Bert_tinybert-distilled — дообученная для классификации последовательностей модель на базе компактной англоязычной google/bert_uncased_L-2_H-128_A-2. Она содержит 4,4 млн параметров, принимает текст длиной до 512 токенов и выдаёт метки классов. В README приведены результаты оценки: accuracy 0,7973, ROC AUC 0,8745, MCC 0,6019 и PR AUC 0,8517. Набор данных и конкретная схема классификации не описаны. Модель распространяется по лицензии Apache-2.0.
BioLORD-2023-M — мультиязычная модель эмбеддингов компании FremyCompany для представления клинических предложений и биомедицинских понятий. Она основана на XLM-RoBERTa и содержит 305,2 млн параметров; README указывает, что модель получена дистилляцией BioLORD-2023 и дообучена на BioLORD-Dataset и определениях из Automatic Glossary of Clinical Terminology. Модель преобразует предложения, абзацы и фразы в плотные векторы размерностью 768, пригодные для семантического поиска, сравнения сходства и кластеризации. Определения понятий и короткие описания из биомедицинских онтологий помогают сохранять семантические иерархические связи. В README заявлено высокое качество на MedSTS и EHR-Rel-B. Официально поддерживаются английский, испанский, французский, немецкий, нидерландский, датский и шведский языки; контекст — 514 токенов. Модель особенно подходит для медицинских документов, записей электронных медицинских карт и клинических заметок, сохраняя также способность кодировать текст общего назначения. Лицензия указана как other; конкретные условия следует сверить с карточкой модели перед использованием.
Англоязычная модель распознавания биомедицинских именованных сущностей, разработанная Deepak John Reji и Shaina Raza в рамках исследовательской темы по применению ИИ в биомедицине. Она дообучена на базе distilbert-base-uncased на наборе данных Maccrobat и распознаёт 107 типов биомедицинских сущностей в текстах, включая истории болезни и клинические описания. Модель использует архитектуру DistilBERT для классификации токенов и принимает текст длиной до 512 токенов. Подходит для извлечения упоминаний биомедицинских сущностей из англоязычных корпусов и клинических текстов. Лицензия — Apache-2.0.
AeBoPi-0/bird-sql-qwen35-4b-generator — дообученная генеративная модель на архитектуре Qwen3.5-4B, подготовленная как генератор SQL-кандидатов для конвейера BIRD-SQL. Это плотная модель с поддержкой чата в режиме non-thinking; опубликованный артефакт основан на checkpoint-372 и содержит веса в формате safetensors, шаблон чата, токенизатор и конфигурацию генерации. Модель обучена на 16 830 записях SFT, полученных дублированием 8 415 обработанных трасс shell-агента из BIRD-train. Её задача — генерировать варианты SQL для последующего отбора отдельной моделью-селектором. Карточка описывает специализированный сценарий работы с данными BIRD-SQL; сведений о поддерживаемых естественных языках, длине контекста и лицензии в предоставленных источниках нет.
Это экспериментальный чекпойнт языковой модели Qwen3-4B, разработанный автором репозитория agurung. Модель дообучена методом обучения с подкреплением GRPO на базе Qwen/Qwen3-4B-Instruct-2507; согласно карточке, для этого запуска не использовалась предварительная SFT-инициализация. Чекпойнт сохранён на шаге 56 и предназначен прежде всего для генерации кода при решении задач программирования. Обучение использовало бинарную награду за прохождение тестов программы, а также штрафы за усечение ответа и чрезмерную длину. В приведённой оценке на отложенных задачах pass@1 составил 4,2843, pass@8 — 7,4901; это результаты конкретного набора и режима проверки, а не гарантия качества на произвольных задачах. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 3,7 млрд параметров, принимает текст и генерирует текст; контекст — до 262 144 токенов. Файлы представлены в формате safetensors, библиотека загрузки — Transformers. Лицензия в предоставленных данных не описана.
Koichi Yasuoka разработал эту модель на архитектуре DeBERTa-v2 для разметки частей речи в китайском тексте. Она дообучена на базе IDEA-CCNL/Erlangshen-DeBERTa-v2-710M-Chinese и присваивает каждому слову тег UPOS из универсального набора частей речи. Модель предназначена для POS-разметки и разбора зависимостей; метаданные Hugging Face указывают задачу классификации токенов и датасет Universal Dependencies. Модель содержит 930,7 млн параметров, работает с китайским языком и поддерживает упрощённое и традиционное письмо. Родной размер контекста — 512 токенов. Веса доступны в формате PyTorch, лицензия — Apache-2.0. Карточка не уточняет ограничения качества или точный формат вывода разбора зависимостей.
decosaai разработала decosa-cell-pointer-modernbert-base v2 — англоязычный указатель для сопоставления чисел в тексте с ячейками таблиц. Он принимает абзац с помеченными числами и таблицы, в которых значения ячеек скрыты, и определяет строку и столбец, на которые ссылается каждое число; также может вернуть «нет ячейки» или указать операцию и ячейки-операнды для вычисленных чисел. Модель основана на encoder-only ModernBERT-base с архитектурой ModernBertForMaskedLM, содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Репозиторий также содержит вариант v1, который видит значения ячеек; основная модель — value-blind v2. Модель предназначена для этапа привязки чисел к таблицам в проверщиках согласованности клинических отчётов, после чего отдельный код сравнивает число с найденной ячейкой. В тестах на клинических отчётах она показала хорошие результаты, но перенос на финансовую отчётность слабый; модель не проверяет правильность числа сама по себе и не предназначена для клинических, регуляторных или пациентских решений. Лицензия — Apache-2.0.
lyrisha/distilbert-base-finetuned-imdb-sentiment — модель классификации текстов на базе DistilBERT, дообученная на задачу определения тональности отзывов IMDb. Она предназначена для отнесения текста к классам тональности; в README указаны точность 0,9306 и значение loss 0,2441 на оценочном наборе. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метки классов. Максимальная длина контекста — 512 токенов; веса представлены в формате safetensors. Карточка не раскрывает состав обучающих данных и подробности оценки, поэтому результаты нельзя напрямую переносить на другие жанры текстов и распределения данных. Модель выпущена под лицензией Apache-2.0.
abandekar-dev/distilbert-onet — модель классификации текста, созданная дообучением DistilBERT разработчиком Abandekar. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не описаны. Модель использует архитектуру DistilBertForSequenceClassification и формат весов safetensors, работает с контекстом до 512 токенов и основана на distilbert/distilbert-base-uncased. На указанном в README наборе оценки модель показала accuracy 0,7840 и macro-F1 0,7159 при loss 0,6841. В README отмечено, что модель дообучена на наборе данных, названном None, поэтому назначение и переносимость результатов оценить сложно. Лицензия — Apache-2.0.
dlm-code0.6b-exp — экспериментальная модель генерации кода из проекта thunder-fast, созданная на основе предварительно обученной кодовой модели Qwen2. Это дискретная masked-diffusion модель: она генерирует текст последовательными шагами снятия масок при двунаправленном внимании, заполняя окно вывода за 24 шага, а не предсказывает следующий токен авторегрессионно. В основе — плотная архитектура Qwen2 с 24 слоями, размером около 494 млн параметров и контекстом до 32 768 токенов. Модель предназначена для генерации кода по текстовым запросам. Для получения результатов требуется diffusion-декодер с циклом итеративного снятия масок, например runtime проекта thunder-fast; обычная загрузка как причинной Qwen2ForCausalLM не воспроизводит этот режим генерации. Чекпойнт обозначен как экспериментальный и находящийся в разработке. Сведения о лицензии в предоставленных источниках отсутствуют.
Ludo33/e5_General_2026_V2 — дообученная модель на базе intfloat/multilingual-e5-base, опубликованная в формате safetensors и использующая архитектуру XLM-RoBERTa для классификации текста. В карточке указаны взвешенная F1-мера 0,898 и loss 0,2693 на оценочном наборе, но сведения о данных и назначении классов отсутствуют. Модель предназначена для классификации текста; базовая multilingual-e5-base преобразует текст в эмбеддинги и поддерживает многоязычный поиск и сопоставление предложений. Доступный контекст составляет 514 токенов. Лицензия — MIT. Без описания датасета и меток нельзя определить, какие именно категории она предсказывает и насколько результаты применимы к конкретной задаче.
bhadresh-savani/electra-base-emotion — модель классификации текста на основе ELECTRA, предназначенная для определения эмоций в сообщениях. Она обучалась для работы с эмоциональными высказываниями в Twitter; карточка приводит набор данных Twitter-Sentiment-Analysis и результат оценки на тесте с точностью 91,95% и F1 91,90%. Модель содержит 20,4 млн параметров, принимает текст длиной до 512 токенов и выдаёт метку класса эмоции. Модель подходит для анализа эмоциональной окраски коротких сообщений и изучения реакций аудитории в социальных сетях. Доступны веса в форматах PyTorch, TensorFlow и Flax. Лицензия Apache-2.0 разрешает использование и распространение с соблюдением её условий. Результаты оценки относятся к указанным данным и не гарантируют аналогичное качество на других жанрах, языках или распределениях текста.
EmoSense-ID — модель классификации эмоций в текстах на индонезийском языке, разработанная на основе NusaBERT-base. Архитектура — BERT для классификации последовательностей; модель содержит 137,8 млн параметров, принимает текст длиной до 512 токенов и выдаёт категории эмоций по модели Плутчика: ожидание, гнев, отвращение, страх, радость, печаль, удивление и доверие. Модель обучена на индонезийских твитах и предназначена для анализа эмоциональных реакций в социальных сетях. При обучении применялся подбор гиперпараметров с Optuna. Доступна по лицензии MIT. Классификация может быть смещена из-за особенностей обучающих данных; результаты следует интерпретировать с учётом этого ограничения.
abanfalvi/finance-llama-nemotron-embed-1b-v2 — дообученная модель Sentence Transformers на базе nvidia/llama-nemotron-embed-1b-v2, предназначенная для поиска по финансовым документам. Она преобразует текстовые предложения и абзацы в плотные векторы размерности 2048; для сравнения векторов используется косинусное сходство. Архитектура включает двунаправленный Llama-трансформер, усредняющий слой Pooling и нормализацию эмбеддингов. Модель обучена на датасете финансовой отчётности financial-filings-sparse-retrieval-training. Её можно применять для поиска релевантных фрагментов отчётности и сопоставления финансовых запросов с документами. В README указана максимальная длина последовательности 2048 токенов; метаданные каталога указывают базовый контекст 131072 токена, поэтому для этой дообученной модели следует ориентироваться на ограничение карточки в 2048 токенов. Лицензия в предоставленных данных не указана.
Finance Sentiment JA (base) — модель классификации тональности японских финансовых новостей, разработанная bards.ai. Она дообучена на базе японской BERT-модели cl-tohoku/bert-base-japanese на переведённой версии набора Financial PhraseBank и выдаёт одну из трёх меток: положительная, отрицательная или нейтральная тональность. Модель подходит для автоматической оценки тональности новостных заметок и фраз о финансах, например для мониторинга новостного потока или анализа упоминаний компаний и рынков. Архитектура — BERT для классификации последовательностей; размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. В карточке сообщается о macro F1, precision и recall по 0,959 на оценке модели. Модель рассчитана на японский язык и финансовую тематику; результаты на других языках и вне финансового контекста не подтверждены. Распространяется по лицензии CC BY-SA 3.0.
Synthetic PHI Detector — модель Stanford AIMI, дообученная на синтетических клинических шаблонах, полученных из Synthea, для токенной классификации медицинских сущностей. Она размечает три типа сущностей: номера медицинских записей, диагнозы и лекарственные препараты; метки BIO задаются в конфигурации модели. Модель построена на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Она предназначена для поиска клинической информации, требующей проверки при обезличивании медицинских документов. В описанном наборе из 5997 примеров заявлен строгий F1 1,0 для каждого типа и в целом, однако синтетические шаблоны не охватывают все форматы документов, учреждений и идентификаторов. Возможны пропуски и ложные срабатывания; результат не гарантирует соответствие требованиям и требует человеческой проверки и дополнительных средств контроля. Сведения о лицензии в предоставленных источниках отсутствуют.
Fin-MPNET-Base v0.1 — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная для поиска по финансовым документам. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, поиска ответов и кластеризации; особенно ориентирована на финансовые вопросы и retrieval-сценарии, сохраняя часть универсальных возможностей. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на базе sentence-transformers/all-mpnet-base-v2 на более чем 150 тысячах примеров вопросов и ответов по финансовым документам с использованием MNR Loss. Автор сообщает о высоком результате на тесте FiQA, но полная оценка на наборах бенчмарков не завершена; на некоторых нефинансовых задачах качество может немного снизиться. Формат весов — safetensors. Информация о лицензии в предоставленных данных отсутствует.
mnoukhov/gpt2-imdb-sentiment-classifier — дообученная на наборе IMDb модель на базе GPT-2 для классификации тональности отзывов о фильмах. Она использует архитектуру GPT2ForSequenceClassification, работает с текстом и имеет контекст длиной до 1024 токенов. На указанной в карточке оценочной выборке модель показала точность 0,9394 и loss 0,1703; автор сопоставляет её с distilbert-imdb и сообщает о немного лучших результатах по этим двум метрикам. Модель распространяется по лицензии MIT. Оценки относятся к IMDb и сами по себе не подтверждают качество на других темах или типах текста.
granite-geospatial-uki — разработанная IBM геопространственная базовая модель на архитектуре ViT с энкодером, обученным по стратегии Masked AutoEncoder. Она использует архитектуру Prithvi-EO и предназначена для извлечения признаков из многоканальных спутниковых изображений HLS L30 и Sentinel-1 SAR. Модель дополнительно обучена на 16 000 изображениях, охватывающих Великобританию и Ирландию, после предварительного обучения на данных HLS для континентальной части США. Модель принимает восемь каналов: Blue, Green, Red, Narrow NIR, SWIR 1, SWIR 2, VV и VH. Её можно дообучать для сегментации изображений, например, для обнаружения наводнений в Великобритании и Ирландии. Репозиторий распространяется по лицензии Apache-2.0; IBM отмечает, что не обязуется поддерживать или обновлять проект.
indonesian-roberta-base-posp-tagger — модель RoBERTa с 151,8 млн параметров, дообученная w11wo на наборе данных indonlu на основе flax-community/indonesian-roberta-base. Она предназначена для токенной классификации индонезийского текста; название указывает на разметку частей речи (POS-теггинг). Контекст модели — до 514 токенов. На оценочном наборе indonlu модель достигла точности, полноты и F1 0,9625. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT.
QuantFactory/instruction-synthesizer-GGUF — квантизированная версия модели instruction-pretrain/instruction-synthesizer, подготовленная QuantFactory с использованием llama.cpp. Модель создана в рамках проекта Instruction Pre-Training: Language Models are Supervised Multitask Learners, посвящённого масштабируемому дополнению сырых текстовых корпусов парами «инструкция — ответ». README не указывает конкретную архитектуру и количество параметров базовой модели. Модель предназначена для генерации пар «инструкция — ответ» на основе заданного исходного текста. Она может применяться для автоматического создания обучающих данных, расширения сырых корпусов инструкциями, подготовки наборов для supervised fine-tuning и построения доменно-ориентированных языковых моделей. Поддерживается контекстный сценарий работы, а результат выдаётся в текстовом формате со специальными маркерами <QUE>, <ANS> и </END>. В карточке указано, что модель ориентирована на английский язык. К сильным сторонам относятся способность синтезировать данные для множества задач и категорий, а также формат GGUF, рассчитанный на использование с llama.cpp и более эффективный запуск квантизированной модели. Ограничения включают отсутствие в README сведений о размере квантизации, точном контекстном окне, количестве параметров, требованиях к ресурсам и результатах оценки именно этой GGUF-версии. Модель распространяется по лицензии Apache-2.0.
Японская модель для классификации текста по эмоциональным меткам, дообученная автором на базе line-corporation/line-distilbert-base-japanese. В качестве данных для обучения использован WRIME Ver2. Архитектура — DistilBERT с классификационной головой для последовательностей; модель работает с текстом и имеет контекст до 512 токенов. Модель предназначена для определения эмоциональной окраски японского текста, например коротких сообщений и высказываний. Использовать её можно в анализе пользовательских отзывов, сообщений и текстовых корпусов. Модель распространяется по лицензии CC BY-NC-ND 4.0; применимость лицензии к конкретному сценарию следует оценивать с учётом её условий.