II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейFinBERT Macro Sentiment — англоязычная модель классификации тональности, разработанная на основе ProsusAI/finbert и дообученная на финансовых, макроэкономических и климатических текстах. Это BERT-base с головой классификации последовательностей; в метаданных указано 136,7 млн параметров, а карточка модели сообщает о дообучении на 20 034 примерах из пяти наборов данных. Модель относит текст к положительной, отрицательной или нейтральной тональности и предназначена для анализа финансовых новостей, публикаций в соцсетях, аудиторских материалов, финансовых вопросов и ответов, а также климатических и ESG-раскрытий. В тесте на объединённой выборке карточка указывает accuracy 0,897 и macro F1 0,881; на отдельном наборе заголовков фондовых новостей показатели ниже. Модель обрабатывает каждый текст независимо и не учитывает временной или сущностный контекст. README сообщает об ограничении при обучении в 128 токенов, тогда как метаданные указывают native context 512 токенов; длинные документы следует разбивать на фрагменты. Поддерживается английский язык. Лицензия — Apache-2.0.
HuggingFaceTB/finemath-classifier — классификатор математических рассуждений и дедукции в веб-страницах, разработанный Hugging Face для отбора и курирования математических материалов из веб-данных. Модель дообучена на intfloat/multilingual-e5-small: к энкодеру BERT добавлена регрессионная классификационная голова, а параметры энкодера и эмбеддингов во время обучения были заморожены. Она оценивает полезность страницы для изучения математики по шкале от 0 до 5; порог 3 позволяет преобразовать оценку в бинарную классификацию. Модель обучалась на 1 млн примеров, размеченных Llama 3, и применялась при создании датасета FineMath. В описанной оценке бинарной классификации F1 составил 87%. Модель принимает текст, поддерживает контекст до 512 токенов и имеет 124,3 млн параметров. Лицензия — MIT.
GLiNER2-base-v1-RAMS — модель извлечения информации, дообученная на базе fastino/gliner2-base-v1 для выделения событий в тексте. Она извлекает тип события, триггер и типизированные аргументы; обучающий набор RAMS включает 139 типов событий и 65 ролей аргументов и предназначен для англоязычного многопредложного текста. В README также заявлены задачи извлечения сущностей и отношений, а метаданные относят модель к token classification. На отложенной тестовой выборке F1 для определения типа события составил 0,993, для триггера — 0,935–0,937, а для аргументов — 0,462–0,686 в зависимости от строгой или мягкой оценки. Результат по аргументам заметно ниже, поэтому извлечённые роли могут требовать проверки. Модель опубликована в формате safetensors и использует библиотеку gliner2. Лицензия указана как other; условия лицензии в предоставленных данных не раскрыты.
whr778/gliner2-large-v1-rams — модель извлечения событий из текста, дообученная разработчиком на базе fastino/gliner2-large-v1 с использованием набора RAMS. Она выделяет тип события, его триггер и аргументы с типизированными ролями в нескольких предложениях; карточка также описывает семейство GLiNER2 как систему для извлечения сущностей и отношений и классификации текста. Модель рассчитана на англоязычные тексты и охватывает 139 типов событий и 65 ролей аргументов из RAMS. В слепом тестировании F1 для типов событий составил 0,998, для триггеров — 0,903 строго и 0,907 в расслабленной оценке, для аргументов — 0,444 и 0,697 соответственно. Это указывает на заметно более слабое извлечение аргументов по сравнению с определением событий и триггеров. Модель использует библиотеку gliner2, веса представлены в формате safetensors. Лицензия указана как other; подробные условия следует проверить в репозитории модели и источнике данных RAMS.
Healthcare Brain Procedure Surgery NER — модель Genzeon Platforms для извлечения сведений о хирургических и диагностических процедурах из клинических текстов на английском языке. Это модель токен-классификации на базе Bio_ClinicalBERT с архитектурой BERT и 135,5 млн параметров; она размечает 11 типов сущностей с помощью BIO-тегов и использует правила для извлечения CPT-кодов и дат. Контекст модели — до 512 токенов. Модель предназначена для разбора операционных записей и клинических заметок, учёта процедур, наблюдения за хирургическими устройствами, клинических исследований и поддержки предварительной авторизации. Карточка приводит общую точность F1 0,938, однако отмечает, что обучение в основном опирается на синтетические шаблонные данные, поэтому качество на разнообразных реальных записях может отличаться. Извлечение CPT-кодов не проверяет соответствие кода процедуре; для важных клинических решений рекомендуется проверка специалистом. Лицензия — Apache-2.0.
JanusCoderV-7B — мультимодальная модель для задач на стыке визуального понимания и программирования, разработанная авторами семейства JanusCoder. Она основана на Qwen2.5-VL-7B и дообучена на корпусе JANUSCODE-800K с примерами кода, связанных с визуальным содержимым. Модель принимает изображения и текстовые инструкции и предназначена для генерации кода по описанию или изображению, создания визуализаций данных и интерактивных интерфейсов, а также программного редактирования визуальных эффектов и построения анимаций. В метаданных указана архитектура Qwen2.5-VL, около 7,1 млрд параметров, контекст 128 000 токенов и библиотека Transformers. README приводит результаты на бенчмарках визуально-программных задач, но эти оценки не гарантируют качество для конкретного сценария. Модель распространяется под лицензией Apache-2.0. Карточка не уточняет поддерживаемые естественные языки и языки программирования, поэтому их перечень здесь не приводится.
jdt-fin-roberta-wwm — финансовая языковая модель на базе BERT, опубликованная для применения предобученных моделей в задачах финансовой обработки текста. Это плотная архитектура BERT с 12 слоями, размером скрытого представления 768 и 12 головами внимания; в метаданных указано 129,5 млн параметров и контекст до 512 токенов. Репозиторий использует PyTorch, а README рекомендует загружать модель через BertTokenizer и BertModel. В карточке приведены результаты для распознавания сущностей, извлечения отношений и событий, извлечения показателей и связывания сущностей; однако в Hugging Face модель размечена задачей fill-mask. Модель предназначена для финансовых текстов на китайском языке. Лицензия Apache-2.0.
ania3000/kubert-morph — дообученная модель BERT для классификации токенов, созданная на основе ania3000/kubert-from_multilingual. Она предназначена для присвоения меток отдельным токенам текста; конкретный набор меток и прикладной сценарий в карточке не раскрыты. Модель содержит 205,1 млн параметров, использует архитектуру BertForTokenClassification и принимает последовательности длиной до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В README приведены результаты оценки: accuracy 69,09%, точность целых предложений 14,71% и loss 2,0092; качество зависит от задачи и данных, на которых проводится применение.
labse-hard-part2 — дообученная модель на базе sentence-transformers/LaBSE, созданная автором репозитория Alamin2230. Она предназначена для классификации текстовых последовательностей. Модель использует архитектуру BERT, содержит 498,1 млн параметров и принимает последовательности длиной до 512 токенов. Базовая LaBSE строит эмбеддинги предложений для 109 языков, однако конкретные языки и набор классов этой дообученной модели не описаны. В README приведены результаты на оценочном наборе: F1 0,9894, точность 0,9915, полнота 0,9873, FPR 0,0084 и FNR 0,0127. Данные для обучения и оценки не названы, поэтому эти показатели нельзя переносить на другие наборы данных или сценарии. Модель опубликована в формате safetensors под лицензией Apache-2.0.
LumynaX Doc Table Transformer (detection) — ранний эксперимент AbteeX AI Labs на базе microsoft/table-transformer-detection для обнаружения таблиц на изображениях документов. Модель использует архитектуру Table Transformer на основе DETR, содержит 6,3 млн параметров и работает с библиотекой Transformers. Она предназначена для локального обнаружения областей таблиц в документах перед извлечением их содержимого. В этом выпуске веса исходной модели не изменялись: README описывает интеграцию через маршрутизацию во время выполнения. Это устаревший, более не сопровождаемый исследовательский артефакт, который авторы не рекомендуют для промышленного применения. Репозиторий распространяется по лицензии MIT.
vllm-sr/mmbert-embed-finance — дообученная командой vllm-sr модель Sentence Transformer на базе vllm-sr/mmbert-embed-32k-2d-matryoshka. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Архитектура — энкодер ModernBERT с усреднением токенных представлений; модель содержит около 306,9 млн параметров и принимает последовательности длиной до 32 768 токенов. Модель подходит для семантического поиска и сравнения финансовых текстов, поиска парафраз, кластеризации и классификации текстов. В примерах обучающих данных представлены вопросы и ответы о финансовой отчётности компаний. Модель выдаёт векторы, а не готовые текстовые ответы или метки; в описании лицензия не приводится.
julieou/my_awesome_wnut_model_lrx2 — дообученная на задаче классификации токенов модель на базе DistilBERT, опубликованная на Hugging Face. Она предназначена для присвоения меток отдельным токенам текста, например для извлечения сущностей или разметки последовательностей. Модель использует архитектуру DistilBertForTokenClassification, работает с текстом и имеет контекст до 512 токенов. В README приведены метрики на оценочном наборе: F1 0,4100, точность 0,6255, полнота 0,3049 и accuracy 0,9449. Датасет и схема меток не описаны, поэтому назначение конкретных меток и качество в иных сценариях установить нельзя. Базовая модель англоязычная, а карточка не подтверждает поддержку других языков. Лицензия — Apache-2.0.
Polygraf NER Stage 3 First Model — англоязычная модель распознавания именованных сущностей, разработанная для технической задачи Polygraf Applied NLP / NER. Это дообученная на проверенном вручную наборе данных модель DistilBERT с архитектурой DistilBertForTokenClassification; она размечает текст BIO-тегами для восьми типов сущностей: людей, организаций, мест, дат и времени, продуктов, произведений искусства, профессий и сумм. Модель предназначена для извлечения сущностей из англоязычных текстов, включая новостные материалы; контекст — до 512 токенов. В тестовой выборке Entity F1 составил 0,584, а на десяти вручную размеченных примерах вне основного набора — 0,5376. Это небольшой базовый чекпойнт для экспериментов и прикладных задач с проверкой качества: он склонен чрезмерно предсказывать произведения искусства, пропускать продукты и профессии, путать некоторые категории и фрагментировать многословные сущности. Обучение основано на 506 тренировочных и 127 тестовых записях, поэтому охват ограничен, в частности новостным уклоном данных; вложенные сущности не поддерживаются. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.
Это стандартная модель Flair для разметки частей речи в английском тексте. Она разработана для использования в библиотеке Flair и предсказывает подробные POS-теги для токенов; модель основана на эмбеддингах Flair и архитектуре LSTM-CRF и обучена на OntoNotes. В README указан F1-score 98,19 на OntoNotes. Модель подходит для морфосинтаксической разметки английских текстов в NLP-конвейерах, например для подготовки данных к синтаксическому анализу и другим задачам обработки языка. Для работы требуется библиотека Flair. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
syssec-utd/py315-pylingual-v2-segmenter — модель RoBERTa для классификации токенов, дообученная на syssec-utd/py315-pylingual-v2-mlm на наборе syssec-utd/segmentation-py315-pylingual-v2-tokenized. Она предназначена для сегментации текста с разметкой токенов. В README на оценочном наборе указаны precision 0,9910, recall 0,9917, F1 0,9913 и accuracy 0,9977. Модель содержит 136,3 млн параметров, принимает текстовые последовательности с контекстом до 1026 токенов и распространяется в формате safetensors для Transformers. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.
Question_Builder — дообученная SicariusSicariiStuff модель на базе Meta Llama 3.1 8B, предназначенная для генерации вопросов по коротким фрагментам текста и создания наборов данных. Модель работает как генератор текста, поддерживает диалоговый режим и рассчитана на английский язык. В метаданных указаны 7,5 млрд параметров и контекст до 8192 токенов; доступны варианты FP16 и GGUF. Модель ориентирована на использование через API: ей передают несколько коротких предложений, а она помогает сформировать вопросы для обучающих датасетов. Она не предназначена для ответов на вопросы. Лицензия указана как Llama 3 Community License. README рекомендует детерминированные настройки генерации с repetition penalty 1.2; качество и применимость к длинным текстам не охарактеризованы.
praful1/Qwen-0.6b-pythoncode-instruct — дообученная автором praful1 модель Qwen3 для генерации инструкций и кода на Python. Она создана на основе Qwen/Qwen3-0.6B-Base с использованием TRL и подходит для запросов вроде написания простой функции по описанию на естественном языке. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 508 млн параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Модель можно использовать для генерации фрагментов Python-кода и ответов на запросы о программировании через интерфейс text-generation в Transformers. Карточка показывает пример запроса на создание функции сложения, но не приводит результаты оценки качества или сведения о тренировочных данных. Условия лицензии в предоставленных данных не указаны.
q31p7bsftrphardlam1 — готовая к инференсу модель для генерации кода, полученная дообучением Qwen/Qwen3-1.7B-Base методом supervised fine-tuning. В карточке указано, что это финальный чекпойнт эксперимента q3_1p7b_sft_rp_hard_lam1 на шаге оптимизатора 102; обучение использовало набор qwen3_1p7b_s500_code_sft_data и стратегию replay с параметром lambda 1.0. Модель относится к плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров и принимает текст для авторегрессионной генерации текста, в том числе кода. Нативное окно контекста — 32 768 токенов. Репозиторий использует библиотеку Transformers и формат Safetensors; метаданные также отмечают возможности чата и работы с кодом. Модель предназначена для экспериментов и прикладных задач генерации кода, однако README описывает конкретный экспериментальный чекпойнт на раннем шаге обучения, поэтому качество и устойчивость могут быть ограничены. Лицензия в предоставленных данных не указана.
posttrainllm/qwen3-4b-file-ops-distilled — специализированная плотная языковая модель семейства Qwen3, созданная posttrainllm дообучением Qwen/Qwen3-4B-Instruct-2507 методом дистилляции траекторий. Модель предназначена для многошаговых операций с файлами и каталогами через вызов инструментов: работы с путями и именами, создания, перемещения и удаления файлов, а также навигации по файловой системе. Её следует подключать после того, как маршрутизатор определил задачу как файловую и аргументы можно вывести из запроса. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors с точностью bf16; нативное окно контекста — 262 144 токена. В README заявлены результаты 100% на тесте file-ops hard gate и 95% на отложенном hardgen, при этом результат по задачам вне файловой области снизился с 59,6% до 42,3% относительно исходной модели. Лицензия — Apache-2.0.
Qwen3OIE-4B — модель на основе Qwen3 с 3,7 млрд параметров, дообученная автором репозитория bratao для абстрактивного извлечения открытых отношений (OpenIE) из текстов на португальском языке. Она формирует в JSON тройки с полями ARG0, V и ARG1, пригодные для извлечения отношений из предложений и последующей обработки в информационных системах. Модель использует архитектуру Qwen3ForCausalLM и формат safetensors. Метаданные указывают контекст до 40 960 токенов, однако для задачи OpenIE проверялась конфигурация обучения с длиной последовательности 2 048 токенов. Для запуска доступны Transformers и интеграция с библиотекой portuguese-openie; веса в bfloat16 занимают около 8,1 ГБ. В оценке на небольшом наборе из 100 предложений на португальском языке модель показала perfect-match F1 0,3319 и lexical-match F1 0,5459. Эталонные извлечения были синтетическими и выборочно проверялись вручную, поэтому результаты не гарантируют качество на разговорной, диалектной, специализированной или длинной прозе. Тройки могут быть неполными, дублироваться, содержать ошибки или не соответствовать буквальным фрагментам текста; извлечение не является проверкой фактов. Лицензия — Apache-2.0.
ReflectionCoder-DS-6.7B — диалоговая модель для генерации кода, разработанная авторами проекта ReflectionCoder. Подход ReflectionCoder использует последовательности рефлексии, построенные с учётом обратной связи компилятора, чтобы улучшить однократную генерацию кода. Модель основана на плотной архитектуре Llama и содержит около 6,6 млрд параметров; поддерживает контекст до 16 384 токенов и распространяется в формате Safetensors. Модель предназначена для генерации кода по запросу, в том числе в сценариях, где нужно получить решение за один проход. В README приведены результаты на HumanEval и MBPP для варианта DS-6.7B, однако конкретные языки программирования и результаты для других наборов задач не описаны. В метаданных указан английский язык карточки. Лицензия репозитория — Apache-2.0. README обозначает вариант DS как основанный на DeepSeek, но точный идентификатор базовой модели не приведён. Качество результата зависит от формулировки запроса; README не описывает ограничения по языкам программирования или безопасному выполнению сгенерированного кода.
RoBERTuito-base-cased — предварительно обученная языковая модель семейства RoBERTa для испанских текстов из социальных сетей. Её разработали авторы проекта pysentimiento и обучили по рекомендациям RoBERTa на 500 миллионах твитов. Эта версия сохраняет регистр; также выпущены варианты без учёта регистра и с удалением диакритических знаков. Модель содержит 136,3 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 130 токенов. Она предназначена прежде всего для заполнения пропусков в тексте и может служить основой для дообучения задач анализа пользовательских публикаций, например определения тональности, эмоций, иронии и языка вражды. В оценках авторов семейство RoBERTuito превосходило несколько других испанских предварительно обученных моделей на соответствующих наборах данных; приведённые результаты включают и эту версию cased. Репозиторий содержит веса PyTorch и связан с библиотекой pysentimiento. Лицензия в предоставленных данных не указана.
ivanovsdesign/rubert-base-ru-huawei-sentiment-fine-up — дообученный классификатор текста на архитектуре BERT, опубликованный как результат обучения с помощью AutoTrain. Модель содержит 205,1 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель предназначена для классификации текста. Она дообучена на базе ivanovsdesign/huawei-data-classification; название репозитория предполагает анализ тональности, однако README подтверждает только задачу классификации и не описывает метки или область применения. На валидации указаны accuracy и micro-F1 около 0,635, macro-F1 около 0,480, поэтому качество может различаться между классами. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.
Ha1dir создал модель анализа тональности на основе IndoBERT base, дообучив её для классификации текстов на индонезийском языке. Модель использует архитектуру BERT с примерно 151,6 млн параметров и принимает последовательности длиной до 512 токенов. Она относит текст к одному из трёх классов: положительному, отрицательному или нейтральному. Модель можно применять для анализа отзывов, сообщений и других текстов на индонезийском языке; для загрузки предусмотрена библиотека Transformers. В README приведены высокие метрики на обучении и валидации, однако сведения о составе и размере выборки не приведены, поэтому эти результаты не позволяют оценить качество на других данных. Модель сохранена в формате Safetensors. Условия лицензии в предоставленных данных не описаны.
Модель NYTK для классификации тональности отдельных венгерских предложений и коротких сообщений. Она основана на XLM-RoBERTa base и дообучена на корпусе венгерских твитов Hungarian Twitter Sentiment (HTS). Модель относит текст к одному из пяти классов: от очень негативного до очень позитивного; также предусмотрен нейтральный класс. Это модель XLM-RoBERTa для классификации последовательностей с 305,2 млн параметров. Метаданные указывают контекст до 514 токенов, а карточка рекомендует ограничивать длину последовательности 128 токенами. Репозиторий содержит веса PyTorch, лицензия — MIT. В опубликованном сравнении результат на HTS5 составляет 66,50; карточка также приводит результат 68,99 для huBERT на этом наборе, поэтому превосходство данной модели не заявлено.
SpeechLLM-1.5B — мультимодальная модель Skit AI для анализа аудиореплик в разговоре. Она принимает речь и предсказывает наличие речевой активности, текстовую расшифровку, а также категории пола, возраста, акцента и эмоции говорящего. В карточке описана версия размером 1,5 млрд параметров, дообученная на базе WavLM и TinyLlama с адаптерами; архитектура указана как SpeechLLMModel. В метаданных Hugging Face основной тег задачи — feature-extraction, а файлы представлены в формате safetensors. Модель рассчитана на англоязычную речь. В опубликованных результатах для LibriSpeech указана частота ошибок распознавания слов 11,51% на test-clean и 16,68% на test-other; на Common Voice точность определения возраста составляет 64,98%, акцента — 81,21%, пола — 94,76%. Эти результаты относятся к указанным наборам данных и не гарантируют такую же точность на других записях. Лицензия — Apache-2.0.
SpeechLLM-2B — мультимодальная модель Skit AI для анализа аудио речи в разговоре. Она объединяет аудиоэнкодер HubertX и языковую модель TinyLlama; общий размер модели составляет 2,1 млрд параметров. Модель дообучена на основе этих компонентов с адаптерами и принимает аудио, а также формирует текстовые предсказания о речевом фрагменте. Модель определяет наличие речи, распознаёт её текст, а также классифицирует пол говорящего, возрастную группу, широкий регион акцента и эмоцию. В карточке указаны английский язык и результаты на LibriSpeech и Common Voice; показатели на Common Voice ниже, чем на тестовых наборах LibriSpeech, особенно для распознавания текста. Метаданные Hugging Face задают задачу feature-extraction. Модель распространяется по лицензии Apache-2.0.
Модель Stanza для каталонского языка разработана Stanford NLP и предназначена для лингвистического анализа текста. Stanza предлагает инструменты для обработки текста от токенизации до синтаксического анализа и распознавания сущностей; в карточке Hugging Face эта модель отнесена к задаче классификации токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для анализа каталонских текстов и разметки отдельных токенов в NLP-конвейерах. Карточка не уточняет архитектуру, размер, длину контекста или конкретные ограничения модели.
stanfordnlp/stanza-et — набор моделей для эстонского языка из проекта Stanza, разработанного Stanford NLP. Модели предназначены для лингвистического анализа текста: от обработки исходного текста до синтаксического анализа и распознавания сущностей. В метаданных указана задача token-classification, библиотека Stanza и формат PyTorch; лицензия — Apache-2.0. Модель подходит для разметки эстонского текста в конвейерах NLP. Карточка описывает коллекцию инструментов Stanza в целом и не приводит отдельные характеристики архитектуры, размер или длину контекста.
Модель Stanza для русского языка разработана командой Stanford NLP и предназначена для лингвистического анализа текста. Она входит в набор инструментов Stanza, который обрабатывает текст от базового языкового анализа до синтаксического разбора и распознавания сущностей. В Hugging Face модель классифицирована как token-classification и опубликована в формате PyTorch. Модель подходит для разметки токенов и использования в конвейерах NLP для русского языка. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет размер модели, конкретные типы разметки и длину контекста.