II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейЭто исследовательский чекпойнт языковой модели Qwen3-4B, созданный командой agurung с помощью обучения с подкреплением OpenRLHF по алгоритму GRPO. Он основан на Qwen/Qwen3-4B-Instruct-2507 и предназначен для генерации кода, в частности программ для задач, проверяемых автоматическими тестами. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и поддерживает контекст до 262 144 токенов. Чекпойнт сохранён на шаге 80 обучения и показал лучший в данном запуске результат pass@8: 21,3434 на отложенном наборе сложных задач по программированию; pass@1 составил 16,7068. Обучение оптимизировало бинарную корректность кода, а при оценке генерировалось до восьми вариантов решения на задачу. Это промежуточный результат конкретного эксперимента, а метрики не гарантируют качество на других задачах и условиях. Использовать веса можно через Transformers; файлы представлены в формате safetensors. Лицензия в доступных данных не указана.
Это исследовательский чекпойнт Qwen3-4B, дообученный методом обучения с подкреплением GRPO с помощью OpenRLHF. По README, обучение применяло сигнал бинарной корректности кода и проводилось на задачах программирования, которые исходная модель решала редко; указано, что чекпойнт показал лучший в данном запуске pass@8. Модель предназначена для генерации программ и попыток решения задач по тестам. Она основана на Qwen/Qwen3-4B-Instruct-2507, имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 262 144 токенов. Репозиторий содержит веса safetensors и рассчитан на загрузку через Transformers. Результаты README относятся к конкретному набору задач и оцениванию с восемью генерациями на проблему; они не гарантируют сопоставимого качества на других задачах. В обучении использовались штрафы за усечение и за ответы вблизи лимита, а генерация ограничивалась 4096 новыми токенами. Лицензия в предоставленных данных не указана.
hananour/darija-ner — модель токенной классификации, разработанная Хананой Нур Муссой для распознавания именованных сущностей в марокканском диалекте арабского языка (даридже). Это BERT-модель с 162,4 млн параметров, обученная на датасете DarNERcorp; максимальная длина контекста — 512 токенов. Модель предназначена для выделения сущностей в текстах на даридже и может использоваться для разметки и анализа таких текстов. В README приведены результаты F1: 66,06% на DarNERcorp_test и 70,06% на MixedNERcorp_test. Модель поддерживает арабский язык; формат весов — PyTorch. Лицензия в предоставленных данных не указана.
Streaming Sortformer Diarizer 4spk v2.1 — модель NVIDIA для потоковой диаризации речи, то есть определения моментов, когда говорят разные участники разговора, и отнесения речевых фрагментов к говорящим. Она предназначена для онлайн-обработки аудиозаписей и может использоваться в голосовых агентах и конвейерах анализа разговоров на базе NVIDIA NeMo. Модель сочетает 17-слойный энкодер NEST на основе Fast-Conformer и 18-слойный Transformer с размером скрытого слоя 192. Кэш Arrival-Order Speaker Cache хранит акустические представления уже обнаруженных говорящих; модель рассчитана максимум на четыре голоса. В README указана работа с длинными записями, но качество может снижаться на очень длинных аудио. Модель обучалась преимущественно на англоязычных наборах данных. Лицензия в метаданных обозначена как other; конкретные условия следует проверить на странице модели.
hezarai/distilbert-fa-sentiment-dksf — модель классификации текста, опубликованная Hezar AI и дообученная на базе hezarai/distilbert-base-fa. Она предназначена для определения тональности персоязычного текста. Карточка Hugging Face относит её к задачам Text Classification и указывает персидский язык. Модель доступна в формате PyTorch и связана с библиотекой Hezar. Доступные сведения не подтверждают число параметров, длину контекста, точность или конкретный набор классов тональности. Условия лицензии в использованных источниках не установлены.
Многоязычный классификатор токсичности от TextDetox, созданный дообучением Glot500 на бинарной задаче классификации токсичности с использованием датасета textdetox/multilingual_toxicity_dataset. Модель построена на архитектуре XLM-RoBERTa для классификации последовательностей и содержит 421,3 млн параметров. Модель предназначена для определения токсичности текста на 15 языках. В README приведены оценки F1 для английского (0,9071), русского (0,9022) и украинского (0,9075); модель можно применять для фильтрации пользовательских сообщений и анализа текстовых корпусов. Максимальный контекст — 514 токенов. Весовые файлы доступны в формате Safetensors, для загрузки указана библиотека Transformers. Лицензия — OpenRAIL++; условия использования следует сверять с её текстом.
Improved-Arabert-twitter-sentiment2 — арабоязычная модель классификации текста, созданная дообучением aubmindlab/bert-base-arabertv02-twitter. Она предназначена для классификации коротких сообщений, в частности постов в Twitter, и может использоваться для определения тональности арабоязычных текстов. Модель построена на BERT, содержит 162,4 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: accuracy 0,8759 и loss 0,4308, однако набор данных, метки классов и методика оценки не описаны. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных источниках.
Это дообученная языковая модель shuddhay2630 на архитектуре Llama 3.2, созданная на базе unsloth/Llama-3.2-3B-Instruct-bnb-4bit с помощью Unsloth и библиотеки Hugging Face TRL. Модель содержит 3,2 млрд параметров, принимает текст и генерирует текст; поддерживает диалоговый режим и интерфейс вызова инструментов. В метаданных указан контекст до 131 072 токенов и английский язык. Название репозитория указывает на SQL-направленность, однако README не описывает обучающие данные, точные сценарии работы с SQL или качество на таких задачах. Модель распространяется по лицензии Apache-2.0.
Модель khadija69/mdebertaV3_BIES_stem_1K_5 — дообученная версия khadija69/mdebertaV3_BIES_stem_1K_4 для классификации токенов. Она использует архитектуру DeBERTa V2 с головой DebertaV2ForTokenClassification, содержит 306 млн параметров и принимает последовательности длиной до 512 токенов. Репозиторий предоставляет веса в формате TensorFlow. Модель предназначена для присвоения меток отдельным токенам текста; конкретная схема разметки и область применения в карточке не описаны. В README указаны результаты пятой эпохи: точность 0,6041 на обучающей и 0,5769 на валидационной выборке. Модель распространяется по лицензии MIT.
mitre-bert-base-cased — модель классификации последовательностей на архитектуре BERT, дообученная автором репозитория на наборе данных, обозначенном как None. Она предназначена для классификации текста. Модель содержит 136,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. В карточке приведены результаты оценки: accuracy 0,6994 и loss 1,0145. Назначение классов, состав обучающих данных и подробные ограничения не описаны. Модель основана на google-bert/bert-base-cased и лицензирована по Apache-2.0.
Jeevesh8/multiberts_seed_0_ft_2 — дообученная модель семейства MultiBERTs на базе BERT, опубликованная пользователем Jeevesh8 и основанная на чекпойнте MultiBERTs от Google Research. Модель предназначена для классификации текста и загружается через Transformers как text-classification; конкретный набор меток и обучающий датасет этого чекпойнта в доступных источниках не определены. Модель имеет около 136,7 млн параметров и поддерживает контекст до 512 токенов. Архитектура BERT использует двунаправленное представление текста; базовое семейство MultiBERTs обучалось преимущественно на английских данных. Модель подходит для прикладной классификации предложений или документов с фиксированными классами, но не предназначена для генерации текста. Лицензия конкретного чекпойнта в доступных данных не установлена.
MyAwesomeModel — модель на базе архитектуры BERT, опубликованная для библиотеки Transformers и реализованная на PyTorch. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, поэтому основное назначение модели — получение векторных представлений текста для последующего анализа и машинного обучения. В README также заявлены улучшенные способности к рассуждению, пониманию языка, генерации кода, суммаризации, диалогу, переводу и function calling, однако эти характеристики не согласуются с указанным pipeline-тегом feature-extraction и не сопровождаются подробностями об архитектуре, размере или процедуре обучения. Модель можно рассматривать для экспериментов с извлечением признаков и задачами, где требуются текстовые эмбеддинги. Модель распространяется по лицензии MIT. В доступных материалах отсутствуют подтверждённые сведения о разработчике, поддерживаемых естественных языках, длине контекста и количестве параметров.
Dnidof/NER-MEDDOCAN — модель RoBERTa для распознавания и разметки персональных данных в испанских медицинских документах. Она дообучена на базе PlanTL-GOB-ES/bsc-bio-es для задачи MEDDOCAN, посвящённой обезличиванию клинических записей: разметка упоминаний защищённой медицинской информации помогает находить фрагменты, которые следует удалить или заменить перед использованием документов в исследованиях по обработке естественного языка. Модель имеет 151,8 млн параметров и контекст до 514 токенов; принимает текст и выдаёт метки для токенов. В карточке не приведены численные результаты качества. Лицензия в доступных данных не указана.
Модель bishaldpande/Ner-xlm-roberta-base — модель распознавания именованных сущностей в тексте на непальском языке, созданная дообучением XLM-RoBERTa Base на датасете Everest NER. Она подходит для извлечения и разметки сущностей в непальских текстах. Модель построена на архитектуре XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Многоязычная базовая модель поддерживает более 100 языков, однако это дообучение предназначено для NER на непальском языке. Веса доступны в форматах PyTorch и safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
NeuCodec — лёгкий нейронный аудиокодек для речи, разработанный Neuphonic. Он кодирует речь в компактные токены и восстанавливает аудио; модель предназначена для подготовки речевых данных и обучения высококачественных моделей преобразования текста в речь и SpeechLM. Кодек использует конечное скалярное квантование (FSQ) с одной кодовой книгой и скоростью около 0,8 кбит/с: 50 токенов в секунду по 16 бит на токен. На вход подаётся аудио с частотой 16 кГц, декодер выдаёт аудио с частотой 24 кГц. FSQ-кодирование также рассчитано на устойчивость к битовым ошибкам в ненадёжных и шумных каналах. По заявлению разработчика, потери при восстановлении почти неслышны; кодек позволяет существенно сжимать речевые датасеты и снижать требования к вычислениям при обучении. Модель основана на развитии X-Codec2.0 и доступна в форматах PyTorch и Safetensors. Выпущена под лицензией Apache-2.0, допускающей коммерческое использование.
OpenCodeReasoning-Nemotron-14B — языковая модель NVIDIA на архитектуре Qwen2.5-14B-Instruct, дообученная на наборе OpenCodeReasoning для рассуждений и генерации кода. Обучающий набор включает задачи соревновательного программирования и ответы, сгенерированные DeepSeek-R1. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Она предназначена для решения задач по программированию, написания кода и построения рассуждений при работе с алгоритмическими задачами. Архитектура — плотный декодерный Transformer с 14 млрд параметров; модель доступна в формате Safetensors и рассчитана на запуск с Transformers, NeMo или vLLM, с оптимизацией для NVIDIA GPU. Модель выпущена NVIDIA в 2025 году и распространяется по лицензии Apache-2.0 для коммерческого и некоммерческого использования. Карточка приводит результаты на бенчмарках программирования, но качество может различаться в зависимости от задачи и среды выполнения. Указанная специализация на коде не гарантирует корректность сгенерированных программ.
Openn_binary — англоязычная модель классификации текста, созданная дообучением microsoft/deberta-v3-base. Она предназначена для отнесения текста к классам; конкретные метки и прикладной сценарий в карточке не раскрыты. Модель построена на архитектуре DeBERTa-v2, содержит 211,6 млн параметров и принимает контекст длиной до 512 токенов. В приведённой оценке на тестовом наборе указаны accuracy 0,67, precision 0,6977, recall 0,5985, F1 0,6443 и AUC 0,7168. Данные для обучения обозначены как None, поэтому воспроизвести результаты или определить предметную область по карточке нельзя. Распространяется по лицензии MIT.
Модель Nhoseinnia/parsBERT_text_emotion_classification — классификатор эмоций в текстах на персидском языке, созданный на основе предварительно обученной ParsBERT. Это плотная модель семейства BERT с головой классификации последовательностей, содержащая 190 млн параметров и принимающая текст длиной до 512 токенов. Для обучения использовано 5 558 примеров из набора SeyedAli/Persian-Text-Emotion, для тестирования — 1 399 примеров с разметкой по шести классам эмоций. Модель предназначена для автоматической разметки эмоциональной окраски персидских текстов. Распространяется по лицензии MIT.
presentation_sentiment_1234567 — модель классификации текста, созданная дообучением distilbert-base-uncased на наборе данных tweet_eval. Она предназначена для отнесения коротких текстов, в частности сообщений в стиле твитов, к классам настроения или тональности. На оценочном наборе указана метрика F1 0,7183. Модель использует архитектуру DistilBERT и принимает текст длиной до 512 токенов. Модель опубликована под лицензией Apache-2.0. Карточка не уточняет классы тональности, языки данных и ограничения применимости; результаты оценки не гарантируют качество на других типах текстов.
PtVId — модель классификации текста, разработанная авторами репозитория liaad/PtVId путём дообучения BERT-Large на наборе данных PtBrVId. Она предназначена для отнесения текстов на бразильском португальском к классам, предусмотренным этим набором данных; README не уточняет сами метки и прикладной сценарий классификации. Модель использует архитектуру BERT для классификации последовательностей, содержит 433,2 млн параметров и принимает текстовый контекст длиной до 512 токенов. Репозиторий распространяет веса в формате safetensors; модель можно загрузить через transformers.pipeline. Лицензия — MIT. Карточка не сообщает метрики качества и подробности об ограничениях классификации, поэтому перед применением в конкретном сценарии следует проверить ожидаемые метки и качество на собственных данных.
Montalte/qwen4b-code-nothink-taskvector — объединённая модель на архитектуре Qwen3, созданная Montalte для экспериментов по переносу навыков между математикой и программированием. В README указано, что в качестве основы использована Qwen/Qwen3-4B-Base, а в веса перенесён task vector специализированной модели modrill/code-nothink-q4b-20260908. Метаданные описывают модель как плотную языковую модель с 3,7 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и кода в диалоговом формате; среди заявленных возможностей также указан интерфейс вызова инструментов. Метаданные указывают язык программирования, но не называют поддерживаемые естественные языки. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README представляет модель как экспериментальный артефакт переноса навыков, поэтому качество на конкретных задачах не следует считать гарантированным.
Модель Hidden-States/roberta-base-goemotions разработана Subinoy Bera и Arnab Karmakar и дообучена на базе RoBERTa-base для многометочной классификации эмоций в англоязычном тексте. Она предсказывает категории таксономии GoEmotions: 27 эмоций и нейтральную метку. Гибридная цель обучения сочетает контрастивное обучение на сходстве с классификационной функцией потерь; размер модели — 151,8 млн параметров, контекст — до 514 токенов. Модель предназначена для анализа коротких и средних текстов: публикаций в соцсетях, комментариев, обсуждений, отзывов и реплик диалога. Её можно запускать локально, в том числе на CPU; для текстового анализа она выдаёт оценки по категориям эмоций. В README приведены Macro-F1 0,56 и Micro-F1 0,62 на тестовой выборке GoEmotions. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Она не предназначена для мультиязычных или мультимодальных данных и не предсказывает эмоции за пределами 28 категорий GoEmotions. Результаты могут отражать смещения датасета и субъективность разметки; модель не проверена для критически важных применений, а её предсказания следует считать приблизительными сигналами.
airzipm/sentiment-analysis-roberta — модель классификации тональности на базе RoBERTa, дообученная автором airzipm от roberta-base. Она относит текст к одному из трёх классов: отрицательная, нейтральная или положительная тональность. Модель предназначена для анализа отзывов о фильмах и ресторанах, коротких высказываний и публикаций в Twitter. В README указаны более 200 000 обучающих примеров из нескольких корпусов; для проверки приведены точность 0,8239 и macro F1 0,7827. Модель содержит 151,8 млн параметров, работает с текстом и имеет нативный контекст длиной 514 токенов. В метаданных указан английский язык и лицензия Apache-2.0. Результаты на реальных текстах могут отличаться от приведённых метрик, особенно для других жанров, языков и распределений данных.
Карточка модели StanfordAIMI/stanford-deidentifier-only-i2b2 на Hugging Face совпадает с карточкой StanfordAIMI/stanford-deidentifier-with-radiology-reports-and-i2b2, поэтому описание составлено по ней. Модель StanfordAIMI предназначена для автоматического выявления персональных идентификаторов в радиологических и биомедицинских документах с помощью разметки последовательности токенов. Она разработана Stanford AIMI и обучена на разных радиологических и биомедицинских текстах; авторы указывают, что целились в точность, подходящую для производственного применения. Модель построена на архитектуре BERT и содержит 136,7 млн параметров. Она принимает текст на английском языке, работает с контекстом до 512 токенов и возвращает метки для токенов, что позволяет находить фрагменты, подлежащие деидентификации. Модель можно применять в конвейерах обезличивания радиологических заключений и других биомедицинских документов перед их хранением, обменом или исследовательским анализом. Репозиторий использует формат PyTorch и лицензию MIT. README ссылается на сопутствующую публикацию, но не приводит метрики качества или подробности схемы меток.
Recorded Future совместно с AI Sweden разработали шведскую модель распознавания именованных сущностей на базе KB/bert-base-swedish-cased, дообученной на текстах из интернет-источников и форумов. Это BERT для токенной классификации с 151,9 млн параметров и контекстом до 512 токенов. Модель выделяет в шведском тексте местоположения, организации, персон, национальности, религии и титулы. На тестовых данных из той же предметной области общий F1 составил 0,92; для неродного шведского текста качество не определено, такие входы считаются вне домена. Для работы нужны Transformers версии 4.3.3 или новее и Torch 1.8.0 или новее. Лицензия — MIT.
Maple728/TimeMoE-200M — модель временных рядов семейства Time-MoE, разработанная авторами работы «Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts». Репозиторий содержит веса модели с архитектурой mixture of experts для прогнозирования временных рядов; в метаданных указано 113,2 млн параметров и контекст 4096 токенов. Модель предназначена для прогнозирования будущих значений по последовательностям временных рядов и может использоваться в задачах анализа данных, меняющихся во времени. README отсылает к GitHub проекта за подробностями применения, но не описывает конкретные сценарии и показатели качества. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.
Timer-Base-84M — однофакторная модель временных рядов, опубликованная командой THUML. Это авторегрессионный Transformer с архитектурой decoder-only, обученный на 260 млрд временных точек; в версии 83,9 млн параметров, 8 слоёв и длина патча 96. Модель предназначена для генеративного прогнозирования временных рядов без дообучения (zero-shot), включая проверку на наборах TSLib. Модель принимает числовой временной ряд и предсказывает его будущие значения. В README указана длина контекста до 2880 точек, тогда как метаданные каталога указывают нативный контекст 10 000 токенов. Репозиторий использует библиотеку timer и формат safetensors; лицензия — Apache-2.0. README отмечает, что качество модели ещё можно улучшать.
vibert-capitalization-punctuation — дообученная модель viBERT для восстановления пунктуации и регистра во вьетнамском тексте. Она принимает текст в нижнем регистре без пунктуации и предсказывает заглавные буквы, специальные варианты написания слов и знаки препинания: точку, запятую, двоеточие и вопросительный знак. Модель предназначена для постобработки результатов распознавания речи и других текстов, в которых утрачены пунктуация и исходный регистр, а также для дальнейшего дообучения на текстах конкретной области. Обучение проводилось на 5,6 млн образцов вьетнамских отзывов из OSCAR-2109. В README указаны оценки F1 0,82 для точки, 0,89 для восстановления заглавных букв и 0,88 для сложных вариантов капитализации, например YouTube и MobiFone. Это модель токенной классификации на архитектуре BERT, представленная в формате PyTorch. Карточка описывает применение для общего вьетнамского языка и заявляет обработку текстов произвольного размера. Лицензия — CC BY-SA 4.0.
Карточка модели shacharu/wav2vec2-adult-child-cls на Hugging Face совпадает с карточкой bookbot/wav2vec2-adult-child-cls, поэтому описание составлено по ней. Wav2Vec2 Adult/Child Speech Classifier — модель классификации аудио на основе архитектуры wav2vec 2.0, дообученная Wilson Wongso на закрытом наборе записей речи взрослых и детей. Она принимает аудиозапись и относит её к одному из этих классов. Модель содержит 113,3 млн параметров по метаданным Hugging Face; для обучения использовались PyTorch и вычисления на Tesla P100. В README указана точность 95,80% и F1 0,9618 на наборе Adult/Child Speech Classification. Модель может подойти для автоматической сортировки речевых записей по возрастной категории говорящего. Результаты могут зависеть от состава и условий записи данных; разработчик отдельно предупреждает о возможном влиянии смещений из предварительного обучения. Лицензия — Apache-2.0.
Whisper Telugu Small — модель распознавания речи на телугу, разработанная на основе openai/whisper-small и дообученная в рамках Whisper fine-tuning sprint. Она предназначена для преобразования аудиозаписей на телугу в текст, в том числе для оценки и транскрибирования речи из корпусов и записей на индийских языках. Модель использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Для обучения использовались несколько открытых корпусов распознавания речи, включая CSTD IIIT-H, ULCA, Shrutilipi, корпус Microsoft для индийских языков, Google Fleurs и Babel. В карточке указаны реализации PyTorch и Flax. Модель распространяется по лицензии Apache-2.0. Модель специализирована на телугу; качество на других языках и в акустических условиях, отличающихся от обучающих данных, не подтверждено. Карточка не приводит количественных показателей качества.