II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейfacebook/wav2vec2-base — базовая модель Facebook на архитектуре wav2vec 2.0 с 113,3 млн параметров, предварительно обученная на аудиоречи без текстовой разметки. Она принимает речь с частотой дискретизации 16 кГц и обучает представления аудиосигнала с помощью маскирования скрытых представлений и контрастивной задачи. Модель служит основой для систем распознавания речи после добавления токенизатора и дообучения на размеченных аудиозаписях. Такой подход рассчитан на сценарии, где нужно использовать ограниченный объём транскрибированной речи. Репозиторий содержит веса PyTorch; в карточке указан английский язык и датасет LibriSpeech ASR. Это базовая модель предобучения, а не готовая система распознавания: без токенизатора и дообучения на размеченных данных она не выдаёт транскрипцию. Лицензия — Apache-2.0.
LeBenchmark/wav2vec2-FR-3K-base — предварительно обученная модель семейства wav2vec 2.0, выпущенная проектом LeBenchmark. Это базовая архитектура Wav2Vec2Model с 113,3 млн параметров, обученная на 2,9 тыс. часов французской речи, включая спонтанную, чтение и радиовещание. Модель извлекает контекстные речевые представления из аудио и предназначена для последующего дообучения или использования как замороженного энкодера в задачах обработки речи. Извлечённые признаки можно применять в системах распознавания речи, распознавания говорящего и разделения источников звука. Репозиторий содержит веса PyTorch и Safetensors; модель распространяется по лицензии Apache-2.0. Для распознавания речи требуется downstream-модель или дообучение, а авторы предупреждают, что результаты ASR с CTC не следует считать гарантированно передовыми; доступность некоторых исходных корпусов может быть ограничена.
Модель wav2vec2-large-english-TIMIT-phoneme_v3 разработана на основе facebook/wav2vec2-large и дообучена для распознавания речи на корпусе TIMIT. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует речь в последовательность фонем; размер модели составляет 402,7 млн параметров. На тестовой части TIMIT указаны значения CER 0,0987 и loss 0,3697. Модель подходит для фонемной транскрипции английской речи, особенно в сценариях, близких к записям корпуса TIMIT. Лицензия — Apache-2.0.
WavLM-Base — базовая модель Microsoft для извлечения речевых признаков. Это плотная Transformer-архитектура семейства WavLM с 113,3 млн параметров, созданная на основе подхода HuBERT и предварительно обученная на 960 часах англоязычной речи из LibriSpeech. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт речевые представления; токенизатора у неё нет. Модель предназначена для дальнейшей настройки под задачи обработки речи, включая распознавание речи и классификацию аудио. Она сохраняет информацию о содержании речи и характеристиках говорящего, поэтому её представления также могут быть полезны в задачах, связанных с голосом. Для распознавания речи нужны токенизатор и дообучение на размеченных текстовых данных; готовой моделью распознавания WavLM-Base не является. Карточка сообщает о хороших результатах на бенчмарке SUPERB. Разработчик — Microsoft. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Модель wavlm-bert-fusion-s-emotion-russian-resd разработана для распознавания эмоций в русской речи. Это мультимодальный классификатор, который совместно анализирует аудиосигнал и его текстовую расшифровку: аудиоветвь основана на WavLM/wav2vec2, дообученной для русского распознавания речи, а текстовая — на DeepPavlov/rubert-base-cased. Модель содержит 504 млн параметров и принимает монофоническое аудио с частотой 16 кГц и текст произнесённой реплики. Она относит высказывание к одному из семи классов: гнев, отвращение, энтузиазм, страх, счастье, нейтральное состояние или грусть. Обучение проводилось на датасете Aniemore/resd. На тестовой выборке RESD модель показала macro-F1 0,794, однако результаты на подкастах и наборе CAMEO существенно ниже. Модель подходит для анализа эмоциональной окраски русских реплик, когда доступна расшифровка речи. Главные ограничения связаны с обучением на сбалансированной постановочной речи: на спонтанной речи модель часто переоценивает эмоциональные классы. Она рассчитана только на русский язык, семь заданных классов и отдельные реплики; перед применением на собственных данных рекомендуется оценить качество и откалибровать вероятность нейтрального класса. Лицензия — MIT.
wavlm-emotion-russian-resd — модель распознавания эмоций в русской речи, разработанная Aniemore. Это дообученная на датасете Aniemore/resd модель jonatasgrosman/exp_w2v2t_ru_wavlm_s363 на архитектуре WavLM с классификационной головой. По метаданным, модель содержит 402,7 млн параметров и использует веса PyTorch в формате Safetensors. Модель принимает монофоническую аудиозапись с частотой 16 кГц и относит речь к одному из семи классов: гнев, отвращение, воодушевление, страх, счастье, нейтральное состояние или грусть. Она предназначена для распознавания эмоций в отдельных русскоязычных речевых фрагментах; в тесте на RESD показала macro-F1 0,8026. Качество заметно зависит от типа аудио: RESD содержит сбалансированную актёрскую речь, тогда как на спонтанной речи из подкастов результаты существенно ниже, а эмоциональные классы переоцениваются. Для реальных записей рекомендуется проверять качество на собственных данных и калибровать оценку нейтрального класса. Лицензия модели — MIT.
Модель tiantiaf/wavlm-large-msp-podcast-emotion-dim — дообученная версия WavLM Large, созданная для классификации эмоциональных характеристик речи. Она реализует подход к оценке эмоциональных измерений из бенчмарка Vox-Profile и использует речевую систему SAILER, занявшую первое место в INTERSPEECH 2025 Speech Emotion Challenge. Для прогнозирования модель использует аудио без транскрипта. На выходе — три оценки от 0 до 1: возбуждение (от спокойного до активного состояния), валентность (от негативного до позитивного) и доминирование (от слабого до сильного состояния). Модель обучена на данных MSP-Podcast и может быть полезна для анализа эмоций в подкастах и другом интернет-контенте. Разработчик предупреждает, что прогнозы могут зависеть от содержания речи. Лицензия — OpenRAIL.
Модель tiantiaf/whisper-large-v3-msp-podcast-emotion-dim — модель классификации эмоций в речи, разработанная на основе Whisper large-v3 и обученная на данных MSP-Podcast. Она анализирует аудио без использования транскрипта и выдаёт три оценки от 0 до 1: возбуждение (от спокойного до активного состояния), валентность (от отрицательной до положительной) и доминантность (от слабого до сильного состояния). Модель предназначена для исследования и анализа эмоциональных характеристик речи, в том числе в подкастах и другом онлайн-контенте. В описании указано, что использован подход SAILER — решение с лучшим результатом в Speech Emotion Challenge на INTERSPEECH 2025; модель также связана с исследованием Vox-Profile. Обучение на MSP-Podcast может приводить к чувствительности предсказаний к содержанию аудио, что следует учитывать при интерпретации оценок. Репозиторий содержит веса в формате safetensors. Лицензия — OpenRAIL.
CMB-ClimateModernBERT/A_S_CX_LRD — англоязычная encoder-only модель семейства ModernBERT, разработанная в рамках проекта ClimateModernBERT. Это чекпойнт masked language model на 149 млн параметров, полученный продолжением предобучения answerdotai/ModernBERT-base на академических и синтетических климатических текстах. Модель поддерживает контекст до 8192 токенов и распространяется в формате Safetensors для Transformers. Модель предназначена для исследований в области NLP о климате: кодирования текстов, а также дообучения под классификацию, многометочную разметку и поиск по корпоративной климатической отчётности, политическим документам, научным публикациям и новостям. В README сообщается средний F1 74,5 на девяти климатических бенчмарках; оценка проводилась после дообучения для отдельных задач. Для общего применения авторы рекомендуют другую, объединённую модель семейства с более высоким результатом. Модель принимает текст и предсказывает замаскированные токены; сама по себе она не является чат-ботом и не следует инструкциям. Она рассчитана только на английский язык. Оценки не гарантируют фактическую точность климатических утверждений, а влияние синтетических данных зависит от задачи. Условия лицензии в предоставленных сведениях не описаны.
AuthorityRespect_continuous — англоязычная модель классификации текста, созданная дообучением microsoft/deberta-v3-base. Она выдаёт непрерывную оценку по тексту, связанную с характеристиками authority и respect; в README приведены метрики RMSE, MAE и корреляции на оценочном наборе. Модель построена на архитектуре DeBERTa-v3-base, содержит 211,6 млн параметров и рассчитана на входы длиной до 512 токенов. Модель подходит для автоматической оценки текста по шкале authority/respect и для экспериментального анализа таких характеристик в корпусах. README не описывает датасет, схему оценивания и предполагаемое применение подробно, поэтому интерпретацию результатов следует проверять на целевых данных. Лицензия — MIT.
mokawa3018/cmj-chinese-aigc-text-detector — дообученный классификатор китайского текста, предназначенный для вспомогательного определения, написан ли текст человеком или сгенерирован ИИ. Модель разработана на архитектуре BERT с классификационной головой, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Для запуска доступны веса PyTorch и ONNX. Модель обучена на сбалансированной китайской выборке из текстов HC3-Chinese и текстов, созданных несколькими семействами генеративных моделей. На тесте HC3-Chinese указана точность 91,84%, доля обнаружения ИИ-текстов 92,78% и доля ложных срабатываний на человеческих текстах 8,84%. Её можно использовать как вспомогательный сигнал при проверке китайских текстов, но выводы модели вероятностны. Качество может снижаться на новых темах и генераторах, а также зависеть от длины текста и стиля запроса. В карточке отмечены более слабые результаты на данных nlpcc_dbqa и необходимость дополнительной проверки юридических и финансовых текстов. Модель не следует использовать как единственное основание для санкций или решений с высокими последствиями. Указана лицензия Apache-2.0; карточка рекомендует отдельно проверить условия upstream-модели, кода и данных для конкретного сценария использования.
dccuchile/distilbert-base-spanish-uncased — испаноязычная языковая модель семейства DistilBERT от DCC UChile. Она предназначена для заполнения пропусков в тексте: модель оценивает подходящие варианты вместо маскированного токена. Карточка Hugging Face показывает архитектуру DistilBertForMaskedLM и использование корпуса large_spanish_corpus; модель доступна в формате PyTorch и рассчитана на контекст до 512 токенов. Модель принимает текст на испанском языке и предсказывает текстовый токен для пропуска. Она подходит для подстановки слов и анализа контекста в испанских фразах. В предоставленной карточке не приведены сведения о лицензии и численном размере модели.
Модель tbosse/distilbert-base-uncased-finetuned-pos разработана как дообученная версия distilbert-base-uncased для разметки частей речи в тексте. Она использует архитектуру DistilBERT и решает задачу классификации токенов на данных CoNLL-2003. Контекст модели составляет до 512 токенов. Модель предназначена для присвоения словам текстовой последовательности меток частей речи. В README для оценочной выборки указаны точность 0,9246 и F1 0,9126. Она может служить основой для анализа грамматической структуры англоязычных текстов; описание не содержит сведений о других сценариях применения. Лицензия — Apache-2.0.
Модель amnesiackid/distilhubert-finetuned-ravdessplus — дообученная версия компактной речевой модели DistilHuBERT от NTU, созданная для классификации аудио. Она содержит 18,9 млн параметров и использует архитектуру HuBERT с классификационной головой; веса опубликованы в формате safetensors. Базовая DistilHuBERT предназначена для извлечения речевых представлений из аудио с частотой 16 кГц. Модель подходит для присвоения аудиозаписям классов в задачах распознавания эмоций или других характеристик речи; в README приведены точность 0,8403 и loss 0,7436 на оценочном наборе. Название указывает на связь с RAVDESS+, но README не раскрывает состав набора данных и метки классов, поэтому конкретную схему классификации подтвердить нельзя. Лицензия — Apache-2.0.
Модель anton-l/distilhubert-ft-keyword-spotting — дообученная на наборе данных SUPERB версия ntu-spml/distilhubert для классификации аудио при обнаружении ключевых слов. Она построена на архитектуре HuBERT и содержит 18,9 млн параметров. В README указаны точность 0,9706 и значение функции потерь 0,1163 на оценочном наборе. Модель принимает аудио и выдаёт метку класса, поэтому подходит для обнаружения заданных слов или команд в аудиосигнале. Использует библиотеку Transformers и распространяется по лицензии Apache-2.0. Подробности о поддерживаемых ключевых словах и ограничениях в карточке не приведены.
spidercob/dlp-intent-classifier — модель SetFit для классификации текста по четырём классам. Она использует BERT-энкодер размером 25,9 млн параметров и классификатор LogisticRegression. Обучение SetFit включает контрастивное дообучение Sentence Transformer и обучение классификационной головы на полученных признаках. Модель предназначена для определения намерения по тексту в сценариях, где требуется отнести запрос к одной из четырёх категорий. Метаданные указывают библиотеку SetFit и максимальную длину контекста 512 токенов; в README указана максимальная длина последовательности 256 токенов. Репозиторий содержит веса в формате safetensors. В карточке не названы сами классы, языки обучающих данных и лицензия. Поэтому перед применением нужно проверить соответствие меток и языка своим данным; короткие запросы могут не помещаться без усечения в заявленный лимит последовательности README.
DOOM — дообученная модель Ahmad170412 для преобразования запросов на естественном языке в одну команду терминала macOS на zsh с кратким пояснением. Она основана на Qwen2.5-Coder-1.5B-Instruct в 4-битной версии и дообучена методом QLoRA; репозиторий содержит веса safetensors для MLX. Модель рассчитана на генерацию команд для получения системной информации, работы с файлами и редактирования конфигурации. Она принимает текстовые запросы и выдаёт текст с командой и пояснением; заявленный контекст — до 32 768 токенов, основной язык карточки — английский. В оценке на 319 отложенных запросах автор сообщает 50% правильных ответов и отсутствие нарушений заданного формата. Модель обучена на командах macOS, выдаёт одну команду и не предназначена для многошаговых сценариев; нестандартные запросы могут требовать проверки и редактирования команды. Лицензия в предоставленных данных не указана.
Hikari07jp/DSpark-Gemma-4-31B-draft — вспомогательная модель для ускорения генерации Google Gemma 4 31B Instruct методом спекулятивного декодирования. Разработчик дообучил модель z-lab/gemma-4-31B-it-DFlash: в корневом варианте используется переобученная основа с вероятностной semi-AR Markov-головой, а в каталоге backbone-only находится вариант без этой головы для совместимости со штатным путём DFlash. Модель содержит 2,6 млрд параметров, построена на архитектуре Qwen3 и поддерживает контекст до 262 144 токенов. Модель предназначена для работы в паре с целевой Gemma 4 31B при генерации чата, кода, математических ответов и результатов для агентных сценариев. По измерениям из карточки, корневой вариант ускоряет генерацию с выборкой на 3,7–6,3% относительно исходной DFlash-модели в указанных тестах; для tool-calling предпочтителен backbone-only. Спекулятивное декодирование заявлено как не влияющее на точность целевой модели. Для корневого варианта требуется пропатченный vLLM 0.24.0; backbone-only работает со штатным путём DFlash и PR #41703. Для указанного пути с FlashAttention требуется KV-кэш bfloat16. Лицензия — Apache-2.0.
Модель edos-2023-baseline-roberta-base-label_sexist — дообученная версия RoBERTa-base для классификации текста. В README приведён результат оценки на тестовой выборке: F1 0,8048 и loss 0,4729. Назначение по названию модели — выявление сексистских высказываний; подробности о метках и обучающем наборе данных в карточке отсутствуют. Модель содержит 151,8 млн параметров, принимает текст с контекстом до 514 токенов и распространяется под лицензией MIT.
Это веса EfficientNet-B3, предварительно обученной на ImageNet модели, которую можно использовать как энкодер в библиотеке segmentation-models-pytorch. Репозиторий опубликован smp-hub; веса сохранены в формате safetensors. Модель предназначена для классификации изображений и извлечения признаков, в том числе как основы энкодера в задачах сегментации. Она принимает изображения и выдаёт классы или признаки. Карточка не приводит сведения о размере модели, языках, обучающих деталях и конкретных ограничениях. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.
leomaurodesenv/electra-base-discriminator-jailbreakv-28k-augmented — модель классификации текста на основе ELECTRA Base Discriminator, дообученная на неизвестном наборе данных. Она содержит 136,7 млн параметров, использует архитектуру ElectraForSequenceClassification и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: loss 0,0051 и accuracy 0,9982; назначение классов и состав оценочного набора не раскрыты, поэтому эти показатели нельзя напрямую переносить на другие данные. Модель предназначена для классификации текстовых последовательностей. Англоязычная базовая модель поддерживает обработку английского текста, но язык и конкретная задача дообучения для этого чекпойнта не подтверждены. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.
ElhBERTeu-medium — среднеразмерная монолингвальная модель BERT для баскского языка, представленная в работе BasqueGLUE. Она разработана авторами BasqueGLUE и обучена на корпусе примерно из 575 млн токенов: новостях, Википедии, научных текстах, литературе и субтитрах. Модель использует регистрозависимый словарь размером 50 тыс. токенов; архитектура включает 8 слоёв и скрытое представление размерности 512. В README указано 51 млн параметров, а метаданные Hugging Face — 59,2 млн; доступный контекст составляет до 512 токенов. Модель предназначена для получения контекстных представлений баскского текста, которые можно использовать в задачах понимания естественного языка и как основу для последующей классификации или других downstream-задач. В карточке Hugging Face основная задача обозначена как feature-extraction. Модель распространяется по лицензии CC BY 4.0. Ее область применения ограничена баскским языком; сведения о результатах на конкретных downstream-задачах в карточке не приведены.
Это крупная модель EoMT-DINOv3 для сегментации отдельных объектов на изображениях. Она использует архитектуру Encoder-only Mask Transformer на основе Vision Transformer DINOv3 ViT-L/16 с позиционными rotary embeddings и содержит около 402,7 млн параметров. Модель обучена на COCO и рассчитана на изображения с разрешением 1280×1280; для сегментации применяются разные варианты постобработки общей архитектуры. Модель предназначена для выделения масок отдельных объектов на изображении и может использоваться в компьютерном зрении для анализа изображений и подсчёта объектов. README связывает архитектуру EoMT с исследовательской работой, представленной на CVPR 2025; данных о самостоятельных ограничениях качества нет. Репозиторий распространяется под лицензией MIT.
Xenova/EsperBERTo-small-pos — модель семейства RoBERTa для разметки частей речи в последовательностях текста. Репозиторий содержит дубликат модели EsperBERTo-small-pos и рассчитан на использование с Transformers.js; размер модели составляет 96,6 млн параметров, длина контекста — 514 токенов. По языковому тегу eo модель предназначена для эсперанто. Модель принимает текст и присваивает метки токенам, что подходит для автоматической разметки частей речи в предложениях на эсперанто. В репозитории доступны форматы PyTorch, Flax, ONNX и safetensors. Лицензия в предоставленных данных не указана.
fjanes/fine_tuned_pt_sentiment_analysis_Multilingual-MiniLM-L12-H384 — модель классификации текста на основе архитектуры BERT, представленная в формате TensorFlow. В README указано, что модель обучена с нуля на неизвестном наборе данных, но сведения о её назначении и результатах отсутствуют. Название репозитория указывает на анализ тональности, однако README этого не подтверждает. Метаданные указывают задачу text-classification и контекст до 512 токенов. В репозитории отмечены теги Transformers и multilingual MiniLM, но конкретные поддерживаемые языки по имеющимся сведениям установить нельзя. Размер модели — 124,3 млн параметров. Модель может применяться для классификации текста, но качество и конкретные классы тональности не описаны. Лицензия в предоставленных данных не указана.
GAP-URGENet — модель для универсального улучшения речи, разработанная Xiaobin Rong. В объективной части оценки конкурса ICASSP 2026 URGENT Challenge модель заняла первое место. Она предназначена для обработки аудиосигнала с целью улучшения разборчивости речи в различных условиях.
GLM-5.3-Flash Vision — извлечённый из GLM-5.3-Flash зрительный энкодер с обученным модулем объединения признаков. Репозиторий immanuelpeter содержит 24-блочный визуальный энкодер с размерностью скрытого состояния 1024, 16 головами внимания, размером изображения 448 и патчами 14×14; для пространственного позиционного кодирования используется axial 2D-RoPE. Патчи группируются блоками 2×2 и сжимаются из ширины 1024 до 4096, а свёрточный patch embedding имеет временной размер патча 2. Модель предназначена для извлечения признаков изображений в Transformers. В репозитории находятся только визуальная часть и конфигурация препроцессора; проверка README утверждает побитовое совпадение всех 347 тензоров с закреплённым родительским чекпойнтом. Это дообученная/выделенная часть GLM-5.3-Flash, распространяемая в формате safetensors и исходной точности BF16. Лицензия — MIT. Метаданные не сообщают размер полного чекпойнта, длину контекста или поддерживаемые языки.
Higgs Audio V2 Tokenizer — аудиотокенизатор, опубликованный в Hugging Face под идентификатором eustlb/higgs-audio-v2-tokenizer. Модель кодирует аудио в последовательность аудиокодов и декодирует её обратно в аудиосигнал; она предназначена как компонент для работы аудиоязыковых моделей, а не как самостоятельная система распознавания или синтеза речи по тексту. Токенизатор обучен на аудио с частотой 24 кГц, включая речь, музыку и звуковые события. Частота кадров составляет 25 кадров в секунду; документация отмечает сохранение высокого качества аудио и быстрое пакетное кодирование и декодирование без диффузионных шагов. Репозиторий содержит веса Safetensors и интеграцию с Transformers. Карточка репозитория автоматически создана и не сообщает лицензию; подробные сведения о размере архитектуры, языковой специализации и ограничениях в ней не приведены.
Imagination_continuous — дообученная модель классификации последовательностей на базе microsoft/deberta-v3-base, разработчик — ajrayman. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 и принимает текст; длина контекста — до 512 токенов. В карточке приведены результаты оценки: loss 0,0468, RMSE 0,2163, MAE 0,1724 и корреляция 0,2257. Модель предназначена для задачи text-classification. Описание не сообщает, какие именно классы или предметную область она охватывает, а обучающий набор данных обозначен как None, поэтому конкретные сценарии применения определить нельзя. Опубликована в формате safetensors и распространяется по лицензии MIT.
novita/kimi-k2.6-dspark — черновая модель DSpark от Novita для ускорения генерации с базовой моделью Kimi-K2.6 от Moonshot AI. Она используется вместе с целевой моделью в speculative decoding: предлагает блоки токенов, а базовая модель проверяет их. Архитектура включает трёхслойный черновой блок в стиле Qwen3 с GQA и две лёгкие головы DSpark для учёта зависимостей между токенами и оценки вероятности принятия предложений. Размер словаря черновой модели сокращён до 32 000 токенов; в репозитории веса Safetensors в формате bf16 размером 6,3 ГБ. Модель предназначена для ускорения инференса Kimi-K2.6, в частности обработки математических и программных запросов. В описанной конфигурации vLLM рекомендуется семь спекулятивных токенов; на некоторых тестах README сообщает об ускорении до 2,81 раза. Обученный контекст — 20 000 токенов. Это не самостоятельная чат-модель: для работы нужны базовая Kimi-K2.6 и версия vLLM с поддержкой DSpark. README перечисляет обходные решения для известных проблем в nightly-сборке vLLM. Лицензия в предоставленных данных не указана.