II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейKoichiYasuoka/rinna-gpt2-1b-japanese-ud-causal — японская GPT-2-модель, дообученная на базе rinna/japanese-gpt-1b для морфосинтаксической разметки и синтаксического анализа зависимостей по стандарту Universal Dependencies. Она предназначена для обработки японских предложений: определяет части речи и связи между словами; в карточке приведён пример запуска через Transformers. Модель использует плотную архитектуру GPT-2, веса PyTorch и контекст длиной до 1024 токенов. Базовая модель содержит 1,3 млрд параметров. Модель ориентирована на японский язык и обучалась для набора UD_Japanese-GSDLUW. Репозиторий распространяется по лицензии MIT. Оценки качества и ограничения за пределами указанного набора данных в карточке не приведены.
Koichi Yasuoka разработал эту модель на основе RoBERTa для китайского языка. Она дообучена на текстах китайской Википедии, включая упрощённое и традиционное письмо, и размечает слова тегами UPOS — универсальными частями речи. Архитектура — RoBERTa с классификационной головой для токенов, размер — 133,7 млн параметров, контекст — до 512 токенов. Модель предназначена для разметки частей речи в китайском тексте и может использоваться в лингвистическом анализе и пайплайнах обработки китайского языка. В карточке также заявлен разбор зависимостей, однако указанный pipeline_tag — token-classification. Лицензия — CC BY-SA 4.0.
Русскоязычный классификатор токсичных комментариев на базе BERT, дообученный автором khvatov от cointegrated/rubert-tiny2. Модель предназначена для определения токсичности пользовательских комментариев и сообщений на русском языке. Обучение проводилось на объединённых наборах комментариев с 2ch.hk, Pikabu и OK.ru. В README приведены результаты на тестовой выборке: F1 составляет 0,9273 для токсичного класса и 0,9827 для нетоксичного. Модель принимает текст и выдаёт метки классификации; размер — 29 млн параметров, контекст — до 2048 токенов. Доступна в форматах PyTorch и safetensors, лицензия MIT. Показатели получены на указанных данных и могут не переноситься на другие источники или определения токсичности.
Sentinel-V7 Deep Hydrological Bi-LSTM — специализированная модель на базе Keras 3 для оценки риска наводнений и прогнозирования затопленных территорий по гидрологическим временным рядам и данным дистанционного зондирования. Она использует двунаправленные LSTM-слои с пакетной нормализацией, пространственным dropout и регрессионной выходной частью. Вход состоит из восьми нормализованных признаков, включая обратное радарное рассеяние Sentinel-1, высоту местности, расстояние до реки, осадки и расход воды; модель выдаёт непрерывную оценку риска наводнения. В комплект входят модель и обученный MinMaxScaler для подготовки данных. Модель предназначена для потокового или пакетного анализа телеметрии в системах мониторинга наводнений, облачных сервисах и периферийных вычислительных системах. По карточке, обучение проводилось на 83,98 млн пространственных телеметрических примеров. Репозиторий распространяется по лицензии MIT. Результаты зависят от соответствия входных данных использованным признакам и процедуре нормализации; карточка не приводит метрик качества и подробной оценки географической переносимости.
Это два облегчённых детектора объектов Ultralytics YOLO11n и YOLO11s, обученных автором репозитория на датасете SKU-110K для поиска товаров на полках и в фотографиях. Модели принимают изображения размером 640 × 640 и находят объекты одного общего класса, без определения категории товара или бренда. В репозитории есть веса PyTorch и экспорты ONNX с фиксированным входом [1, 3, 640, 640]. Модель подходит для прототипов визуального поиска, анализа полок и экспериментов с плотным обнаружением объектов. На тестовой части SKU-110K YOLO11n показала mAP50 0,906, а YOLO11s — 0,927; скорость инференса в README указана как 0,9 и 4,3 мс на изображение соответственно. Эти результаты относятся к тестовому набору SKU-110K. Автор предупреждает, что веса предназначены для исследований и разработок и не проверены для промышленного, критически важного или автоматизированного бизнес-применения. Возможны пропуски и лишние рамки на изображениях, отличающихся от розничных полок; перед применением модель следует проверить на целевых данных. Указана лицензия other, а условия использования должны соответствовать условиям исходного датасета SKU-110K.
Модель разработана Wesley Acheng для классификации SMS на спам и обычные сообщения. Автор описывает её как классификатор, созданный с помощью transfer learning на BERT и обученный на наборе SMS Spam из Сингапура. Архитектура репозитория — DistilBERT с головой классификации последовательностей; модель принимает текст, поддерживает английский язык и имеет контекст до 512 токенов. Модель подходит для фильтрации спам-сообщений в SMS-потоках и автоматической разметки сообщений. Веса доступны в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не приводит метрик качества или подробностей о составе и разделении данных, поэтому качество на сообщениях из других регионов и на современных типах спама может отличаться.
snap-plate-dfine-small-v87-gt25 — модель обнаружения объектов, созданная aguxez дообучением aguxez/snap-plate-dfine-small-v1 на датасете aguxez/snap-equipment-youtube-v73-train-plate-v2. Она предназначена для поиска и локализации объектов на изображениях. Архитектура D-FINE для обнаружения объектов доступна в форматах ONNX и safetensors и используется через библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит сведения о классах объектов, качестве на тестовых данных или ограничениях применения.
RUSpam/spamNS_v1 — русскоязычная модель классификации текста для определения спама. Она основана на cointegrated/rubert-tiny2 и дообучена на датасете RUSpam/spam_dataset_v6; архитектура — BERT для классификации последовательностей, размер — 29 млн параметров. Модель принимает текст и определяет, является ли сообщение спамом. Модель предназначена для фильтрации нежелательных сообщений, в том числе в приложениях, использующих ruSpamLib. Поддерживает русский язык, использует формат safetensors и рассчитана на контекст до 2048 токенов. Распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Модель разработана hughlan1214 для распознавания эмоций в речи. Это дообученная для классификации аудио модель на архитектуре Wav2Vec2ForSequenceClassification, основанная на facebook/wav2vec2-large-xlsr-53; число параметров — 402,7 млн. Она относит речь к одному из семи классов: гнев, отвращение, страх, радость, нейтральное состояние, грусть или удивление. Модель предназначена для анализа эмоциональной окраски аудиозаписей и может служить компонентом систем, оценивающих состояние пользователя в реальном времени. Обучение проводилось на английских наборах CREMA, RAVDESS, SAVEE и TESS, суммарно содержащих более 12 000 аудиофайлов; данные разделили на обучающую и оценочную части в пропорции 70/30. В README сообщается о тестировании на китайской и французской речи, однако обучение велось только на английских данных. На оценочном наборе точность составила 0,6731, F1 — 0,6738. Модель распространяется в формате safetensors по лицензии Apache-2.0.
PantagrueLLM/speech-large-14K — французский речевой энкодер из семейства Pantagruel, разработанного для самоконтролируемого обучения представлениям речи. Модель использует архитектуру PantagruelUniModel и парадигму data2vec 2.0 / JEPA с предсказанием латентных представлений; в метаданных указано 99,1 млн параметров. Весовые файлы доступны в форматах PyTorch и safetensors и преобразованы из fairseq в формат Transformers. Энкодер обучен на французской речи, включая данные LeBenchmark и другие корпуса из семейства Pantagruel. Его можно применять для извлечения признаков и дообучать для задач распознавания речи и других речевых задач. В README приведён результат WER 8,05 на тестовой части French Common Voice v6.1 для варианта speech-large-14K. Для входного аудио требуется монофонический сигнал с частотой 16 кГц и нормализацией. Модель не содержит токенизатора и сама по себе не является готовой системой распознавания речи: для ASR нужны токенизатор и дообучение на размеченных парах аудио-текст. Лицензия CC-BY-NC-SA-2.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях.
stanfordnlp/stanza-cy — модель Stanza для валлийского языка, подготовленная командой Stanford NLP. Она входит в набор инструментов Stanza для лингвистического анализа текста и предназначена для разметки токенов; метаданные Hugging Face указывают задачу token-classification. Модель можно применять как компонент конвейера NLP для анализа текста на валлийском языке. Stanza в целом охватывает задачи от обработки исходного текста до синтаксического анализа и распознавания сущностей, однако карточка этой модели не уточняет, какие именно виды разметки токенов поддерживает данный чекпойнт. Модель хранится в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или ограничения точности.
YaHi/teacher_electra_small — дообученная модель классификации текста на базе google/electra-small-discriminator. Она содержит 20,4 млн параметров, использует архитектуру ELECTRA и формат PyTorch; максимальная длина контекста — 512 токенов. Модель предназначена для задач классификации последовательностей, однако конкретные классы и прикладной сценарий не описаны. В карточке приведено значение loss 0,2845 на оценочной выборке, но без описания набора данных и методики это число нельзя интерпретировать как показатель качества для конкретной задачи. Модель разработана YaHi и распространяется по лицензии Apache-2.0. Базовая модель — небольшой англоязычный энкодер, поэтому английский язык можно считать основным ориентиром; сведения о языках и обучающих данных самой дообученной модели отсутствуют. Ограничения включают неизвестные обучающие данные, целевые метки и область применения; перенос результатов на другие данные не подтверждён.
tf_mobilenetv3_large_100.in1k — сверточная модель классификации изображений из семейства MobileNetV3. Её обучили авторы статьи Searching for MobileNetV3 на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 5,5 млн параметров, расчётный размер изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений на категории ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактность и низкая вычислительная стоимость делают её подходящей для приложений с ограниченными ресурсами. Лицензия репозитория — Apache-2.0.
theOG-50M — компактная модель генерации кода от DrunkkToys, обученная с нуля и затем дообученная методом DPO на парах предпочтений, где выбранные ответы прошли модульные тесты. По данным карточки, эта версия содержит около 50 млн параметров; её архитектура ElasticGPT имеет 10 слоёв с размерностью 512 и 4 головы внимания, а токенизатор использует собственный BPE-словарь на 16 тысяч токенов. Модель предназначена для локального автодополнения кода, работы офлайн на ноутбуке или встраивания в приложения без отправки кода в облако, а также для изучения небольших языковых моделей. В README приведены результаты на задачах генерации кода, включая HumanEval и MBPP, но они показывают ограниченную точность небольшой модели. Репозиторий содержит веса в форматах PyTorch и MLX, а также GGUF-вариант базового чекпойнта; GGUF использует нестандартную архитектуру и не загружается обычной сборкой llama.cpp без патча. Архитектура не зарегистрирована в Transformers, поэтому AutoModelForCausalLM напрямую не работает. Лицензия репозитория — Apache-2.0.
TimeSformer — видеомодель семейства Transformer, разработанная командой Facebook и представленная в работе «TimeSformer: Is Space-Time Attention All You Need for Video Understanding?»; эта версия использует вариант с высоким разрешением и дообучена для классификации действий на наборе Something Something v2. Модель содержит 113,2 млн параметров и выдаёт один из 174 классов действий. Она предназначена для классификации видеоклипов, в частности для распознавания действий и взаимодействий с предметами, представленных в категориях Something Something v2. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В карточке нет сведений о конкретном размере входного видео или поддерживаемых естественных языках.
CrabInHoney/urlbert-tiny-base-v4 — компактная модель на основе BERT для анализа URL. Разработчик описывает её как модель с архитектурой «учитель—ученик»: она обучалась предсказывать замаскированные токены и усваивала логиты более крупной модели. Дополнительное обучение на трёх специализированных задачах направлено на лучшее понимание структуры URL. Модель содержит 4,8 млн параметров по метаданным Hugging Face, использует формат safetensors и рассчитана на контекст до 64 токенов. Она предсказывает пропущенные токены в URL и предназначена прежде всего как лёгкая основа для дообучения под классификацию URL, включая выявление фишинговых и вредоносных ссылок. Указана лицензия Apache-2.0. Карточка не приводит результаты оценки качества или подробности трёх дополнительных задач.
OPear/videomae-large-finetuned-UCF-Crime — модель Paulo Briceño для классификации видео, дообученная на наборе UCF Crime на основе MCG-NJU/videomae-large. Она относит видео к одному из 14 классов: от нормального поведения до ограбления, поджога, драки и других аномальных событий; предназначена для анализа видеонаблюдения и исследований обнаружения происшествий. Модель построена на VideoMAE, имеет около 402,7 млн параметров, 24 слоя и 16 голов внимания. Принимает видео и выдаёт метку класса; в карточке указана точность 92,96% на оценочном разделении UCF Crime. Модель рассчитана на видео, сходные с данными UCF Crime, и может ошибаться на иных типах сцен. Её результаты следует проверять, особенно перед принятием важных решений. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
emptx/wav2vec2-base-finetuned-gtzan — модель классификации аудио на базе wav2vec 2.0, дообученная на наборе данных GTZAN. Она предназначена для отнесения аудиозаписей к музыкальным жанрам. На оценочной выборке указана точность 0,85 при значении loss 0,5864. Модель содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForSequenceClassification. Модель разработана на основе facebook/wav2vec2-base и распространяется под лицензией Apache-2.0. Карточка не приводит подробностей о составе классов, длительности или формате аудиофрагментов, а также о методике оценки; результаты на оценочной выборке не гарантируют такое же качество на других данных.
alianurrahman выпустил модель wav2vec2-base, дообученную для распознавания эмоций в индонезийской речи. Это аудиоклассификатор на архитектуре Wav2Vec 2.0 с 113,3 млн параметров, основанный на facebook/wav2vec2-base и сохранённый в формате safetensors. Модель принимает речь на индонезийском языке и относит её к одному из пяти классов: злость, отвращение, страх, радость или грусть. Модель подходит для анализа эмоциональной окраски индонезийских голосовых записей. В README указаны точность 0,8223 и loss 0,5023 на наборе оценки. Для дообучения использовался RAVDESS, описанный в карточке как 1440 записей на индонезийском языке; подробности о методике оценки и ограничениях не приведены. Лицензия — Apache-2.0.
Это модель классификации аудио на основе Wav2Vec2, разработанная автором репозитория alefiury и дообученная на facebook/wav2vec2-xls-r-300m для распознавания пола говорящего. Для обучения использовалась выборка Librispeech-clean-100 с разделением на обучающую, валидационную и тестовую части. В метаданных указано 402,7 млн параметров; модель доступна в форматах PyTorch и Safetensors. Модель принимает аудио и выдаёт класс пола говорящего. В README приведены результаты оценки на тестовой выборке: F1 0,9993 и loss 0,0061. Эти показатели относятся к указанному набору данных и сами по себе не гарантируют аналогичного качества на других голосах и условиях записи. Лицензия — Apache-2.0.
vitouphy/wav2vec2-xls-r-300m-phoneme — дообученная модель на базе facebook/wav2vec2-xls-r-300m для распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая текстовую последовательность фонем. В карточке приведены результаты оценки: loss 0,3327 и CER 0,1332; набор данных для обучения не определён в README. Модель опубликована в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не описывает целевые языки, условия записи и ограничения применения, поэтому качество для конкретных языков и акустических условий по этим данным оценить нельзя.
mshamrai/yolov8s-visdrone — модель компьютерного зрения на архитектуре YOLOv8s, опубликованная пользователем mshamrai и предназначенная для обнаружения объектов на изображениях с БПЛА. Она обучена распознавать десять классов: пешеходов, людей, велосипеды, автомобили, фургоны, грузовики, трициклы, трициклы с навесом, автобусы и мотоциклы. Модель работает с библиотекой Ultralytics и представлена в формате PyTorch. Модель подходит для анализа аэрофотоснимков и видеокадров с беспилотников, например для подсчёта людей и транспорта или мониторинга дорожной обстановки. Карточка указывает лицензию OpenRAIL. Размер модели, длина контекста и конкретные условия лицензии в доступных данных не раскрыты.
Koichi Yasuoka разработал японскую модель GPT-2 для разметки частей речи и синтаксических зависимостей. Она дообучена на основе abeja/gpt2-large-japanese и уточнена на UD_Japanese-GSDLUW. Архитектура — плотная GPT-2 с головой классификации токенов; модель принимает японский текст и выдаёт метки для его токенов. Контекст составляет 1024 токена, формат весов — PyTorch. Модель подходит для морфологического анализа японских предложений, присвоения тегов частей речи и построения синтаксических зависимостей. В карточке указан pipeline_tag token-classification; пример использования задаёт задачу universal-dependencies. Лицензия — MIT. Известное ограничение: модель специализирована на японском языке и данных UD_Japanese-GSDLUW.
Addressee — модель классификации аудио, созданная как дообучение coml/BabyHuBERT. Репозиторий содержит только веса; инструкции по использованию находятся в репозитории LAAC-LSCP/addressee. Модель предназначена для классификации аудиоданных. В карточке не приведены сведения о метках классов, архитектурных деталях, языках или условиях лицензии, поэтому их нельзя уточнить.
BalPOS v2 — модель Shah Bakhsh для разметки частей речи в текстах на белуджском языке. Это XLM-RoBERTa, дообученная на базе shahbakhsh/BalBERT для классификации токенов по 16 категориям Universal Dependencies (UPOS). Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. Модель предназначена для синтаксической разметки белуджских текстов и исследовательских и прикладных NLP-конвейеров для этого языка. В README приведены результаты на отложенной тестовой выборке: точность 87,26% и взвешенная F1-мера 87,22%. Оценка проведена на корпусе из 774 предложений и 14 852 токенов. Качество может снижаться на диалектах и орфографических вариантах, отличающихся от корпуса; редкие метки имеют более высокую вариативность результатов. Модель распространяется по лицензии Apache-2.0.
CAMeLBERT-Mix POS-EGY — модель CAMeL Lab для определения частей речи в египетском арабском. Она создана дообучением CAMeLBERT-Mix на наборе данных ARZTB и предназначена для разметки каждого токена текста тегом части речи, например в конвейере token-classification библиотеки Transformers. Модель основана на архитектуре BERT, содержит 136,3 млн параметров и принимает текст с контекстом до 512 токенов. Карточка демонстрирует разметку египетской разговорной фразы. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.
Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и морфологических признаков. Она дообучена на основе KoichiYasuoka/bert-base-japanese-char-extended и использует архитектуру BertForTokenClassification; число параметров — 118,1 млн, максимальная длина контекста — 512 токенов. Модель обучена на текстах японской Википедии и размечает слова по схеме UPOS и FEATS; карточка также указывает связь с синтаксическим разбором зависимостей. Модель подходит для морфологического анализа японских текстов, например для автоматической разметки предложений перед лингвистическим анализом или построением языковых корпусов. Она принимает текст и выдаёт метки для токенов. Распространяется по лицензии CC BY-SA 4.0.
Японская базовая модель BERT, выпущенная hitachi-nlp. Она предназначена для предсказания скрытых токенов в японском тексте и работает как masked language model с архитектурой BertForMaskedLM. Модель содержит 136,3 млн параметров, принимает последовательности длиной до 512 токенов и использует токенизацию MeCab + WordPiece; для загрузки токенизатора требуется файл словаря из репозитория разработчика. Модель подходит для восстановления пропусков в японских предложениях и как базовый компонент для задач обработки японского языка. В карточке указаны датасеты Wikipedia и CC-100. Доступны веса PyTorch и Safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях, запрещая коммерческое использование.
bert-fc-base — языковая модель семейства BERT, разработанная aajrami и обученная с целью предсказания первого символа. Карточка отсылает к исследованию о влиянии целей предобучения на усвоение языковых свойств; модель предназначена для получения признаковых представлений текста. Модель построена на архитектуре RoBERTa, содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Она распространяется под лицензией CC BY 4.0. Карточка не описывает поддерживаемые языки и не приводит оценок качества на прикладных задачах.
mjaliz/bslm-mlm-25M-ptdrw — дообученная модель маскированного языкового моделирования на базе BAAI/bge-m3-retromae, созданная для текстов товаров Basalam. Использует архитектуру XLMRobertaForMaskedLM и совместимый с XLM-RoBERTa токенизатор. Несмотря на «25M» в названии, модель содержит 568 006 802 параметра; максимальная длина последовательности — 8 192 токена. Модель предсказывает замаскированные фрагменты в персидских названиях и описаниях товаров и предназначена для экспериментов с MLM и последующей адаптации к продуктовому домену. В обучающих данных преобладает персидский язык; карточка также указывает английский. Это не универсальная генеративная модель. Выпущена под лицензией MIT.