II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейCerberusDet VOC + Objects365 Animals — модель обнаружения объектов от разработчиков семейства CerberusDet, построенная на архитектуре YOLOv8x. Этот чекпойнт обучен одновременно на PASCAL VOC 2007/2012 и подмножестве Animals датасета Objects365 и использует общий backbone и neck с отдельными головами для наборов классов. Модель содержит 105 млн параметров, принимает изображения с разрешением 640×640; для инференса заявлена точность FP16. Модель предназначена для одновременного обнаружения объектов из классов PASCAL VOC и животных из Objects365. В карточке приведены показатели mAP@0.5 0,92 на VOC 2007 и 0,57 на Objects365 Animals, а также скорость 7,2 мс на NVIDIA V100 при FP16 и batch 32. Репозиторий распространяется по лицензии AGPL-3.0.
Cheerfulness_binary — англоязычная модель классификации текста, разработанная дообучением microsoft/deberta-v3-base. Она использует архитектуру DeBERTa-v2 для отнесения текста к классам; точная схема меток и назначение классов в карточке не описаны. Модель содержит 211,6 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. В опубликованной оценке указаны accuracy 0,6575, precision 0,6394, recall 0,7207, F1 0,6776 и AUC 0,7037. Эти показатели относятся к неназванному набору данных, поэтому их нельзя напрямую переносить на другие задачи. Модель лицензирована по MIT; перед применением следует проверить соответствие меток и качество на целевых данных.
hezarai/crnn-fa-license-plate-recognition-v2 — модель OCR на основе CRNN, разработанная Hezar AI и дообученная для распознавания персидских автомобильных номерных знаков. Она принимает обрезанное изображение номера и преобразует символы на нём в текст; для полного сценария распознавания сначала требуется отдельная модель, которая обнаружит номерной знак на исходном изображении. Модель рассчитана на персидские номера и обучена на наборе hezarai/persian-license-plate-v1. Для работы используется библиотека Hezar, веса представлены в формате PyTorch. Лицензия в предоставленных данных не указана.
DanskBERT — базовая языковая модель для датского языка, разработанная на основе конфигурации RoBERTa-base. Она обучена на корпусе Danish Gigaword Corpus с помощью fairseq. Архитектура модели — XLM-RoBERTa для masked language modeling; размер составляет 151,7 млн параметров, контекст — до 514 токенов. Модель предназначена для подстановки пропущенных токенов в датском тексте и как базовый чекпойнт для задач обработки датского языка. В README указано, что она показала лучший результат среди моделей базового размера на датском сегменте бенчмарка ScandEval. При прямом использовании маски не следует ставить перед ней пробел. Лицензия — CC BY 4.0.
Koichi Yasuoka выпустил модель DeBERTa-v2 для разметки частей речи в китайском тексте. Она дообучена на базе IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese и присваивает каждому слову тег UPOS из набора Universal Dependencies. Модель подходит для морфосинтаксической разметки упрощённого и традиционного китайского; в карточке также заявлен сценарий синтаксического анализа зависимостей. Модель содержит 125,6 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит оценок качества; результат зависит от корректной токенизации и разбиения текста на слова.
Koichi Yasuoka разработал эту модель на основе Erlangshen-DeBERTa-v2-320M-Chinese для морфологического анализа китайского текста. Это DeBERTa-v2 с архитектурой классификации токенов, дообученная размечать слова универсальными частями речи UPOS; модель также предназначена для синтаксического анализа зависимостей. Модель принимает китайский текст и поддерживает упрощённое и традиционное письмо. Размер составляет 419,1 млн параметров, длина контекста — до 512 токенов. Её можно использовать через Transformers как токенизатор и модель классификации токенов. Модель распространяется по лицензии Apache-2.0. Она специализирована на китайском языке и разметке UPOS; для других языков и задач её возможности не подтверждены.
Это визуальный энкодер семейства Vision Transformer, выделенный из DeepSeek-V4.1-Flash и преобразованный в формат timm без дополнительного обучения. Модель содержит около 485,3 млн параметров и предназначена для извлечения признаков изображения; языковых весов и обученной классификационной головы в ней нет. Энкодер использует патчи 14×14, SwiGLU, RMSNorm и двумерное осевое RoPE. В варианте _enc сохранены пространственный выравниватель 3×3 и проекция токенов в ширину 5120; доступны также промежуточные карты признаков. Поддерживаются RGB-изображения, в том числе прямоугольные, с типовым размером обработки 546×546. Для корректной работы размеры входа по умолчанию должны делиться на 14; timm-преобразования отличаются от исходной адаптивной предобработки DeepSeek. Модель подходит для получения визуальных признаков и токенных представлений изображений в мультимодальных системах. Распространяется по лицензии MIT.
DenseNet169 — сверточная модель для классификации изображений и извлечения признаков, опубликованная в библиотеке timm. Модель содержит около 14,1 млн параметров, использует архитектуру DenseNet с плотными связями между слоями и обучена на ImageNet-1k. Для классификации рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность составляет около 3,4 GMACs. Модель подходит для отнесения изображений к категориям ImageNet-1k, получения карт признаков и векторных представлений изображений. Её можно использовать как визуальный backbone в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
DictaBERT Large Parse — модель семейства BERT, выпущенная Dicta для совместного синтаксического и морфологического разбора современного иврита. Это дообученная версия dictabert-large-joint, адаптированная к методам разметки корпусов Hebrew UD Treebank и NEMO. Модель содержит около 533,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Модель выполняет сегментацию префиксов, морфологическое снятие неоднозначности, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результат можно получить в JSON или в форматах Universal Dependencies, включая вариант, адаптированный к стилю IAHLT. Лицензия — CC BY 4.0.
Lau123/distilbert-base-uncased-detect_ai_generated_text — дообученная Lau123 модель на базе DistilBERT для классификации текста, в частности для определения текста, созданного ИИ. Архитектура — DistilBertForSequenceClassification; веса опубликованы в формате safetensors. Базовая модель — distilbert/distilbert-base-uncased, лицензия — Apache-2.0, максимальный контекст — 512 токенов. Модель предназначена для классификации текстовых фрагментов. В README приведены значения accuracy и F1, равные 1.0, и loss 0.0089 на оценочном наборе; состав и размер набора не раскрыты, поэтому эти результаты не позволяют судить о качестве на новых данных. Датасет обучения также не указан. Поддерживается английский текст, что следует из uncased-версии базовой модели.
yochen/distilroberta-base-finetuned-marktextepoch_200 — модель классификации текста на базе архитектуры RoBERTa, содержащая 95,2 млн параметров. Карточка сообщает, что модель обучалась с нуля на неизвестном наборе данных, но не описывает метки классов, область применения или результаты оценки. Модель принимает текст и выдаёт результат классификации. Контекст составляет до 514 токенов. В метаданных указан формат PyTorch. Лицензия и поддерживаемые естественные языки не приведены, поэтому конкретные сценарии и качество классификации оценить нельзя.
Модель Dog Breeds Classification разработана как дообученная версия Vision Transformer google/vit-base-patch16-224. Она принимает изображения размером 224×224 пикселя и классифицирует собак по 71 породе. По данным карточки, на наборе оценки она показала accuracy 0,9743 и loss 0,0763. Модель предназначена для определения породы собаки на фотографии. Она использует архитектуру ViTForImageClassification и распространяется в формате safetensors по лицензии Apache-2.0. Результаты оценки относятся к указанному набору данных; состав выборки и подробности методики оценки не описаны.
DomURLs_BERT — предварительно обученный энкодер на базе BERT, разработанный для анализа доменных имён и URL в задачах кибербезопасности. Модель обучалась с задачей masked language modeling на многоязычном корпусе URL, доменов и данных о доменах, созданных алгоритмами DGA. Это модель-энкодер с 137,8 млн параметров и контекстом до 512 токенов; веса опубликованы в формате Safetensors и предназначены для использования через Transformers. Энкодер можно применять как основу для классификаторов подозрительных и вредоносных доменов и URL, включая обнаружение фишинга, вредоносного ПО, DGA-доменов и DNS-туннелирования. В статье сообщается, что в экспериментах на нескольких бинарных и многоклассовых наборах данных модель превзошла ряд символьных и специализированных BERT-моделей для кибербезопасности. Численные метрики и подробности оценки в карточке не приведены; для практического применения нужны подходящая downstream-модель и проверка на актуальных данных. Лицензия в предоставленных сведениях не указана.
Репозиторий содержит веса EfficientNet-B5, предварительно обученные на ImageNet. Модель предназначена для классификации изображений и может использоваться как энкодер в библиотеке segmentation-models-pytorch, в том числе в моделях сегментации. Карточка указывает архитектуру EfficientNet-B5 и формат весов safetensors. Модель принимает изображения и выдаёт предсказания классов. Лицензия обозначена как other; конкретные условия следует проверять в файлах репозитория и источниках лицензии.
Модель alnnahwi/gemma-3-1b-arabic-gec-v1 разработана Bahjat Al Mostafa (Alnnahwi) и дообучена на базе Gemma 3 от Google для исправления грамматических ошибок в арабском тексте. Она принимает предложения на арабском языке и генерирует исправленный вариант. Модель содержит 1 млрд параметров, использует плотную архитектуру Gemma 3 для авторегрессионной генерации текста, работает через библиотеку Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для современного литературного арабского языка (MSA): она исправляет согласование рода и числительных, падежные формы, орфографию и пунктуацию. Её можно применять в учебных инструментах, корректуре текстов и предварительной обработке данных для последующих NLP-задач. Карточка сообщает о дообучении на пользовательском наборе данных арабской коррекции ошибок в течение семи эпох. Качество на диалектном арабском может быть ниже, а контекстно-зависимые исправления — несовершенными. README отмечает возможное снижение качества на очень длинных текстах свыше 512 токенов. Лицензия — Gemma; при использовании следует учитывать условия лицензии Gemma от Google.
Koichi Yasuoka разработал эту модель для разметки частей речи в японском тексте. Она дообучена на базе японской GPT-2 XL и использует архитектуру GPT-2 с классификационной головой для токенов; модель присваивает словам метки UPOS и признаки FEATS. Для работы в примере README используется библиотека Transformers и требуется fugashi. Контекст модели — до 1024 токенов. Модель подходит для морфосинтаксического анализа японских предложений и подготовки данных с разметкой частей речи. Она принимает текст и выдаёт метки для его токенов. Обучение связано с Universal Dependencies. Модель распространяется по лицензии CC BY-SA 4.0.
hxxris/haaris-audio-classification-modified — модель классификации аудио на архитектуре Wav2Vec2ForSequenceClassification, дообученная разработчиком на основе facebook/wav2vec2-base. Она предназначена для отнесения аудиозаписей к классам и может использоваться в задачах, где метки определяются по аудиосигналу. В репозитории указаны веса SafeTensors, размер модели — 113,3 млн параметров, лицензия — Apache-2.0. Карточка не описывает набор классов, обучающие данные, качество, поддерживаемые языки или конкретные сценарии применения. Поэтому применимость к отдельным типам аудио и языкам речи по доступным сведениям установить нельзя.
rinna/japanese-roberta-base — базовая японская модель RoBERTa от компании rinna Co., Ltd., обученная с использованием кода проекта rinnakk/japanese-pretrained-models. Это трансформерная модель на 12 слоёв с размерностью скрытого представления 768 и примерно 137,8 млн параметров; она предназначена для предсказания замаскированных токенов в японском тексте. Модель обучалась на японских данных CC-100 и Wikipedia с помощью задачи masked language modeling. Для токенизации используется SentencePiece, контекст составляет до 514 токенов. Модель подходит для восстановления пропусков и получения контекстных предсказаний японских слов, а также как базовый чекпойнт для NLP-систем, которым нужно представление японского языка. Для корректного использования README рекомендует добавлять токен [CLS], заменять токен на [MASK] уже после токенизации и явно задавать position_ids, начинающиеся с 0. Для весов указана лицензия MIT.
LeetCodeWizard_7B_V1.1 — языковая модель Nan-Do для решения и объяснения задач LeetCode и других задач программирования. Это дообученная версия WizardCoder-Python-7B-V1.1 на наборе задач LeetCode; модель построена на архитектуре Llama и содержит 6,6 млрд параметров. Модель генерирует код и текстовые объяснения решений, поэтому подходит для подготовки к техническим собеседованиям, практики алгоритмов и разбора программных задач. Для взаимодействия используется шаблон инструкций Alpaca. Указанный контекст составляет 16 384 токена; в метаданных язык карточки — английский, а Python указан среди тегов. Модель распространяется по лицензии Llama 2. Заявленная способность решать большинство задач LeetCode не является гарантией корректности: ответы и код следует проверять, особенно для задач со скрытыми тестами и требованиями, не отражёнными в условии.
Marigold Depth v1-0 — модель для оценки глубины по одному изображению, разработанная Bingxin Ke, Anton Obukhov, Shengyu Huang, Nando Metzger, Rodrigo Caye Daudt и Konrad Schindler. Это дообученная на базе Stable Diffusion 2 латентная диффузионная модель, предназначенная для монокулярной оценки глубины и рассчитанная на работу с изображениями в различных сценах без привязки к конкретному домену. Модель выдаёт карту относительной глубины, значения которой от 0 до 1 обозначают ближние и дальние области в выбранном моделью масштабе; абсолютные расстояния она не предсказывает. При объединении более двух предсказаний также можно получить карту неопределённости. Для наилучшего качества авторы рекомендуют DDIM и 10–50 шагов денойзинга. Хотя можно обрабатывать изображения любого размера, эффективное разрешение унаследовано от базовой модели и составляет около 768 пикселей; для крупных изображений рекомендуется уменьшить длинную сторону до этого размера. Модель опубликована под лицензией Apache 2.0 и доступна для использования через Diffusers. Она предназначена для оценки глубины по одиночным изображениям и не заменяет измерение абсолютных расстояний; версия v1-0 может давать менее оптимальные результаты при настройках числа шагов, отличных от рекомендованных.
MaskFormer — модель сегментации изображений, основанная на архитектуре MaskFormer с backbone Swin Base. Чекпойнт обучен на ADE20K для семантической сегментации и опубликован командой, выпустившей MaskFormer; карточку подготовила команда Hugging Face. Модель предсказывает набор масок и соответствующих им меток, что позволяет применять единый подход к сегментации объектов, семантической и паноптической сегментации. Этот чекпойнт предназначен для семантической сегментации сцен и распознавания областей ADE20K. Он принимает изображение и выдаёт сегментационные маски с метками классов. Модель подходит для анализа сцен, но карточка рекомендует этот конкретный чекпойнт именно для семантической сегментации. Лицензия указана как other, поэтому условия использования следует сверить с репозиторием и исходной лицензией.
wls04/math_cau4 — дообученная модель семейства Qwen2 для классификации токенов. Она основана на Qwen/Qwen2.5-Math-1.5B-Instruct и обучалась с помощью TRL. Архитектура — плотная Qwen2ForTokenClassification, размер — 1,5 млрд параметров; максимальная длина контекста составляет 4096 токенов. Модель предназначена для задач разметки отдельных токенов во входном тексте. Карточка указывает на обучение в области математики, но не описывает конкретные классы разметки или качество на задачах; пример запуска в README относится к генерации текста и расходится с архитектурой классификации токенов. Для использования доступны веса в формате safetensors; лицензия в предоставленных данных не указана.
saiyiram/mbert-tamil-pos-tagging — модель на базе многоязычного BERT от Google, дообученная для разметки частей речи в тексте на тамильском языке. Она принимает текст и присваивает метку каждому токену; модель реализована как BertForTokenClassification и доступна в формате safetensors. Размер — 205,1 млн параметров, максимальная длина контекста — 512 токенов. В README указаны результаты оценки: accuracy 0,8155, macro F1 0,6485 и weighted F1 0,8040. Обучающий датасет в карточке не описан. Модель выпущена под лицензией Apache-2.0.
Mimi — нейронный аудиокодек, разработанный Kyutai. Модель содержит 33,6 млн параметров и использует потоковую архитектуру энкодера-декодера с квантованным латентным пространством. Она представляет речь семантическими и акустическими аудиотокенами с частотой 12,5 Гц и битрейтом 1,1 кбит/с. Mimi предназначена для потокового сжатия и восстановления речи, а также для подготовки аудиотокенов при обучении речевых языковых моделей и систем синтеза речи. Модель принимает аудио и извлекает признаки; карточка Hugging Face относит её к задаче feature-extraction. В карточке указано ограничение контекста 8000 токенов. Обучение на речевых данных делает её специализированной для речи, а не универсальным кодеком для всех типов аудио. Модель разработана Kyutai и распространяется по лицензии CC-BY 4.0. В карточке отмечены смещения, связанные с представленностью тем в обучающих данных, и ограничение одним синтезируемым голосом; модель не предназначена для имитации голосов других людей.
Mists-7B-v01-simple-projector-trained — дообученная модель HachiML на базе HachiML/Mists-7B-v01-not-trained. В метаданных она отнесена к семейству Mists, архитектуре плотной модели MistsForConditionalGeneration и задаче извлечения признаков; репозиторий содержит веса в формате safetensors и указан интерфейс чата. Модель предназначена для извлечения признаков. Базовая модель описана в каталоге как экспериментальная мультимодальная система для совместной работы с текстом и временными рядами, но она непригодна к использованию из-за необученного адаптера. README сообщает о дообучении на неизвестном наборе данных и значении loss 0,0152 на оценочном наборе, однако не приводит описание модели, сценарии использования или методику оценки. Лицензия — Apache-2.0.
MOSS-Audio-Tokenizer — аудиотокенизатор команды OpenMOSS-Team, построенный на архитектуре Cat (Causal Audio Tokenizer with Transformer). Модель кодирует и восстанавливает аудио, представляя его дискретными токенами; она предназначена для работы как компактный аудиоинтерфейс для аудиомоделей и последующих задач понимания и генерации речи. Архитектура состоит из причинных Transformer-блоков без CNN; суммарный размер энкодера и декодера — 1,6 млрд параметров. Токенизатор обрабатывает аудио с частотой дискретизации 24 кГц и частотой кадров 12,5 Гц, использует 32-слойный RVQ и поддерживает битрейт от 0,125 до 4 кбит/с. Заявлена потоковая обработка чанками. Модель обучена с нуля на разнообразных аудиоданных и рассчитана на речь, звуковые эффекты и музыку. Карточка указывает Apache-2.0. Репозиторий содержит реализацию для Transformers с удалённым кодом, поэтому для загрузки README использует trust_remote_code=True. Токенизатор предназначен для кодирования и реконструкции аудио, а не для самостоятельного распознавания речи или синтеза речи; качество зависит от выбранного битрейта. Потоковая обработка ограничена batch_size=1 и требованиями к длительности чанка.
Nawah-BERT-6M-bilingual — двуязычная модель семейства BERT от oddadmix, обученная с нуля предсказывать замаскированные токены. Она предназначена для задач masked language modeling на арабском и английском языках и может служить компактной энкодерной основой для экспериментов и последующего дообучения. Архитектура включает 8 слоёв, скрытый размер 128 и 2 головы внимания; модель содержит 6,2 млн параметров и принимает контекст до 2048 токенов. Модель обучалась на сбалансированном корпусе из 5 млрд арабских и 5 млрд английских токенов с двуязычным токенизатором на 32 тысячи токенов. В README приведены результаты оценки на отложенных данных для обоих языков. Весá опубликованы в формате safetensors, библиотека — Transformers, лицензия — Apache-2.0.
Nawah-Router-BERT-6M-bilingual-pretrained — компактная двуязычная модель маршрутизации запросов на базе BERT, разработанная oddadmix. Она принимает текст и список категорий на английском или арабском и оценивает категории за один проход, помогая направлять запросы в нужные тематические или функциональные каналы. Модель дообучена на Nawah-BERT-6M-bilingual, предварительно обученной с нуля на арабских и английских текстах; для обучения маршрутизатора использованы наборы данных arabic-prompt-routing и prompt-routing-en. Модель содержит 6,2 млн параметров, имеет контекст 2048 токенов и распространяется в формате safetensors. В приведённом сравнении двуязычная предобученная основа улучшила результаты на английских разбиениях относительно арабской основы, но на арабском тесте unseen_axis показатель снизился с 0,605 до 0,570. Лицензия — Apache-2.0.
varun-v-rao/opt-350m-fp-sick — это модель классификации текста, полученная дообучением OPT-350M от Meta AI на наборе данных SICK. Она предназначена для классификации текстовых примеров; на оценочной выборке указана точность 0,8545 и loss 0,4717. Модель содержит 454,1 млн параметров, использует архитектуру OPTForSequenceClassification и принимает последовательности длиной до 2048 токенов. Доступные веса представлены в формате safetensors. В метаданных указана лицензия other.
Opus Moderation 4 Large (om4-large) — модель классификации текста от команды opus-research для модерации контента. Это полноценно дообученный ModernBERT-large с 394,7 млн параметров и контекстом до 8192 токенов; модель выдаёт оценки по семи меткам токсичности и отдельную оценку обнаружения jailbreak-атак. Оценки откалиброваны как доли аннотаторов, которые пометили бы текст; для многометочной классификации следует применять sigmoid, а не softmax. В репозитории также есть пороги для каждой метки. Модель предназначена для автоматической проверки пользовательских комментариев и сообщений, выявления оскорблений, токсичности, непристойного содержания, угроз и попыток обхода ограничений языковых моделей. В описанном авторами тесте на 20 тысячах примеров она показала macro F1 0,543 по семи меткам и F1 0,903 для jailbreak-детекции. Основные заявленные ограничения — ненадёжная метка severe_toxicity, более слабое распознавание угроз и специализация на английских текстах в жанрах новостных комментариев и диалогов с LLM; обучение проводилось на длине 384 токена. Лицензия модели — Apache-2.0, однако среди обучающих данных есть toxic-chat с лицензией CC-BY-NC, что может влиять на допустимость отдельных сценариев использования.