/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
5 431–5 460 из 23 488
iitolstykh
cerberusdet-yolov8x-voc-o365-animals

CerberusDet VOC + Objects365 Animals — модель обнаружения объектов от разработчиков семейства CerberusDet, построенная на архитектуре YOLOv8x. Этот чекпойнт обучен одновременно на PASCAL VOC 2007/2012 и подмножестве Animals датасета Objects365 и использует общий backbone и neck с отдельными головами для наборов классов. Модель содержит 105 млн параметров, принимает изображения с разрешением 640×640; для инференса заявлена точность FP16. Модель предназначена для одновременного обнаружения объектов из классов PASCAL VOC и животных из Objects365. В карточке приведены показатели mAP@0.5 0,92 на VOC 2007 и 0,57 на Objects365 Animals, а также скорость 7,2 мс на NVIDIA V100 при FP16 и batch 32. Репозиторий распространяется по лицензии AGPL-3.0.

157янв. 2026
imageagpl-3.0hugging-face
ajrayman
Cheerfulness_binary

Cheerfulness_binary — англоязычная модель классификации текста, разработанная дообучением microsoft/deberta-v3-base. Она использует архитектуру DeBERTa-v2 для отнесения текста к классам; точная схема меток и назначение классов в карточке не описаны. Модель содержит 211,6 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. В опубликованной оценке указаны accuracy 0,6575, precision 0,6394, recall 0,7207, F1 0,6776 и AUC 0,7037. Эти показатели относятся к неназванному набору данных, поэтому их нельзя напрямую переносить на другие задачи. Модель лицензирована по MIT; перед применением следует проверить соответствие меток и качество на целевых данных.

160окт. 2024ctx512
textmithugging-face
hezarai
crnn-fa-license-plate-recognition-v2

hezarai/crnn-fa-license-plate-recognition-v2 — модель OCR на основе CRNN, разработанная Hezar AI и дообученная для распознавания персидских автомобильных номерных знаков. Она принимает обрезанное изображение номера и преобразует символы на нём в текст; для полного сценария распознавания сначала требуется отдельная модель, которая обнаружит номерной знак на исходном изображении. Модель рассчитана на персидские номера и обучена на наборе hezarai/persian-license-plate-v1. Для работы используется библиотека Hezar, веса представлены в формате PyTorch. Лицензия в предоставленных данных не указана.

3.0K6июнь 2024
textimagehugging-face
vesteinn
DanskBERT

DanskBERT — базовая языковая модель для датского языка, разработанная на основе конфигурации RoBERTa-base. Она обучена на корпусе Danish Gigaword Corpus с помощью fairseq. Архитектура модели — XLM-RoBERTa для masked language modeling; размер составляет 151,7 млн параметров, контекст — до 514 токенов. Модель предназначена для подстановки пропущенных токенов в датском тексте и как базовый чекпойнт для задач обработки датского языка. В README указано, что она показала лучший результат среди моделей базового размера на датском сегменте бенчмарка ScandEval. При прямом использовании маски не следует ставить перед ней пробел. Лицензия — CC BY 4.0.

1.6K8нояб. 2022ctx514
textcc-by-4.0hugging-face
KoichiYasuoka
deberta-base-chinese-erlangshen-upos

Koichi Yasuoka выпустил модель DeBERTa-v2 для разметки частей речи в китайском тексте. Она дообучена на базе IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese и присваивает каждому слову тег UPOS из набора Universal Dependencies. Модель подходит для морфосинтаксической разметки упрощённого и традиционного китайского; в карточке также заявлен сценарий синтаксического анализа зависимостей. Модель содержит 125,6 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит оценок качества; результат зависит от корректной токенизации и разбиения текста на слова.

290дек. 2022ctx512
textapache-2.0hugging-face
KoichiYasuoka
deberta-large-chinese-erlangshen-upos

Koichi Yasuoka разработал эту модель на основе Erlangshen-DeBERTa-v2-320M-Chinese для морфологического анализа китайского текста. Это DeBERTa-v2 с архитектурой классификации токенов, дообученная размечать слова универсальными частями речи UPOS; модель также предназначена для синтаксического анализа зависимостей. Модель принимает китайский текст и поддерживает упрощённое и традиционное письмо. Размер составляет 419,1 млн параметров, длина контекста — до 512 токенов. Её можно использовать через Transformers как токенизатор и модель классификации токенов. Модель распространяется по лицензии Apache-2.0. Она специализирована на китайском языке и разметке UPOS; для других языков и задач её возможности не подтверждены.

370дек. 2022ctx512
textapache-2.0hugging-face
timm
deepseek_vit_412m_enc.deepseek_v4_1_flash

Это визуальный энкодер семейства Vision Transformer, выделенный из DeepSeek-V4.1-Flash и преобразованный в формат timm без дополнительного обучения. Модель содержит около 485,3 млн параметров и предназначена для извлечения признаков изображения; языковых весов и обученной классификационной головы в ней нет. Энкодер использует патчи 14×14, SwiGLU, RMSNorm и двумерное осевое RoPE. В варианте _enc сохранены пространственный выравниватель 3×3 и проекция токенов в ширину 5120; доступны также промежуточные карты признаков. Поддерживаются RGB-изображения, в том числе прямоугольные, с типовым размером обработки 546×546. Для корректной работы размеры входа по умолчанию должны делиться на 14; timm-преобразования отличаются от исходной адаптивной предобработки DeepSeek. Модель подходит для получения визуальных признаков и токенных представлений изображений в мультимодальных системах. Распространяется по лицензии MIT.

1450сент. 2026
imageembeddingmithugging-face
timm
densenet169.tv_in1k

DenseNet169 — сверточная модель для классификации изображений и извлечения признаков, опубликованная в библиотеке timm. Модель содержит около 14,1 млн параметров, использует архитектуру DenseNet с плотными связями между слоями и обучена на ImageNet-1k. Для классификации рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность составляет около 3,4 GMACs. Модель подходит для отнесения изображений к категориям ImageNet-1k, получения карт признаков и векторных представлений изображений. Её можно использовать как визуальный backbone в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.

12K0апр. 2023
imageapache-2.0hugging-face
dicta-il
dictabert-large-parse

DictaBERT Large Parse — модель семейства BERT, выпущенная Dicta для совместного синтаксического и морфологического разбора современного иврита. Это дообученная версия dictabert-large-joint, адаптированная к методам разметки корпусов Hebrew UD Treebank и NEMO. Модель содержит около 533,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Модель выполняет сегментацию префиксов, морфологическое снятие неоднозначности, лемматизацию, синтаксический разбор зависимостей и распознавание именованных сущностей. Результат можно получить в JSON или в форматах Universal Dependencies, включая вариант, адаптированный к стилю IAHLT. Лицензия — CC BY 4.0.

1671март 2024ctx512
textembeddingcc-by-4.0hugging-face
Lau123
distilbert-base-uncased-detect_ai_generated_text

Lau123/distilbert-base-uncased-detect_ai_generated_text — дообученная Lau123 модель на базе DistilBERT для классификации текста, в частности для определения текста, созданного ИИ. Архитектура — DistilBertForSequenceClassification; веса опубликованы в формате safetensors. Базовая модель — distilbert/distilbert-base-uncased, лицензия — Apache-2.0, максимальный контекст — 512 токенов. Модель предназначена для классификации текстовых фрагментов. В README приведены значения accuracy и F1, равные 1.0, и loss 0.0089 на оценочном наборе; состав и размер набора не раскрыты, поэтому эти результаты не позволяют судить о качестве на новых данных. Датасет обучения также не указан. Поддерживается английский текст, что следует из uncased-версии базовой модели.

111дек. 2023ctx512
textapache-2.0hugging-face
yochen
distilroberta-base-finetuned-marktextepoch_200

yochen/distilroberta-base-finetuned-marktextepoch_200 — модель классификации текста на базе архитектуры RoBERTa, содержащая 95,2 млн параметров. Карточка сообщает, что модель обучалась с нуля на неизвестном наборе данных, но не описывает метки классов, область применения или результаты оценки. Модель принимает текст и выдаёт результат классификации. Контекст составляет до 514 токенов. В метаданных указан формат PyTorch. Лицензия и поддерживаемые естественные языки не приведены, поэтому конкретные сценарии и качество классификации оценить нельзя.

60авг. 2022ctx514
texthugging-face
raffaelsiregar
dog-breeds-classification

Модель Dog Breeds Classification разработана как дообученная версия Vision Transformer google/vit-base-patch16-224. Она принимает изображения размером 224×224 пикселя и классифицирует собак по 71 породе. По данным карточки, на наборе оценки она показала accuracy 0,9743 и loss 0,0763. Модель предназначена для определения породы собаки на фотографии. Она использует архитектуру ViTForImageClassification и распространяется в формате safetensors по лицензии Apache-2.0. Результаты оценки относятся к указанному набору данных; состав выборки и подробности методики оценки не описаны.

430окт. 2024
imageapache-2.0hugging-face
amahdaouy
DomURLs_BERT

DomURLs_BERT — предварительно обученный энкодер на базе BERT, разработанный для анализа доменных имён и URL в задачах кибербезопасности. Модель обучалась с задачей masked language modeling на многоязычном корпусе URL, доменов и данных о доменах, созданных алгоритмами DGA. Это модель-энкодер с 137,8 млн параметров и контекстом до 512 токенов; веса опубликованы в формате Safetensors и предназначены для использования через Transformers. Энкодер можно применять как основу для классификаторов подозрительных и вредоносных доменов и URL, включая обнаружение фишинга, вредоносного ПО, DGA-доменов и DNS-туннелирования. В статье сообщается, что в экспериментах на нескольких бинарных и многоклассовых наборах данных модель превзошла ряд символьных и специализированных BERT-моделей для кибербезопасности. Численные метрики и подробности оценки в карточке не приведены; для практического применения нужны подходящая downstream-модель и проверка на актуальных данных. Лицензия в предоставленных сведениях не указана.

5293авг. 2024ctx512
textembeddinghugging-face
smp-hub
efficientnet-b5.imagenet

Репозиторий содержит веса EfficientNet-B5, предварительно обученные на ImageNet. Модель предназначена для классификации изображений и может использоваться как энкодер в библиотеке segmentation-models-pytorch, в том числе в моделях сегментации. Карточка указывает архитектуру EfficientNet-B5 и формат весов safetensors. Модель принимает изображения и выдаёт предсказания классов. Лицензия обозначена как other; конкретные условия следует проверять в файлах репозитория и источниках лицензии.

1.4K0янв. 2025
imageotherhugging-face
alnnahwi
gemma-3-1b-arabic-gec-v1

Модель alnnahwi/gemma-3-1b-arabic-gec-v1 разработана Bahjat Al Mostafa (Alnnahwi) и дообучена на базе Gemma 3 от Google для исправления грамматических ошибок в арабском тексте. Она принимает предложения на арабском языке и генерирует исправленный вариант. Модель содержит 1 млрд параметров, использует плотную архитектуру Gemma 3 для авторегрессионной генерации текста, работает через библиотеку Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для современного литературного арабского языка (MSA): она исправляет согласование рода и числительных, падежные формы, орфографию и пунктуацию. Её можно применять в учебных инструментах, корректуре текстов и предварительной обработке данных для последующих NLP-задач. Карточка сообщает о дообучении на пользовательском наборе данных арабской коррекции ошибок в течение семи эпох. Качество на диалектном арабском может быть ниже, а контекстно-зависимые исправления — несовершенными. README отмечает возможное снижение качества на очень длинных текстах свыше 512 токенов. Лицензия — Gemma; при использовании следует учитывать условия лицензии Gemma от Google.

1289май 2025ctx32.8K
textgemmahugging-face
KoichiYasuoka
gpt2-xlarge-japanese-juman-upos

Koichi Yasuoka разработал эту модель для разметки частей речи в японском тексте. Она дообучена на базе японской GPT-2 XL и использует архитектуру GPT-2 с классификационной головой для токенов; модель присваивает словам метки UPOS и признаки FEATS. Для работы в примере README используется библиотека Transformers и требуется fugashi. Контекст модели — до 1024 токенов. Модель подходит для морфосинтаксического анализа японских предложений и подготовки данных с разметкой частей речи. Она принимает текст и выдаёт метки для его токенов. Обучение связано с Universal Dependencies. Модель распространяется по лицензии CC BY-SA 4.0.

830авг. 2024ctx1K
textcc-by-sa-4.0hugging-face
hxxris
haaris-audio-classification-modified

hxxris/haaris-audio-classification-modified — модель классификации аудио на архитектуре Wav2Vec2ForSequenceClassification, дообученная разработчиком на основе facebook/wav2vec2-base. Она предназначена для отнесения аудиозаписей к классам и может использоваться в задачах, где метки определяются по аудиосигналу. В репозитории указаны веса SafeTensors, размер модели — 113,3 млн параметров, лицензия — Apache-2.0. Карточка не описывает набор классов, обучающие данные, качество, поддерживаемые языки или конкретные сценарии применения. Поэтому применимость к отдельным типам аудио и языкам речи по доступным сведениям установить нельзя.

212янв. 2024
textapache-2.0hugging-face
rinna
japanese-roberta-base

rinna/japanese-roberta-base — базовая японская модель RoBERTa от компании rinna Co., Ltd., обученная с использованием кода проекта rinnakk/japanese-pretrained-models. Это трансформерная модель на 12 слоёв с размерностью скрытого представления 768 и примерно 137,8 млн параметров; она предназначена для предсказания замаскированных токенов в японском тексте. Модель обучалась на японских данных CC-100 и Wikipedia с помощью задачи masked language modeling. Для токенизации используется SentencePiece, контекст составляет до 514 токенов. Модель подходит для восстановления пропусков и получения контекстных предсказаний японских слов, а также как базовый чекпойнт для NLP-систем, которым нужно представление японского языка. Для корректного использования README рекомендует добавлять токен [CLS], заменять токен на [MASK] уже после токенизации и явно задавать position_ids, начинающиеся с 0. Для весов указана лицензия MIT.

8.0K40март 2022ctx514
textmithugging-face
Nan-Do
LeetCodeWizard_7B_V1.1

LeetCodeWizard_7B_V1.1 — языковая модель Nan-Do для решения и объяснения задач LeetCode и других задач программирования. Это дообученная версия WizardCoder-Python-7B-V1.1 на наборе задач LeetCode; модель построена на архитектуре Llama и содержит 6,6 млрд параметров. Модель генерирует код и текстовые объяснения решений, поэтому подходит для подготовки к техническим собеседованиям, практики алгоритмов и разбора программных задач. Для взаимодействия используется шаблон инструкций Alpaca. Указанный контекст составляет 16 384 токена; в метаданных язык карточки — английский, а Python указан среди тегов. Модель распространяется по лицензии Llama 2. Заявленная способность решать большинство задач LeetCode не является гарантией корректности: ответы и код следует проверять, особенно для задач со скрытыми тестами и требованиями, не отражёнными в условии.

282окт. 2023ctx16.4K
textllama2hugging-face
prs-eth
marigold-depth-v1-0

Marigold Depth v1-0 — модель для оценки глубины по одному изображению, разработанная Bingxin Ke, Anton Obukhov, Shengyu Huang, Nando Metzger, Rodrigo Caye Daudt и Konrad Schindler. Это дообученная на базе Stable Diffusion 2 латентная диффузионная модель, предназначенная для монокулярной оценки глубины и рассчитанная на работу с изображениями в различных сценах без привязки к конкретному домену. Модель выдаёт карту относительной глубины, значения которой от 0 до 1 обозначают ближние и дальние области в выбранном моделью масштабе; абсолютные расстояния она не предсказывает. При объединении более двух предсказаний также можно получить карту неопределённости. Для наилучшего качества авторы рекомендуют DDIM и 10–50 шагов денойзинга. Хотя можно обрабатывать изображения любого размера, эффективное разрешение унаследовано от базовой модели и составляет около 768 пикселей; для крупных изображений рекомендуется уменьшить длинную сторону до этого размера. Модель опубликована под лицензией Apache 2.0 и доступна для использования через Diffusers. Она предназначена для оценки глубины по одиночным изображениям и не заменяет измерение абсолютных расстояний; версия v1-0 может давать менее оптимальные результаты при настройках числа шагов, отличных от рекомендованных.

11K143дек. 2023
imageapache-2.0hugging-face
facebook
maskformer-swin-base-ade

MaskFormer — модель сегментации изображений, основанная на архитектуре MaskFormer с backbone Swin Base. Чекпойнт обучен на ADE20K для семантической сегментации и опубликован командой, выпустившей MaskFormer; карточку подготовила команда Hugging Face. Модель предсказывает набор масок и соответствующих им меток, что позволяет применять единый подход к сегментации объектов, семантической и паноптической сегментации. Этот чекпойнт предназначен для семантической сегментации сцен и распознавания областей ADE20K. Он принимает изображение и выдаёт сегментационные маски с метками классов. Модель подходит для анализа сцен, но карточка рекомендует этот конкретный чекпойнт именно для семантической сегментации. Лицензия указана как other, поэтому условия использования следует сверить с репозиторием и исходной лицензией.

8.8K15март 2022
imageotherhugging-face
wls04
math_cau4

wls04/math_cau4 — дообученная модель семейства Qwen2 для классификации токенов. Она основана на Qwen/Qwen2.5-Math-1.5B-Instruct и обучалась с помощью TRL. Архитектура — плотная Qwen2ForTokenClassification, размер — 1,5 млрд параметров; максимальная длина контекста составляет 4096 токенов. Модель предназначена для задач разметки отдельных токенов во входном тексте. Карточка указывает на обучение в области математики, но не описывает конкретные классы разметки или качество на задачах; пример запуска в README относится к генерации текста и расходится с архитектурой классификации токенов. Для использования доступны веса в формате safetensors; лицензия в предоставленных данных не указана.

110июнь 2026ctx4.1K
texthugging-face
saiyiram
mbert-tamil-pos-tagging

saiyiram/mbert-tamil-pos-tagging — модель на базе многоязычного BERT от Google, дообученная для разметки частей речи в тексте на тамильском языке. Она принимает текст и присваивает метку каждому токену; модель реализована как BertForTokenClassification и доступна в формате safetensors. Размер — 205,1 млн параметров, максимальная длина контекста — 512 токенов. В README указаны результаты оценки: accuracy 0,8155, macro F1 0,6485 и weighted F1 0,8040. Обучающий датасет в карточке не описан. Модель выпущена под лицензией Apache-2.0.

120сент. 2026ctx512
textapache-2.0hugging-face
kyutai
mimi

Mimi — нейронный аудиокодек, разработанный Kyutai. Модель содержит 33,6 млн параметров и использует потоковую архитектуру энкодера-декодера с квантованным латентным пространством. Она представляет речь семантическими и акустическими аудиотокенами с частотой 12,5 Гц и битрейтом 1,1 кбит/с. Mimi предназначена для потокового сжатия и восстановления речи, а также для подготовки аудиотокенов при обучении речевых языковых моделей и систем синтеза речи. Модель принимает аудио и извлекает признаки; карточка Hugging Face относит её к задаче feature-extraction. В карточке указано ограничение контекста 8000 токенов. Обучение на речевых данных делает её специализированной для речи, а не универсальным кодеком для всех типов аудио. Модель разработана Kyutai и распространяется по лицензии CC-BY 4.0. В карточке отмечены смещения, связанные с представленностью тем в обучающих данных, и ограничение одним синтезируемым голосом; модель не предназначена для имитации голосов других людей.

246K336сент. 2024ctx8K
textembeddingcc-by-4.0hugging-face
HachiML
Mists-7B-v01-simple-projector-trained

Mists-7B-v01-simple-projector-trained — дообученная модель HachiML на базе HachiML/Mists-7B-v01-not-trained. В метаданных она отнесена к семейству Mists, архитектуре плотной модели MistsForConditionalGeneration и задаче извлечения признаков; репозиторий содержит веса в формате safetensors и указан интерфейс чата. Модель предназначена для извлечения признаков. Базовая модель описана в каталоге как экспериментальная мультимодальная система для совместной работы с текстом и временными рядами, но она непригодна к использованию из-за необученного адаптера. README сообщает о дообучении на неизвестном наборе данных и значении loss 0,0152 на оценочном наборе, однако не приводит описание модели, сценарии использования или методику оценки. Лицензия — Apache-2.0.

120июль 2024
textembeddingapache-2.0hugging-face
OpenMOSS-Team
MOSS-Audio-Tokenizer

MOSS-Audio-Tokenizer — аудиотокенизатор команды OpenMOSS-Team, построенный на архитектуре Cat (Causal Audio Tokenizer with Transformer). Модель кодирует и восстанавливает аудио, представляя его дискретными токенами; она предназначена для работы как компактный аудиоинтерфейс для аудиомоделей и последующих задач понимания и генерации речи. Архитектура состоит из причинных Transformer-блоков без CNN; суммарный размер энкодера и декодера — 1,6 млрд параметров. Токенизатор обрабатывает аудио с частотой дискретизации 24 кГц и частотой кадров 12,5 Гц, использует 32-слойный RVQ и поддерживает битрейт от 0,125 до 4 кбит/с. Заявлена потоковая обработка чанками. Модель обучена с нуля на разнообразных аудиоданных и рассчитана на речь, звуковые эффекты и музыку. Карточка указывает Apache-2.0. Репозиторий содержит реализацию для Transformers с удалённым кодом, поэтому для загрузки README использует trust_remote_code=True. Токенизатор предназначен для кодирования и реконструкции аудио, а не для самостоятельного распознавания речи или синтеза речи; качество зависит от выбранного битрейта. Потоковая обработка ограничена batch_size=1 и требованиями к длительности чанка.

75K46февр. 2026
textembeddingapache-2.0hugging-face
oddadmix
Nawah-BERT-6M-bilingual

Nawah-BERT-6M-bilingual — двуязычная модель семейства BERT от oddadmix, обученная с нуля предсказывать замаскированные токены. Она предназначена для задач masked language modeling на арабском и английском языках и может служить компактной энкодерной основой для экспериментов и последующего дообучения. Архитектура включает 8 слоёв, скрытый размер 128 и 2 головы внимания; модель содержит 6,2 млн параметров и принимает контекст до 2048 токенов. Модель обучалась на сбалансированном корпусе из 5 млрд арабских и 5 млрд английских токенов с двуязычным токенизатором на 32 тысячи токенов. В README приведены результаты оценки на отложенных данных для обоих языков. Весá опубликованы в формате safetensors, библиотека — Transformers, лицензия — Apache-2.0.

2900сент. 2026ctx2K
textapache-2.0hugging-face
oddadmix
Nawah-Router-BERT-6M-bilingual-pretrained

Nawah-Router-BERT-6M-bilingual-pretrained — компактная двуязычная модель маршрутизации запросов на базе BERT, разработанная oddadmix. Она принимает текст и список категорий на английском или арабском и оценивает категории за один проход, помогая направлять запросы в нужные тематические или функциональные каналы. Модель дообучена на Nawah-BERT-6M-bilingual, предварительно обученной с нуля на арабских и английских текстах; для обучения маршрутизатора использованы наборы данных arabic-prompt-routing и prompt-routing-en. Модель содержит 6,2 млн параметров, имеет контекст 2048 токенов и распространяется в формате safetensors. В приведённом сравнении двуязычная предобученная основа улучшила результаты на английских разбиениях относительно арабской основы, но на арабском тесте unseen_axis показатель снизился с 0,605 до 0,570. Лицензия — Apache-2.0.

580сент. 2026ctx2K
textapache-2.0hugging-face
varun-v-rao
opt-350m-fp-sick

varun-v-rao/opt-350m-fp-sick — это модель классификации текста, полученная дообучением OPT-350M от Meta AI на наборе данных SICK. Она предназначена для классификации текстовых примеров; на оценочной выборке указана точность 0,8545 и loss 0,4717. Модель содержит 454,1 млн параметров, использует архитектуру OPTForSequenceClassification и принимает последовательности длиной до 2048 токенов. Доступные веса представлены в формате safetensors. В метаданных указана лицензия other.

70июнь 2024ctx2K
textotherhugging-face
opus-research
opus-moderation-4-large

Opus Moderation 4 Large (om4-large) — модель классификации текста от команды opus-research для модерации контента. Это полноценно дообученный ModernBERT-large с 394,7 млн параметров и контекстом до 8192 токенов; модель выдаёт оценки по семи меткам токсичности и отдельную оценку обнаружения jailbreak-атак. Оценки откалиброваны как доли аннотаторов, которые пометили бы текст; для многометочной классификации следует применять sigmoid, а не softmax. В репозитории также есть пороги для каждой метки. Модель предназначена для автоматической проверки пользовательских комментариев и сообщений, выявления оскорблений, токсичности, непристойного содержания, угроз и попыток обхода ограничений языковых моделей. В описанном авторами тесте на 20 тысячах примеров она показала macro F1 0,543 по семи меткам и F1 0,903 для jailbreak-детекции. Основные заявленные ограничения — ненадёжная метка severe_toxicity, более слабое распознавание угроз и специализация на английских текстах в жанрах новостных комментариев и диалогов с LLM; обучение проводилось на длине 384 токена. Лицензия модели — Apache-2.0, однако среди обучающих данных есть toxic-chat с лицензией CC-BY-NC, что может влиять на допустимость отдельных сценариев использования.

871июль 2026ctx8.2K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей