/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
5 611–5 640 из 23 488
CAMeL-Lab
bert-base-arabic-camelbert-ca-poetry

CAMeLBERT-CA Poetry Classification Model — модель классификации арабской поэзии, разработанная CAMeL Lab путём дообучения CAMeLBERT для классического арабского языка на наборе данных APCD. Она предназначена для классификации стихотворных текстов и может использоваться через pipeline библиотеки Transformers; авторы также планировали добавить поддержку в CAMeL Tools. Модель основана на архитектуре BERT и содержит 136,3 млн параметров. Она принимает текст на арабском языке, имеет контекстное окно 512 токенов и выдаёт метку классификации. Доступны версии в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

375март 2022ctx512
textapache-2.0hugging-face
hitachi-nlp
bert-base-japanese_mecab-unigram

Японская BERT-base модель от hitachi-nlp для предсказания пропущенных токенов в тексте. Она использует архитектуру BERT с головой BertForMaskedLM, содержит 136,3 млн параметров и принимает последовательности длиной до 512 токенов. В комплекте предусмотрена токенизация MeCab с Unigram; для её загрузки требуется отдельно получить файл словаря из репозитория разработчика. Модель обучалась на данных Wikipedia и CC-100 и рассчитана на японский язык. Её можно использовать для восстановления замаскированных фрагментов текста и как основу для задач анализа японского текста. Репозиторий распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование.

2911июнь 2023ctx512
textcc-by-nc-sa-4.0hugging-face
leomaurodesenv
bert-base-uncased-disaster-tweet-jailbreaking-augmented

Модель leomaurodesenv/bert-base-uncased-disaster-tweet-jailbreaking-augmented — дообученная англоязычная BERT-модель Google на основе google-bert/bert-base-uncased для классификации текста. Она предназначена для отнесения текстовых последовательностей к классам; название указывает на связь с сообщениями о катастрофах и данными для jailbreaking, однако карточка не поясняет точную схему меток или сценарий классификации. Модель содержит 136,7 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов.

60авг. 2026ctx512
textapache-2.0hugging-face
animetimm
caformer_b36.dbv4-full

animetimm разработала модель многометочной классификации изображений на основе CAFormer, предназначенную также для извлечения визуальных признаков. Это дообученная версия timm/caformer_b36.sail_in22k_ft_in1k_384, адаптированная на наборе animetimm/danbooru-wdtagger-v4-w640-ws-full для предсказания 12 476 тегов, включая общие теги, персонажей и рейтинговые категории. Модель содержит 134 млн параметров и рассчитана на изображения 384 × 384 пикселя. Её можно использовать с timm и PyTorch для обучения и оценки, а также выполнять инференс в формате ONNX. В README приведены метрики на тестовой выборке: micro F1 0,689 при пороге 0,40; качество различается между категориями тегов. Модель подходит для автоматической разметки изображений в стиле Danbooru и поиска изображений по предсказанным тегам. Она ориентирована на соответствующий набор тегов, поэтому качество на иных типах изображений и вне этой таксономии не подтверждено. Лицензия — GPL-3.0.

4.4K19май 2025
imagegpl-3.0hugging-face
CentIo
Cent1-1B

Cent1-1B — компактная причинно-языковая модель, разработанная CentIo для вызова инструментов в финансовых сценариях и анализа финансовой отчётности. Она дообучена на Qwen/Qwen3-1.7B и использует плотную архитектуру Qwen3 с 1,7 млрд параметров, 28 слоями и контекстом 40 960 токенов. Модель принимает текстовый запрос и схемы доступных функций, выбирает подходящий инструмент и формирует вызов с типизированными аргументами; если инструмент не нужен, отвечает в диалоговом формате. Поддерживает английский язык. Весовая версия fp16 занимает около 3,4 ГБ; лицензия Apache 2.0. В тестировании BFCL v3 simple модель показала качество вызова функций, близкое к Qwen3-4B, особенно при заполнении аргументов. Её следует использовать как маршрутизатор запросов и форматировщик вызовов, а вычисления поручать отдельным инструментам. На тесте FinQA точность численных ответов была низкой и ниже базовой модели; неоднозначные схемы инструментов также ухудшают маршрутизацию. Модель не предназначена для сложного многоэтапного планирования или длительных агентных сценариев, а её выводы не являются финансовой консультацией.

5516сент. 2026ctx41K
textapache-2.0hugging-face
hfl
cino-base-v2

CINO-base-v2 — многоязычная предварительно обученная языковая модель лаборатории HFL, совместной лаборатории HIT и iFLYTEK Research. Она построена на XLM-R и дополнительно обучена на корпусах китайского и ряда языков и языковых разновидностей Китая: тибетского, монгольского в уйгурской письменности, уйгурского, казахского в арабской письменности, корейского, чжуанского и кантонского. Модель предназначена для понимания текста на этих языках и может использоваться как основа для NLP-систем; её основная задача в каталоге — восстановление замаскированных токенов (fill-mask). Архитектура — XLM-RoBERTa для masked language modeling, размер — 217,2 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и TensorFlow. Модель принимает текст и предсказывает замаскированные текстовые токены. README не приводит результаты оценивания или конкретные ограничения качества. Лицензия — Apache-2.0.

1.8K6март 2022ctx514
textapache-2.0hugging-face
tanganke
clip-vit-base-patch32_sun397

Это дообученная на наборе изображений SUN397 зрительная часть модели CLIP ViT-B/32, основанной на архитектуре Vision Transformer с размером патча 32. Репозиторий содержит 113,2 млн параметров в формате Safetensors; разработчик модели в предоставленных данных не указан. Модель предназначена для извлечения признаков изображений и представления сцен, в частности для задач, связанных с категориями SUN397. В карточке приведены результаты оценки: 0,6321 для исходной модели и 0,7501 после дообучения; метрика не названа. Для использования предлагается загрузка через Transformers как CLIPVisionModel. Это только зрительная часть CLIP, поэтому из карточки нельзя заключить, что данный репозиторий самостоятельно выполняет сопоставление изображения с текстом. Сведения о лицензии, языковой поддержке и ограничениях применения в предоставленных данных отсутствуют.

19K1апр. 2024
textembeddinghugging-face
SI2M-Lab
DarijaBERT

DarijaBERT — языковая модель от AIOX Lab и SI2M Lab INSEA для марокканского арабского диалекта дарижа. Это модель семейства BERT с архитектурой BERT-base без задачи Next Sentence Prediction; она содержит около 174,7 млн параметров и поддерживает контекст до 512 токенов. Модель обучена примерно на 100 млн токенов из рассказов на дариже, комментариев YouTube и твитов. Основная задача модели — предсказывать пропущенные токены в тексте на дариже. Она подходит для языковых исследований и как основа для приложений обработки марокканского диалекта. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

64137март 2022ctx512
texthugging-face
Andou2yu
deep-attackg-cross-encoder

Andou2yu/deep-attackg-cross-encoder — дообученная модель cross-encoder на базе cross-encoder/ms-marco-MiniLM-L6-v2, созданная с помощью библиотеки Sentence Transformers. Она оценивает пары текстов и выдаёт один числовой балл, который используют для ранжирования документов относительно запроса и семантического поиска. В README указано обучение на 42 906 парах текстов; примеры и состав данных относятся к описаниям кибератак и вредоносной активности, поэтому модель ориентирована на поиск и сопоставление материалов по кибербезопасности. Модель построена на архитектуре BERT и содержит 25,9 млн параметров. Максимальная длина последовательности — 512 токенов. Для оценки релевантности она принимает пару текстов, обрабатываемую совместно, и возвращает скалярную оценку; формат весов — safetensors. Лицензия и поддерживаемые языки в предоставленных сведениях не обозначены. Результаты зависят от обучающих данных, а ограничение длины может требовать сокращения длинных текстов.

90июнь 2026ctx512
texthugging-face
Nevico
dfine-small-remia-cartons

Nevico/dfine-small-remia-cartons — детектор объектов D-FINE Small, разработанный на основе ustc-community/dfine-small-coco и дообученный Nevico на наборе изображений Nevico/remia-ned1-cam1-cartons. Модель предназначена для обнаружения картонных коробок на изображениях и выдаёт их расположение в виде ограничивающих рамок с классом объекта. В README приведены результаты на оценочной выборке: mAP 0,9785, mAP@50 0,99 и mAP@75 0,9793 для класса Carton. Эти показатели относятся к указанной выборке; сведений о проверке на других данных нет. Модель принимает изображения и выдаёт рамки и метки обнаруженных объектов. Репозиторий использует формат Safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

90июль 2026
imageapache-2.0hugging-face
dicta-il
dictabert-parse

DictaBERT Parse — модель BERT, разработанная Dicta, для совместного морфологического и синтаксического разбора современного иврита. Модель объёмом 211,6 млн параметров дообучена от dictabert-joint на Hebrew UD Treebank и корпусах NEMO, чтобы согласовать разметку с этими корпусами. Длина контекста — до 512 токенов. Модель сегментирует префиксы, снимает морфологическую неоднозначность, определяет леммы, строит деревья зависимостей и распознаёт именованные сущности. Результаты можно получить в JSON или в форматах Universal Dependencies, включая вариант разметки IAHLT. Лицензия — CC BY 4.0.

8471февр. 2024ctx512
textembeddingcc-by-4.0hugging-face
zeromodels
dinov2-small

zeromodels/dinov2-small — конверсия модели DINOv2-small от Facebook AI Research в Keras 3, подготовленная проектом zeromodels. Это самообученный Vision Transformer без отдельной целевой головы: он принимает изображения и возвращает признаки и токены патчей для последующего использования в визуальных задачах и downstream-моделях. Модель предназначена для извлечения переносимых визуальных признаков, например для построения классификаторов и других задач компьютерного зрения. Реализация работает с TensorFlow, Torch и JAX; в репозитории указана версия весов TensorFlow. Процессор нормализует входные изображения, поэтому настройки нормализации при подаче данных следует согласовать с ним. Модель основана на facebook/dinov2-small и выпущена по лицензии Apache 2.0. В карточке не приведены параметры размера входного изображения или численный размер вектора признаков.

640июль 2026
imageembeddingapache-2.0hugging-face
alizaabbas12
distilbert-sms-spam-sargodha

DistilBERT для классификации SMS-сообщений на спам и обычные сообщения (Ham). Модель предназначена для фильтрации нежелательных SMS и выявления рекламных или мошеннических сообщений. В карточке указано обучение на наборе SMS Spam Collection Dataset с Kaggle. Модель использует архитектуру DistilBertForSequenceClassification, принимает текст и выдаёт метку класса. Максимальная длина контекста — 512 токенов. В карточке приведены результаты: accuracy 99,19%, precision 100%, recall 94,12% и F1 96,91%; эти показатели относятся к описанной оценке и могут не отражать качество на других данных. Модель распространяется по лицензии MIT.

190июль 2026ctx512
textmithugging-face
Trakerlack
distilbert-toxic-onnx-int8

Trakerlack/distilbert-toxic-onnx-int8 — модель классификации токсичных комментариев, созданная дообучением distilbert-base-uncased на наборе Jigsaw Toxic Comment Classification. Она относит текст к одному из двух классов: токсичный или чистый. Модель предназначена для модерации комментариев и фильтрации пользовательского контента. Модель основана на DistilBERT и экспортирована в ONNX с динамической INT8-квантизацией для быстрого вывода на CPU. В README указаны AUC-ROC 0,9217, размер 64 МБ и медианная задержка около 29 мс на CPU. Контекст модели составляет 512 токенов. Поддерживается английский язык. Лицензия — Apache-2.0.

80июнь 2026ctx512
textapache-2.0hugging-face
KoRiF
distilhubert-finetuned-gtzan

KoRiF разработал модель distilhubert-finetuned-gtzan, дообучив компактную HuBERT-модель ntu-spml/distilhubert на наборе GTZAN для классификации аудио. Модель содержит 18,9 млн параметров и предназначена для отнесения аудиозаписей к музыкальным жанрам. На оценочной выборке GTZAN указаны accuracy 0,88 и loss 0,7321. Модель принимает аудио и выдаёт метку класса; базовая модель рассчитана на аудио с частотой 16 кГц. Лицензия — Apache-2.0. Подробности о поддерживаемых жанрах, длительности входных записей и условиях оценки не приведены.

300июль 2023
textapache-2.0hugging-face
MahmoodAnaam
flaird-modernbert-large-attention-single-task-frozen

MahmoodAnaam/flaird-modernbert-large-attention-single-task-frozen — модель классификации последовательностей на базе архитектуры FlairD, опубликованная в формате safetensors и использующая библиотеку Transformers. В README указано, что модель дообучена на неизвестном наборе данных; базовая модель и конкретные классы не названы. Модель предназначена для классификации текста. В карточке приведены результаты оценки: ROC-AUC 0,991, F1 0,966, F0.5u 0,985, C@1 0,936, среднее значение 0,967 и loss 0,0073. Описание применения, обучающих данных и ограничений в README отсутствует, поэтому область применения и переносимость метрик на другие данные неясны.

170сент. 2026ctx8.2K
texthugging-face
walston
GenAID

GenAID — модель кодирования аудио для распознавания китайских акцентов, построенная на базе facebook/wav2vec2-large-xlsr-53. Она принимает необработанный аудиосигнал с частотой 16 кГц и формирует 64-мерный вектор акцента, стараясь отделять признаки акцента от информации о личности говорящего. Архитектура включает сверточный экстрактор признаков XLS-R, Transformer-энкодер из 24 блоков и узкое место с GELU; экстрактор признаков заморожен, а энкодер и проекция дообучены. Модель различает девять меток: северный, сычуаньский, гуандунский, южный, хэнаньский, шанхайский, уханьский, тяньцзиньский и сингапурский варианты китайской речи. Её можно применять для классификации акцента и извлечения компактных векторов акцента в аудиосистемах. Для загрузки репозитория требуется trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

210авг. 2026
audioapache-2.0hugging-face
KoichiYasuoka
gpt2-small-japanese-wikipedia-juman-upos

Koichi Yasuoka разработал эту модель на основе GPT-2 small, предварительно обученной на японской Википедии. Она дообучена для разметки японского текста: присваивает словам теги UPOS и признаки FEATS, то есть определяет части речи и грамматические характеристики. Модель рассчитана на анализ предложений на японском языке и использует архитектуру GPT-2 с контекстом до 1024 токенов. Модель можно применять для морфологического анализа японских текстов и подготовки лингвистически размеченных данных. Для работы требуется библиотека fugashi. Репозиторий содержит веса PyTorch и распространяется по лицензии CC BY-SA 4.0.

1300окт. 2024ctx1K
textcc-by-sa-4.0hugging-face
MadeAgents
Hammer2.0-0.5b

Hammer 2.0-0.5B — компактная языковая модель для вызова функций в приложениях с агентами на устройстве, разработанная командой MadeAgents. Это плотная авторегрессионная модель семейства Qwen2, дообученная на базе Qwen/Qwen2.5-0.5B-Instruct с применением маскирования функций. Для обучения использованы 60 тысяч примеров вызова функций из APIGen/xLAM и дополнительный набор xlam-irrelevance-7.5k. Модель содержит 493,7 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для генерации текста и выбора или вызова функций в агентных сценариях, в том числе для локальных приложений с ограниченными ресурсами. В README сообщается о результатах на BFCL-v3 и других академических тестах, но эти оценки не гарантируют качество для конкретных инструментов и рабочих процессов. Карточка указывает лицензию CC BY 4.0.

4751сент. 2024ctx32.8K
textcc-by-4.0hugging-face
superb
hubert-large-superb-er

superb/hubert-large-superb-er — портированная в Transformers версия HuBERT из S3PRL для распознавания эмоций в речи в рамках задачи SUPERB. Модель классифицирует аудиозапись высказывания по эмоциональному классу; обучение и оценка описаны для четырёх сбалансированных классов датасета IEMOCAP с пятикратной кросс-валидацией. Базовая модель hubert-large-ll60k предварительно обучена на речи с частотой дискретизации 16 кГц, поэтому входное аудио также должно иметь частоту 16 кГц. Архитектура — HuBERT Large с классификационной головой для последовательностей, около 402,7 млн параметров; веса доступны в формате PyTorch. В опубликованном README приведена точность 0,6762 для реализации S3PRL на session1; результат для версии Transformers не указан. Модель распространяется по лицензии Apache-2.0.

3.9K25март 2022
textapache-2.0hugging-face
Jeevesh8
long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_mnli_ft_94

Jeevesh8/long_cpts_corr_init_shuff_clipped_warmed_seq_len_128_bert-base-uncased_mnli_ft_94 — модель, размещённая пользователем или организацией Jeevesh8 на Hugging Face. По карточке каталога Hugging Face она относится к задачам классификации текста и была обновлена 21 июля 2022 года. Модель основана на BERT-base-uncased и дообучена на задаче Multi-Genre Natural Language Inference (MNLI), поэтому предназначена для классификации отношений между парами текстов, включая entailment, contradiction и neutral, а также для связанных сценариев текстовой классификации. Идентификатор указывает на максимальную длину последовательности 128 токенов и на специальную процедуру обучения с параметрами, связанными с инициализацией, перемешиванием, clipping и warmup, однако подробности этой процедуры в доступных данных не раскрыты. Возможности модели ограничены текстовыми входами; сведения о поддерживаемых языках, точном числе параметров, метриках качества, сильных сторонах, ограничениях и лицензии для этого конкретного варианта надёжно не указаны. Поэтому её следует рассматривать как англоязычную BERT-модель для MNLI-подобной классификации только при подтверждении соответствия конкретному набору данных и условиям использования.

1350июль 2022ctx512
texthugging-face
facebook
maskformer-swin-small-ade

MaskFormer — модель компьютерного зрения, разработанная командой Facebook и обученная для семантической сегментации изображений на ADE20K. Это версия small с backbone Swin; архитектура MaskFormer предсказывает набор масок и соответствующих им меток и применяет общий подход к сегментации объектов, семантической и паноптической сегментации. Данный чекпойнт предназначен для семантической сегментации сцен. Модель принимает изображение и выдаёт сегментацию по классам. В метаданных указаны форматы PyTorch и Safetensors, а также лицензия other. README не приводит подробностей о поддерживаемых классах, качестве на отдельных наборах данных или условиях лицензии.

372март 2022
imageotherhugging-face
timm
mixnet_l.ft_in1k

MixNet-L — сверточная модель для классификации изображений и извлечения визуальных признаков, представленная в библиотеке timm. Версия ft_in1k дообучена на ImageNet-1k на основе исходных весов TensorFlow с padding типа SAME и адаптирована для PyTorch. Модель содержит около 7,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для определения объектов и категорий на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура MixNet применяет смешанные глубинные свёртки с ядрами разных размеров. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Качество распознавания зависит от соответствия входных изображений обучающим данным ImageNet-1k и корректной предобработки. Карточка описывает классификацию и извлечение признаков, но не приводит сведения о поддерживаемых языках или иных модальностях.

2.5K0дек. 2022
imageapache-2.0hugging-face
KoichiYasuoka
modernbert-large-japanese-aozora-upos

Koichi Yasuoka разработал эту модель для морфологической разметки японского текста. Это дообученная ModernBERT Large, предварительно обученная на текстах 青空文庫; модель присваивает каждому короткому слову тег части речи UPOS и признаки FEATS, а также предназначена для синтаксического анализа зависимостей. Она поддерживает контекст до 8192 токенов и содержит 409,7 млн параметров. Модель подходит для автоматического анализа японских предложений и подготовки лингвистической разметки для корпусов и исследований. В README показан запуск через Transformers с пользовательским pipeline `upos` и `trust_remote_code=True`; метаданные указывают задачу `token-classification`. Распространяется по лицензии Apache-2.0.

630янв. 2025ctx8.2K
textapache-2.0hugging-face
vjosap
moralBERT-predict-cheating-in-text

vjosap/moralBERT-predict-cheating-in-text — модель классификации текста, опубликованная автором Vjosa Preniqi на Hugging Face. По названию и типу задачи она предназначена для выявления в тексте тем или признаков, связанных с обманом, в рамках классификации моральных категорий. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT. Модель принимает текст и выдаёт результат классификации. Доступные сведения подтверждают задачу text-classification, однако не раскрывают архитектуру, обучающие данные, поддерживаемые языки, схему меток и точность. Поэтому предсказания следует рассматривать как вспомогательную классификацию, а не как достоверное установление факта обмана.

11K0авг. 2024ctx512
textmithugging-face
dima806
multiple_accent_classification

dima806/multiple_accent_classification — модель классификации аудио для распознавания акцента в речи. Она создана дообучением facebook/wav2vec2-base-960h и использует архитектуру Wav2Vec2ForSequenceClassification; число параметров — 113,3 млн. Модель предназначена для отнесения речевого аудио к классам акцентов. Модель принимает аудио и выдаёт метки классов. В качестве основы использована модель wav2vec 2.0, обученная на английской речи. Репозиторий распространяется по лицензии Apache-2.0.

1203авг. 2023
textapache-2.0hugging-face
Shushant
nepaliBERT

Shushant/nepaliBERT — модель семейства BERT, опубликованная Shushant и дообученная на корпусе непальского текста. Это masked language model на архитектуре BERT Base Uncased с примерно 136,7 млн параметров и контекстом до 512 токенов; основная задача в Hugging Face — заполнение пропусков в тексте. Корпус включает около 10 млн предложений и новостные материалы с непальских сайтов и OSCAR Nepali. Модель предназначена для языковых задач на непальском языке, прежде всего для восстановления скрытых токенов и как основа для дальнейшей адаптации к NLP-задачам. В README сообщается о сравнительных результатах на анализе тональности непальских твитов, однако готовая классификационная задача не указана. Модель работает с текстом на письме деванагари. По README, модель показала loss 1,0495 на оценочной выборке и perplexity 8,56; эти результаты относятся к описанным автором экспериментам. Доступна под лицензией MIT.

63210март 2022ctx512
textmithugging-face
strickvl
nlp-redaction-classifier

strickvl/nlp-redaction-classifier — модель классификации текста, дообученная автором карточки на базе microsoft/deberta-v3-small на пользовательском датасете. Она предназначена для NLP-задач редактирования или выявления текста, связанного с редактированием, однако карточка не уточняет метки классов и рабочий сценарий. Модель использует архитектуру DeBERTa V2 для классификации последовательностей, содержит 155 млн параметров и принимает текст длиной до 512 токенов. В карточке приведены результаты оценки на тестовом наборе: loss 0,0893 и корреляция Пирсона 0,8273. Указана лицензия MIT.

152май 2022ctx512
textmithugging-face
opus-research
opus-moderation-1

Opus Moderation 1 — англоязычный классификатор модерации текста от opus-research, дообученный на answerdotai/ModernBERT-base. Модель на 149 млн параметров использует архитектуру ModernBERT для классификации последовательностей и выдаёт семь оценок токсичности и оскорбительного содержания, а также оценку попыток jailbreak. Контекст модели — до 8192 токенов, однако обучение проводилось на последовательностях длиной 192 токена, а длинные входы обрезаются. Модель предназначена для автоматической проверки комментариев и сообщений, выявления токсичности, угроз, оскорблений, атак на идентичность и попыток обхода ограничений LLM. Она обучалась на Civil Comments с мягкими метками доли голосов аннотаторов и на Toxic-Chat с метками jailbreak. На отложенных данных качество различается по меткам: например, F1 для токсичности составляет 0,694, а для оскорблений — 0,706. По заявленным проверкам, доля ложных срабатываний на реальных безвредных комментариях с упоминанием идентичности составила 3%. Модель распространяется под лицензией Apache-2.0. Карточка помечает её как заменённую версией Opus Moderation 2 и рекомендует v2 для обычного использования. Ограничения включают ненадёжную метку severe_toxicity (F1 0,10), полноту обнаружения jailbreak 0,50 при пороге 0,5, остаточную предвзятость к отдельным упоминаниям идентичности и ожидаемое снижение качества вне английских комментариев и чатов.

252июль 2026ctx8.2K
textapache-2.0hugging-face
farbodtavakkoli
OTel-Embedding-8B

OTel-Embedding-8B — текстовая модель эмбеддингов для поиска в документах телекоммуникационной отрасли, разработанная в рамках инициативы Open Telco AI. Это полнопараметрическое дообучение Qwen/Qwen3-Embedding-8B на наборе OTel-Embedding; в метаданных указаны архитектура Qwen3, 7,6 млрд параметров, контекст до 40 960 токенов и формат safetensors. Модель предназначена для извлечения релевантных фрагментов из телеком-стандартов, спецификаций, RFC, научных работ и других отраслевых документов, в том числе как поисковый компонент RAG-системы. На отложенной выборке OTel-Embedding авторы сообщают NDCG@10 93,5% ± 0,3%, что на 9,6 процентного пункта выше базовой модели. Эти результаты относятся к внутреннему разбиению набора данных и не подтверждают такое же качество на внешних тестах или во всех подразделах телекоммуникаций. Модель рассчитана на английский язык и не является универсальной; результаты поиска следует проверять перед операционным, клиентским, нормативным или сетевым применением. Лицензия модели — Apache-2.0; также необходимо учитывать лицензию или условия базовой модели.

1151февр. 2026ctx41K
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей