/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
5 401–5 430 из 23 488
KoichiYasuoka
rinna-gpt2-1b-japanese-ud-causal

KoichiYasuoka/rinna-gpt2-1b-japanese-ud-causal — японская GPT-2-модель, дообученная на базе rinna/japanese-gpt-1b для морфосинтаксической разметки и синтаксического анализа зависимостей по стандарту Universal Dependencies. Она предназначена для обработки японских предложений: определяет части речи и связи между словами; в карточке приведён пример запуска через Transformers. Модель использует плотную архитектуру GPT-2, веса PyTorch и контекст длиной до 1024 токенов. Базовая модель содержит 1,3 млрд параметров. Модель ориентирована на японский язык и обучалась для набора UD_Japanese-GSDLUW. Репозиторий распространяется по лицензии MIT. Оценки качества и ограничения за пределами указанного набора данных в карточке не приведены.

1330окт. 2024ctx1K
textmithugging-face
KoichiYasuoka
roberta-base-chinese-upos

Koichi Yasuoka разработал эту модель на основе RoBERTa для китайского языка. Она дообучена на текстах китайской Википедии, включая упрощённое и традиционное письмо, и размечает слова тегами UPOS — универсальными частями речи. Архитектура — RoBERTa с классификационной головой для токенов, размер — 133,7 млн параметров, контекст — до 512 токенов. Модель предназначена для разметки частей речи в китайском тексте и может использоваться в лингвистическом анализе и пайплайнах обработки китайского языка. В карточке также заявлен разбор зависимостей, однако указанный pipeline_tag — token-classification. Лицензия — CC BY-SA 4.0.

392дек. 2022ctx512
textcc-by-sa-4.0hugging-face
khvatov
ru_toxicity_detector

Русскоязычный классификатор токсичных комментариев на базе BERT, дообученный автором khvatov от cointegrated/rubert-tiny2. Модель предназначена для определения токсичности пользовательских комментариев и сообщений на русском языке. Обучение проводилось на объединённых наборах комментариев с 2ch.hk, Pikabu и OK.ru. В README приведены результаты на тестовой выборке: F1 составляет 0,9273 для токсичного класса и 0,9827 для нетоксичного. Модель принимает текст и выдаёт метки классификации; размер — 29 млн параметров, контекст — до 2048 токенов. Доступна в форматах PyTorch и safetensors, лицензия MIT. Показатели получены на указанных данных и могут не переноситься на другие источники или определения токсичности.

720май 2023ctx2K
textmithugging-face
abdullahashraf122
sentinel-v7-deep-flood-lstm

Sentinel-V7 Deep Hydrological Bi-LSTM — специализированная модель на базе Keras 3 для оценки риска наводнений и прогнозирования затопленных территорий по гидрологическим временным рядам и данным дистанционного зондирования. Она использует двунаправленные LSTM-слои с пакетной нормализацией, пространственным dropout и регрессионной выходной частью. Вход состоит из восьми нормализованных признаков, включая обратное радарное рассеяние Sentinel-1, высоту местности, расстояние до реки, осадки и расход воды; модель выдаёт непрерывную оценку риска наводнения. В комплект входят модель и обученный MinMaxScaler для подготовки данных. Модель предназначена для потокового или пакетного анализа телеметрии в системах мониторинга наводнений, облачных сервисах и периферийных вычислительных системах. По карточке, обучение проводилось на 83,98 млн пространственных телеметрических примеров. Репозиторий распространяется по лицензии MIT. Результаты зависят от соответствия входных данных использованным признакам и процедуре нормализации; карточка не приводит метрик качества и подробной оценки географической переносимости.

210окт. 2026
textmithugging-face
chistopat
sku110k-yolo11-object-detector

Это два облегчённых детектора объектов Ultralytics YOLO11n и YOLO11s, обученных автором репозитория на датасете SKU-110K для поиска товаров на полках и в фотографиях. Модели принимают изображения размером 640 × 640 и находят объекты одного общего класса, без определения категории товара или бренда. В репозитории есть веса PyTorch и экспорты ONNX с фиксированным входом [1, 3, 640, 640]. Модель подходит для прототипов визуального поиска, анализа полок и экспериментов с плотным обнаружением объектов. На тестовой части SKU-110K YOLO11n показала mAP50 0,906, а YOLO11s — 0,927; скорость инференса в README указана как 0,9 и 4,3 мс на изображение соответственно. Эти результаты относятся к тестовому набору SKU-110K. Автор предупреждает, что веса предназначены для исследований и разработок и не проверены для промышленного, критически важного или автоматизированного бизнес-применения. Возможны пропуски и лишние рамки на изображениях, отличающихся от розничных полок; перед применением модель следует проверить на целевых данных. Указана лицензия other, а условия использования должны соответствовать условиям исходного датасета SKU-110K.

1.2K2июнь 2026
imageotherhugging-face
wesleyacheng
sms-spam-classification-with-bert

Модель разработана Wesley Acheng для классификации SMS на спам и обычные сообщения. Автор описывает её как классификатор, созданный с помощью transfer learning на BERT и обученный на наборе SMS Spam из Сингапура. Архитектура репозитория — DistilBERT с головой классификации последовательностей; модель принимает текст, поддерживает английский язык и имеет контекст до 512 токенов. Модель подходит для фильтрации спам-сообщений в SMS-потоках и автоматической разметки сообщений. Веса доступны в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не приводит метрик качества или подробностей о составе и разделении данных, поэтому качество на сообщениях из других регионов и на современных типах спама может отличаться.

912май 2023ctx512
textapache-2.0hugging-face
aguxez
snap-plate-dfine-small-v87-gt25

snap-plate-dfine-small-v87-gt25 — модель обнаружения объектов, созданная aguxez дообучением aguxez/snap-plate-dfine-small-v1 на датасете aguxez/snap-equipment-youtube-v73-train-plate-v2. Она предназначена для поиска и локализации объектов на изображениях. Архитектура D-FINE для обнаружения объектов доступна в форматах ONNX и safetensors и используется через библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит сведения о классах объектов, качестве на тестовых данных или ограничениях применения.

210авг. 2026
imageapache-2.0hugging-face
RUSpam
spamNS_v1

RUSpam/spamNS_v1 — русскоязычная модель классификации текста для определения спама. Она основана на cointegrated/rubert-tiny2 и дообучена на датасете RUSpam/spam_dataset_v6; архитектура — BERT для классификации последовательностей, размер — 29 млн параметров. Модель принимает текст и определяет, является ли сообщение спамом. Модель предназначена для фильтрации нежелательных сообщений, в том числе в приложениях, использующих ruSpamLib. Поддерживает русский язык, использует формат safetensors и рассчитана на контекст до 2048 токенов. Распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4442июль 2024ctx2K
textcc-by-nc-4.0hugging-face
hughlan1214
Speech_Emotion_Recognition_wav2vec2-large-xlsr-53_240304_SER_fine-tuned2.0

Модель разработана hughlan1214 для распознавания эмоций в речи. Это дообученная для классификации аудио модель на архитектуре Wav2Vec2ForSequenceClassification, основанная на facebook/wav2vec2-large-xlsr-53; число параметров — 402,7 млн. Она относит речь к одному из семи классов: гнев, отвращение, страх, радость, нейтральное состояние, грусть или удивление. Модель предназначена для анализа эмоциональной окраски аудиозаписей и может служить компонентом систем, оценивающих состояние пользователя в реальном времени. Обучение проводилось на английских наборах CREMA, RAVDESS, SAVEE и TESS, суммарно содержащих более 12 000 аудиофайлов; данные разделили на обучающую и оценочную части в пропорции 70/30. В README сообщается о тестировании на китайской и французской речи, однако обучение велось только на английских данных. На оценочном наборе точность составила 0,6731, F1 — 0,6738. Модель распространяется в формате safetensors по лицензии Apache-2.0.

2803март 2024
textapache-2.0hugging-face
PantagrueLLM
speech-large-14K

PantagrueLLM/speech-large-14K — французский речевой энкодер из семейства Pantagruel, разработанного для самоконтролируемого обучения представлениям речи. Модель использует архитектуру PantagruelUniModel и парадигму data2vec 2.0 / JEPA с предсказанием латентных представлений; в метаданных указано 99,1 млн параметров. Весовые файлы доступны в форматах PyTorch и safetensors и преобразованы из fairseq в формат Transformers. Энкодер обучен на французской речи, включая данные LeBenchmark и другие корпуса из семейства Pantagruel. Его можно применять для извлечения признаков и дообучать для задач распознавания речи и других речевых задач. В README приведён результат WER 8,05 на тестовой части French Common Voice v6.1 для варианта speech-large-14K. Для входного аудио требуется монофонический сигнал с частотой 16 кГц и нормализацией. Модель не содержит токенизатора и сама по себе не является готовой системой распознавания речи: для ASR нужны токенизатор и дообучение на размеченных парах аудио-текст. Лицензия CC-BY-NC-SA-2.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях.

4072окт. 2025
textaudiocc-by-nc-sa-2.0hugging-face
stanfordnlp
stanza-cy

stanfordnlp/stanza-cy — модель Stanza для валлийского языка, подготовленная командой Stanford NLP. Она входит в набор инструментов Stanza для лингвистического анализа текста и предназначена для разметки токенов; метаданные Hugging Face указывают задачу token-classification. Модель можно применять как компонент конвейера NLP для анализа текста на валлийском языке. Stanza в целом охватывает задачи от обработки исходного текста до синтаксического анализа и распознавания сущностей, однако карточка этой модели не уточняет, какие именно виды разметки токенов поддерживает данный чекпойнт. Модель хранится в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста или ограничения точности.

7891март 2022
textapache-2.0hugging-face
YaHi
teacher_electra_small

YaHi/teacher_electra_small — дообученная модель классификации текста на базе google/electra-small-discriminator. Она содержит 20,4 млн параметров, использует архитектуру ELECTRA и формат PyTorch; максимальная длина контекста — 512 токенов. Модель предназначена для задач классификации последовательностей, однако конкретные классы и прикладной сценарий не описаны. В карточке приведено значение loss 0,2845 на оценочной выборке, но без описания набора данных и методики это число нельзя интерпретировать как показатель качества для конкретной задачи. Модель разработана YaHi и распространяется по лицензии Apache-2.0. Базовая модель — небольшой англоязычный энкодер, поэтому английский язык можно считать основным ориентиром; сведения о языках и обучающих данных самой дообученной модели отсутствуют. Ограничения включают неизвестные обучающие данные, целевые метки и область применения; перенос результатов на другие данные не подтверждён.

1040окт. 2023ctx512
textapache-2.0hugging-face
timm
tf_mobilenetv3_large_100.in1k

tf_mobilenetv3_large_100.in1k — сверточная модель классификации изображений из семейства MobileNetV3. Её обучили авторы статьи Searching for MobileNetV3 на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. В ней около 5,5 млн параметров, расчётный размер изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений на категории ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактность и низкая вычислительная стоимость делают её подходящей для приложений с ограниченными ресурсами. Лицензия репозитория — Apache-2.0.

5.5K0дек. 2022
imageapache-2.0hugging-face
DrunkkToys
theOG-50M

theOG-50M — компактная модель генерации кода от DrunkkToys, обученная с нуля и затем дообученная методом DPO на парах предпочтений, где выбранные ответы прошли модульные тесты. По данным карточки, эта версия содержит около 50 млн параметров; её архитектура ElasticGPT имеет 10 слоёв с размерностью 512 и 4 головы внимания, а токенизатор использует собственный BPE-словарь на 16 тысяч токенов. Модель предназначена для локального автодополнения кода, работы офлайн на ноутбуке или встраивания в приложения без отправки кода в облако, а также для изучения небольших языковых моделей. В README приведены результаты на задачах генерации кода, включая HumanEval и MBPP, но они показывают ограниченную точность небольшой модели. Репозиторий содержит веса в форматах PyTorch и MLX, а также GGUF-вариант базового чекпойнта; GGUF использует нестандартную архитектуру и не загружается обычной сборкой llama.cpp без патча. Архитектура не зарегистрирована в Transformers, поэтому AutoModelForCausalLM напрямую не работает. Лицензия репозитория — Apache-2.0.

1521авг. 2026
textapache-2.0hugging-face
facebook
timesformer-hr-finetuned-ssv2

TimeSformer — видеомодель семейства Transformer, разработанная командой Facebook и представленная в работе «TimeSformer: Is Space-Time Attention All You Need for Video Understanding?»; эта версия использует вариант с высоким разрешением и дообучена для классификации действий на наборе Something Something v2. Модель содержит 113,2 млн параметров и выдаёт один из 174 классов действий. Она предназначена для классификации видеоклипов, в частности для распознавания действий и взаимодействий с предметами, представленных в категориях Something Something v2. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В карточке нет сведений о конкретном размере входного видео или поддерживаемых естественных языках.

932окт. 2022
videocc-by-nc-4.0hugging-face
CrabInHoney
urlbert-tiny-base-v4

CrabInHoney/urlbert-tiny-base-v4 — компактная модель на основе BERT для анализа URL. Разработчик описывает её как модель с архитектурой «учитель—ученик»: она обучалась предсказывать замаскированные токены и усваивала логиты более крупной модели. Дополнительное обучение на трёх специализированных задачах направлено на лучшее понимание структуры URL. Модель содержит 4,8 млн параметров по метаданным Hugging Face, использует формат safetensors и рассчитана на контекст до 64 токенов. Она предсказывает пропущенные токены в URL и предназначена прежде всего как лёгкая основа для дообучения под классификацию URL, включая выявление фишинговых и вредоносных ссылок. Указана лицензия Apache-2.0. Карточка не приводит результаты оценки качества или подробности трёх дополнительных задач.

1602март 2025ctx64
textapache-2.0hugging-face
OPear
videomae-large-finetuned-UCF-Crime

OPear/videomae-large-finetuned-UCF-Crime — модель Paulo Briceño для классификации видео, дообученная на наборе UCF Crime на основе MCG-NJU/videomae-large. Она относит видео к одному из 14 классов: от нормального поведения до ограбления, поджога, драки и других аномальных событий; предназначена для анализа видеонаблюдения и исследований обнаружения происшествий. Модель построена на VideoMAE, имеет около 402,7 млн параметров, 24 слоя и 16 голов внимания. Принимает видео и выдаёт метку класса; в карточке указана точность 92,96% на оценочном разделении UCF Crime. Модель рассчитана на видео, сходные с данными UCF Crime, и может ошибаться на иных типах сцен. Её результаты следует проверять, особенно перед принятием важных решений. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1.4K14дек. 2024
videocc-by-nc-4.0hugging-face
emptx
wav2vec2-base-finetuned-gtzan

emptx/wav2vec2-base-finetuned-gtzan — модель классификации аудио на базе wav2vec 2.0, дообученная на наборе данных GTZAN. Она предназначена для отнесения аудиозаписей к музыкальным жанрам. На оценочной выборке указана точность 0,85 при значении loss 0,5864. Модель содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForSequenceClassification. Модель разработана на основе facebook/wav2vec2-base и распространяется под лицензией Apache-2.0. Карточка не приводит подробностей о составе классов, длительности или формате аудиофрагментов, а также о методике оценки; результаты на оценочной выборке не гарантируют такое же качество на других данных.

70июль 2026
textapache-2.0hugging-face
alianurrahman
wav2vec2-base-indonesian-speech-emotion-recognition

alianurrahman выпустил модель wav2vec2-base, дообученную для распознавания эмоций в индонезийской речи. Это аудиоклассификатор на архитектуре Wav2Vec 2.0 с 113,3 млн параметров, основанный на facebook/wav2vec2-base и сохранённый в формате safetensors. Модель принимает речь на индонезийском языке и относит её к одному из пяти классов: злость, отвращение, страх, радость или грусть. Модель подходит для анализа эмоциональной окраски индонезийских голосовых записей. В README указаны точность 0,8223 и loss 0,5023 на наборе оценки. Для дообучения использовался RAVDESS, описанный в карточке как 1440 записей на индонезийском языке; подробности о методике оценки и ограничениях не приведены. Лицензия — Apache-2.0.

1064сент. 2024
textapache-2.0hugging-face
alefiury
wav2vec2-large-xlsr-53-gender-recognition-librispeech

Это модель классификации аудио на основе Wav2Vec2, разработанная автором репозитория alefiury и дообученная на facebook/wav2vec2-xls-r-300m для распознавания пола говорящего. Для обучения использовалась выборка Librispeech-clean-100 с разделением на обучающую, валидационную и тестовую части. В метаданных указано 402,7 млн параметров; модель доступна в форматах PyTorch и Safetensors. Модель принимает аудио и выдаёт класс пола говорящего. В README приведены результаты оценки на тестовой выборке: F1 0,9993 и loss 0,0061. Эти показатели относятся к указанному набору данных и сами по себе не гарантируют аналогичного качества на других голосах и условиях записи. Лицензия — Apache-2.0.

487K48апр. 2023
textapache-2.0hugging-face
vitouphy
wav2vec2-xls-r-300m-phoneme

vitouphy/wav2vec2-xls-r-300m-phoneme — дообученная модель на базе facebook/wav2vec2-xls-r-300m для распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая текстовую последовательность фонем. В карточке приведены результаты оценки: loss 0,3327 и CER 0,1332; набор данных для обучения не определён в README. Модель опубликована в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не описывает целевые языки, условия записи и ограничения применения, поэтому качество для конкретных языков и акустических условий по этим данным оценить нельзя.

2.0K6май 2022
textaudioapache-2.0hugging-face
mshamrai
yolov8s-visdrone

mshamrai/yolov8s-visdrone — модель компьютерного зрения на архитектуре YOLOv8s, опубликованная пользователем mshamrai и предназначенная для обнаружения объектов на изображениях с БПЛА. Она обучена распознавать десять классов: пешеходов, людей, велосипеды, автомобили, фургоны, грузовики, трициклы, трициклы с навесом, автобусы и мотоциклы. Модель работает с библиотекой Ultralytics и представлена в формате PyTorch. Модель подходит для анализа аэрофотоснимков и видеокадров с беспилотников, например для подсчёта людей и транспорта или мониторинга дорожной обстановки. Карточка указывает лицензию OpenRAIL. Размер модели, длина контекста и конкретные условия лицензии в доступных данных не раскрыты.

7958май 2023
imageopenrailhugging-face
KoichiYasuoka
abeja-gpt2-large-japanese-ud-causal

Koichi Yasuoka разработал японскую модель GPT-2 для разметки частей речи и синтаксических зависимостей. Она дообучена на основе abeja/gpt2-large-japanese и уточнена на UD_Japanese-GSDLUW. Архитектура — плотная GPT-2 с головой классификации токенов; модель принимает японский текст и выдаёт метки для его токенов. Контекст составляет 1024 токена, формат весов — PyTorch. Модель подходит для морфологического анализа японских предложений, присвоения тегов частей речи и построения синтаксических зависимостей. В карточке указан pipeline_tag token-classification; пример использования задаёт задачу universal-dependencies. Лицензия — MIT. Известное ограничение: модель специализирована на японском языке и данных UD_Japanese-GSDLUW.

1380сент. 2024ctx1K
textmithugging-face
coml
addressee

Addressee — модель классификации аудио, созданная как дообучение coml/BabyHuBERT. Репозиторий содержит только веса; инструкции по использованию находятся в репозитории LAAC-LSCP/addressee. Модель предназначена для классификации аудиоданных. В карточке не приведены сведения о метках классов, архитектурных деталях, языках или условиях лицензии, поэтому их нельзя уточнить.

4430апр. 2026
audiohugging-face
shah-bakhsh
BalPOS

BalPOS v2 — модель Shah Bakhsh для разметки частей речи в текстах на белуджском языке. Это XLM-RoBERTa, дообученная на базе shahbakhsh/BalBERT для классификации токенов по 16 категориям Universal Dependencies (UPOS). Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. Модель предназначена для синтаксической разметки белуджских текстов и исследовательских и прикладных NLP-конвейеров для этого языка. В README приведены результаты на отложенной тестовой выборке: точность 87,26% и взвешенная F1-мера 87,22%. Оценка проведена на корпусе из 774 предложений и 14 852 токенов. Качество может снижаться на диалектах и орфографических вариантах, отличающихся от корпуса; редкие метки имеют более высокую вариативность результатов. Модель распространяется по лицензии Apache-2.0.

461авг. 2026ctx514
textapache-2.0hugging-face
CAMeL-Lab
bert-base-arabic-camelbert-mix-pos-egy

CAMeLBERT-Mix POS-EGY — модель CAMeL Lab для определения частей речи в египетском арабском. Она создана дообучением CAMeLBERT-Mix на наборе данных ARZTB и предназначена для разметки каждого токена текста тегом части речи, например в конвейере token-classification библиотеки Transformers. Модель основана на архитектуре BERT, содержит 136,3 млн параметров и принимает текст с контекстом до 512 токенов. Карточка демонстрирует разметку египетской разговорной фразы. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

803март 2022ctx512
textapache-2.0hugging-face
KoichiYasuoka
bert-base-japanese-luw-upos

Koichi Yasuoka разработал японскую модель BERT для разметки частей речи и морфологических признаков. Она дообучена на основе KoichiYasuoka/bert-base-japanese-char-extended и использует архитектуру BertForTokenClassification; число параметров — 118,1 млн, максимальная длина контекста — 512 токенов. Модель обучена на текстах японской Википедии и размечает слова по схеме UPOS и FEATS; карточка также указывает связь с синтаксическим разбором зависимостей. Модель подходит для морфологического анализа японских текстов, например для автоматической разметки предложений перед лингвистическим анализом или построением языковых корпусов. Она принимает текст и выдаёт метки для токенов. Распространяется по лицензии CC BY-SA 4.0.

1651март 2022ctx512
textcc-by-sa-4.0hugging-face
hitachi-nlp
bert-base-japanese_mecab-wordpiece

Японская базовая модель BERT, выпущенная hitachi-nlp. Она предназначена для предсказания скрытых токенов в японском тексте и работает как masked language model с архитектурой BertForMaskedLM. Модель содержит 136,3 млн параметров, принимает последовательности длиной до 512 токенов и использует токенизацию MeCab + WordPiece; для загрузки токенизатора требуется файл словаря из репозитория разработчика. Модель подходит для восстановления пропусков в японских предложениях и как базовый компонент для задач обработки японского языка. В карточке указаны датасеты Wikipedia и CC-100. Доступны веса PyTorch и Safetensors. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях, запрещая коммерческое использование.

2900июнь 2023ctx512
textcc-by-nc-sa-4.0hugging-face
aajrami
bert-fc-base

bert-fc-base — языковая модель семейства BERT, разработанная aajrami и обученная с целью предсказания первого символа. Карточка отсылает к исследованию о влиянии целей предобучения на усвоение языковых свойств; модель предназначена для получения признаковых представлений текста. Модель построена на архитектуре RoBERTa, содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Она распространяется под лицензией CC BY 4.0. Карточка не описывает поддерживаемые языки и не приводит оценок качества на прикладных задачах.

1010май 2022ctx514
textembeddingcc-by-4.0hugging-face
mjaliz
bslm-mlm-25M-ptdrw

mjaliz/bslm-mlm-25M-ptdrw — дообученная модель маскированного языкового моделирования на базе BAAI/bge-m3-retromae, созданная для текстов товаров Basalam. Использует архитектуру XLMRobertaForMaskedLM и совместимый с XLM-RoBERTa токенизатор. Несмотря на «25M» в названии, модель содержит 568 006 802 параметра; максимальная длина последовательности — 8 192 токена. Модель предсказывает замаскированные фрагменты в персидских названиях и описаниях товаров и предназначена для экспериментов с MLM и последующей адаптации к продуктовому домену. В обучающих данных преобладает персидский язык; карточка также указывает английский. Это не универсальная генеративная модель. Выпущена под лицензией MIT.

890июнь 2026
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей