/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 681–4 710 из 23 488
joeddav
distilbert-base-uncased-agnews-student

joeddav/distilbert-base-uncased-agnews-student — компактная DistilBERT-модель для классификации новостных текстов по категориям AG's News. Её автор — joeddav; модель получена дистилляцией предсказаний zero-shot классификатора на неразмеченном наборе AG's News. В качестве учителя использовалась roberta-large-mnli с шаблоном гипотезы «This text is about {}.». Модель предназначена для быстрого отнесения новостей к категориям набора AG's News и демонстрации переноса знаний от ресурсоёмкого NLI-классификатора к более компактной модели. Архитектура — DistilBertForSequenceClassification; модель принимает текст и выдаёт метку класса. Поддерживается английский язык, длина контекста составляет 512 токенов. Доступны веса PyTorch и TensorFlow. По описанию автора, качество может быть ниже, чем у модели, обученной на полностью размеченных данных AG's News. Лицензия — MIT.

265март 2022ctx512
textmithugging-face
jasonyim2
distilbert-base-uncased-finetuned-emotion

Это модель классификации текста на основе DistilBERT, дообученная автором jasonyim2 на наборе данных emotion. Она предназначена для определения эмоциональной категории текста. В README для оценки на тестовой выборке указаны accuracy и F1 по 0,9215 и loss 0,2227. Модель принимает текст и выдаёт метки классов. Она построена на архитектуре DistilBertForSequenceClassification, работает с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не сообщает список эмоциональных классов и подробности обучающих данных, поэтому результаты на других языках и типах текста не подтверждены.

180март 2022ctx512
textapache-2.0hugging-face
leomaurodesenv
distilbert-base-uncased-nvidia-aegis-v2

leomaurodesenv выпустил дообученную модель DistilBERT для классификации текста. Она основана на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForSequenceClassification. Модель предназначена для классификации последовательностей; конкретные классы и область применения в карточке не описаны. Модель работает с текстом и имеет контекстное окно до 512 токенов. На указанном в README наборе для оценки достигла accuracy 0,8432 и loss 0,3496; данные и методика оценки не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

170сент. 2026ctx512
textapache-2.0hugging-face
fractalego
fewrel-zero-shot

fractalego/fewrel-zero-shot — модель для извлечения отношений между сущностями с нуля, основанная на статье «Exploring the zero-shot limit of FewRel». В этой версии используется BERT Large, дообученный на SQuAD; в метаданных указаны архитектура BertForQuestionAnswering, 433,9 млн параметров и контекст до 512 токенов. Модель предназначена для классификации отношений между сущностями в тексте без примеров целевых классов. README приводит результаты для сценариев с 5 и 10 вариантами отношений, но не описывает языки, лицензию или ограничения по применению. Репозиторий содержит веса PyTorch.

195март 2022ctx512
texthugging-face
teomotun
finetuning-sentiment-model-for-c2er

teomotun/finetuning-sentiment-model-for-c2er — модель классификации текста на основе DistilBERT, дообученная на базе distilbert-base-uncased. Она предназначена для анализа тональности текста. В README указаны результаты на оценочной выборке: accuracy 0,9523 и F1 0,9511; также приведено значение loss 0,1404. Модель принимает текст и выдаёт метку класса. Контекст составляет до 512 токенов. Датасет, схема меток и подробности предполагаемого применения не описаны, поэтому приведённые метрики нельзя уверенно переносить на другие данные. Модель распространяется по лицензии Apache-2.0.

2.3K0окт. 2022ctx512
textapache-2.0hugging-face
Wiebke
flausch_task1_classification_distilbert-base-german-cased_lehre

Wiebke дообучила DistilBERT на основе distilbert/distilbert-base-german-cased для классификации текста. Модель предназначена для отнесения немецкоязычных текстов к классам; конкретные классы и область применения в карточке не раскрыты. Архитектура — DistilBertForSequenceClassification, формат весов — safetensors, библиотека — Transformers. Контекст составляет 512 токенов. В README указаны Accuracy 0,9298 и F1 0,9296 на оценочном наборе, однако его состав и данные обучения не описаны. Модель распространяется по лицензии Apache-2.0.

60июнь 2026ctx512
textapache-2.0hugging-face
Mitchins
image-medium-classifier-efficientnet-b0-v1

Mitchins разработал классификатор изображений на базе EfficientNet-B0 из timm, дообученный для отнесения изображений к одному из трёх классов: anime, real и rendered. Модель принимает RGB-изображения размером 224×224 пикселя и содержит 5,3 млн параметров. Классификатор предназначен для быстрой проверки, является ли изображение фотографией, аниме-кадром или 3D-рендером. В README указана точность 97,44% на валидационной выборке; скорость инференса около 20 мс на RTX 3060. Модель опубликована в формате safetensors и распространяется по лицензии OpenRAIL. Ошибки возможны на пограничных примерах: фотореалистичные игровые сцены могут распознаваться как фотографии, стилизованные игры — как аниме, а изображения в стиле Pixar могут давать смешанную уверенность. Для важных решений README рекомендует учитывать порог уверенности выше 85% и анализировать матрицу ошибок.

4771янв. 2026
imageopenrailhugging-face
indobenchmark
indobert-lite-base-p1

IndoBERT-Lite Base Model (phase1, uncased) — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре ALBERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель предназначена для извлечения контекстных представлений текста, которые можно использовать в прикладных системах обработки индонезийского языка. Модель содержит 136,3 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Доступны веса PyTorch и TensorFlow. Лицензия — MIT. Карточка описывает предварительное обучение; качество на конкретных прикладных задачах зависит от последующего использования или дообучения.

1.0K1март 2022ctx512
textembeddingmithugging-face
indobenchmark
indobert-lite-base-p2

IndoBERT-Lite Base phase 2 uncased — предварительно обученная языковая модель для индонезийского языка, разработанная командой IndoBenchmark. Она основана на архитектуре ALBERT и обучена на корпусе Indo4B с задачами masked language modeling и next sentence prediction. Модель содержит 136,3 млн параметров и поддерживает контекст до 512 токенов. Модель предназначена для извлечения контекстных векторных представлений текста, которые можно использовать как основу для задач обработки индонезийского языка и последующего дообучения. Доступны веса PyTorch и TensorFlow; в карточке показано использование через Transformers. Лицензия — MIT. Модель рассчитана на индонезийский текст; качество на других языках и в специализированных областях карточкой не подтверждено.

3190март 2022ctx512
textembeddingmithugging-face
yhchoi
klue-emotional-finetuned-emotion

yhchoi/klue-emotional-finetuned-emotion — модель классификации текста, дообученная на базе klue/roberta-small. Она предназначена для определения эмоциональных классов в тексте. Модель построена на архитектуре RoBERTa и содержит 81,2 млн параметров; максимальная длина контекста составляет 514 токенов. Доступны веса PyTorch. Карточка не раскрывает набор эмоциональных классов, обучающие данные, качество на тестах и конкретные сценарии применения. Условия лицензии в предоставленных данных не указаны.

1380февр. 2023ctx514
texthugging-face
asosoft
KuBERT-Central-Kurdish-BERT-Model

KuBERT-Central-Kurdish-BERT-Model — модель на архитектуре BERT, разработанная AsoSoft для обработки центральнокурдского языка. Она предназначена для классификации текста без заранее заданного набора классов: пользователь задаёт варианты меток, а модель оценивает их соответствие тексту. Чекпойнт содержит около 95 млн параметров и поддерживает контекст до 512 токенов. Модель обучена на корпусе примерно из 296,5 млн токенов, собранном из материалов AsoSoft, текстов Арама Рафика и Мухаммада Азизи, а также корпуса OSCAR 2019. В README также указаны специализированный токенизатор для курдского языка и использование BERT. Это языковая модель общего назначения для центральнокурдских текстов; карточка не сообщает лицензию и не приводит оценок качества, поэтому их нельзя установить по доступным сведениям.

2216февр. 2024ctx512
texthugging-face
Kwaipilot
KwaiCoder-23B-A4B-v1

KwaiCoder-23B-A4B-v1 — открытая модель автодополнения кода, разработанная командой Kwaipilot компании Kuaishou. Она предназначена для продолжения фрагментов кода и вставки кода в заданный контекст. Модель использует архитектуру MoE семейства Mixtral; в метаданных указано 1,8 млрд параметров и контекст до 4096 токенов. README описывает обучение с применением обрезки модели, дистилляции знаний и тонкого слияния, но базовая модель не указана. Метаданные отмечают поддержку многоязычности, однако конкретные языки программирования и естественные языки не перечислены. Модель распространяется по лицензии MIT. Заявление README о высоких результатах на нескольких наборах оценки не сопровождается названиями бенчмарков или численными результатами; качество для конкретных языков и сценариев по имеющимся данным оценить нельзя.

24017янв. 2025ctx4.1K
textmithugging-face
LibreYOLO
LibreSAM2small

LibreSAM2small — распространённая LibreYOLO копия SAM 2.1 Hiera Small, исходно разработанной FAIR и опубликованной в репозитории facebook. Модель предназначена для сегментации изображений по подсказкам: например, пользователь может задать точку и получить маску соответствующего объекта. Она также относится к семейству SAM2 для видео, однако README описывает пример только для изображения. Веса не изменены: репозиторий зеркалирует совместимые с Transformers файлы базовой модели и добавляет упаковку для LibreYOLO. Доступны файлы Safetensors; лицензия — Apache-2.0. Размер модели и длина контекста не указаны в предоставленных данных.

220июль 2026
imageapache-2.0hugging-face
plingampally
meridianpii-te-v1

MeridianPII te-v1 — это компактная модель распознавания персональных данных в тексте на телугу, разработанная Plingampally. Модель дообучена на Microsoft Multilingual-MiniLM-L12-H384 и выполняет токенную классификацию с 35 BIO-метками для имён, адресов и других сущностей. Репозиторий содержит веса Safetensors и квантованную INT8-версию ONNX; заявленный размер ONNX — 54 МБ. Модель рассчитана на запуск на устройстве, в том числе в браузере через transformers.js, и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для выявления PII в тексте на телугу, включая письмо телугу, латинскую транслитерацию и переключение между телугу и индийским английским. Она может находить имена и адресные сведения, а некоторые структурированные идентификаторы и контактные данные предполагается предварительно обрабатывать отдельным детерминированным слоем на основе регулярных выражений и проверок контрольных сумм. В описанном тесте на синтетическом наборе из 1500 примеров заявлены полнота 97,8% для письма телугу и 98,7% в целом; эти результаты не гарантируют такое же качество на реальных данных. Лицензия модели — Creative Commons Attribution 4.0 (CC-BY-4.0). Модель предназначена для телугу и не подходит как универсальный детектор PII для других языков; географические сущности за пределами Индии находятся вне области применения, а структурированные идентификаторы требуют отдельного детерминированного слоя. Набор меток включает CITY, STATE и ZIP_CODE, которые в рекомендованной конфигурации сохраняются, а не редактируются.

310июль 2026ctx512
textcc-by-4.0hugging-face
facebook
MobileLLM-R1-360M

MobileLLM-R1-360M — компактная языковая модель Meta из семейства MobileLLM-R1, дообученная для решения математических, программных и научных задач. Это SFT-модель примерно на 359 млн параметров с текстовым вводом и выводом, предназначенная для генерации ответов и рассуждений; она не рассчитана на роль универсального чат-бота. В архитектуре 15 слоёв, 16 attention heads и 4 KV heads. Контекст базовой версии — 4 тыс. токенов; модельный словарь содержит 128 тыс. токенов. Карточка указывает английский язык. Модель подходит для компактных сценариев решения задач по математике, написания и анализа кода на Python и C++, а также ответов на научные вопросы. Она заметно меньше крупных языковых моделей, но качество следует оценивать отдельно для конкретных задач и условий использования. Лицензия указана как other, поэтому перед использованием нужно проверить условия в репозитории модели.

9323сент. 2025
textotherhugging-face
Hongxuan111
MyAwesomeModel-TestRepo

MyAwesomeModel-TestRepo — репозиторий с моделью на основе BERT, опубликованный пользователем Hongxuan111. По метаданным Hugging Face, модель использует Transformers и PyTorch и предназначена для извлечения признаков из входного текста; лицензия — MIT. Извлечённые признаки можно использовать как векторные представления текста в последующих задачах машинного обучения. В доступных метаданных не указаны размер модели, языки и длина контекста. Поиск обнаружил лишь вторичное описание репозитория как тестового и не подтвердил его назначение независимой карточкой разработчика.

6340сент. 2026
textembeddingmithugging-face
AnkitAI
Parable-SmolLM3-3B-Claude-Fable-5

Parable-SmolLM3-3B-Claude-Fable-5 — модель серии Parable, разработанная AnkitAI и дообученная на трассах работы агентных моделей. Это плотная авторегрессионная языковая модель SmolLM3 на 3,1 млрд параметров для генерации текста и диалогов; она рассчитана на локальное использование как помощник по программированию, который формирует рассуждение перед ответом. Контекст модели — 65 536 токенов. Модель дообучена методом QLoRA на 4-битной базовой модели, а в этом репозитории размещено объединение весов в формате F16 safetensors. Обучение на 4 076 примерах из трасс Claude Fable 5 и терминальных диалогов улучшило loss на отложенном наборе трасс относительно базовой SmolLM3-3B; README не заявляет об улучшении общих бенчмарков. Модель предназначена для генерации ответов в стиле агентных рассуждений и помощи с кодом, но не обучалась навигации по многофайловым репозиториям, работе с изображениями или другим языкам, кроме английского. Она унаследовала ограничения знаний базовой модели; сгенерированные команды следует проверять. Лицензия весов — Apache-2.0, однако README предупреждает, что условия лицензий использованных наборов трасс могут иметь значение для коммерческого использования.

3153июль 2026ctx65.5K
textapache-2.0hugging-face
aXhyra
presentation_emotion_31415

presentation_emotion_31415 — модель классификации текста на базе DistilBERT, дообученная разработчиком aXhyra на наборе tweet_eval. Она предназначена для отнесения коротких текстов, в частности сообщений из Twitter, к категориям классификации. В README приведён результат F1 0,7149 на оценочной выборке; модель использует архитектуру DistilBertForSequenceClassification, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель доступна по лицензии Apache-2.0. Карточка не раскрывает точный набор меток и подробности обучения, поэтому качество для других данных и конкретных прикладных сценариев оценить нельзя.

180март 2022ctx512
textapache-2.0hugging-face
veronica320
QA-for-Event-Extraction

Модель veronica320/QA-for-Event-Extraction — компонент системы извлечения событий, представленной в статье ACL 2021 «Zero-shot Event Extraction via Transfer Learning: Challenges and Insights». Это модель вопросно-ответного типа на архитектуре RoBERTa-large с 454,1 млн параметров, дообученная на QAMR. Она принимает вопрос и текстовый контекст и извлекает из контекста ответ, например участника события, о котором спрашивает пользователь. Модель предназначена для использования отдельно через Transformers AutoModelForQuestionAnswering или как часть системы извлечения событий из статьи. Контекст составляет до 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

3346март 2022ctx514
texthugging-face
alibaba-pai
Qwen2-1.5B-Instruct-Exp

Qwen2-1.5B-Instruct-Exp — дообученная Alibaba PAI версия Qwen2-1.5B-Instruct для расширения инструкций: по запросу она формулирует новые запросы того же типа, но с другим содержанием. Для обучения использованы выборки из OpenHermes и LCCD; обучающие примеры размечались с помощью Qwen-max и авторских примеров. Модель предназначена, в частности, для генерации синтетических вариантов заданий и расширения наборов данных. Это плотная авторегрессионная языковая модель Qwen2 с 1,5 млрд параметров, рассчитанная на диалоговый формат и работающая через Transformers. Метаданные указывают контекст до 131 072 токенов и формат safetensors. В README приведены результаты оценки влияния аугментации на наборы Elementary Math и Implicature, но они не устанавливают качество на других задачах. Лицензия в предоставленных данных не указана.

231июль 2024ctx131.1K
texthugging-face
mp-juuuns
qwen35-standalone4l-classification-base

mp-juuuns/qwen35-standalone4l-classification-base — компактная текстовая основа для создания пользовательских классификаторов, опубликованная mp-juuuns на базе Qwen3.5-0.8B. Это плотная четырёхслойная модель Qwen3.5TextModel с чередованием линейного и полно-внимательного слоёв; она принимает текст и выдаёт представления, но не содержит классификационной головы и готовых меток. Для классификации нужно добавить голову и дообучить модель на размеченных данных. Веса получены дистилляцией и сокращением глубины исходной модели, а затем выполнено сопоставление токенизатора с уменьшенным словарём на 128 000 токенов. Модель рассчитана на многоязычный ввод, однако качество классификации на других языках, кроме английского, не проверено. Контекстное окно составляет 262 144 токена. В README приведены результаты на одной задаче и одном наборе условий; они исследовательские и не подтверждают качество в других сценариях. Лицензия — Apache-2.0.

550июль 2026ctx262.1K
textembeddingapache-2.0hugging-face
timm
qwen3_vit_88m_merge.qwen3_5_0_8b

Это модель извлечения признаков изображений на основе зрительной части Qwen3.5-0.8B, преобразованной в формат timm. Она предназначена для получения пространственных признаков и векторных представлений изображений, а также для подготовки основы под классификатор, который нужно дообучить на целевых данных. Модель сохраняет пространственный merger и проекцию до ширины 1024, затем применяет усредняющий пулинг и LayerNorm без аффинных параметров. Зрительная основа имеет ширину 768; используются MLP с GELU-tanh, обучаемые абсолютные позиционные эмбеддинги и осевой 2D RoPE. Заявленный размер изображения — 768 × 768. Поддерживаются прямоугольные изображения; размеры сторон должны делиться на 16, а для вариантов с merger 2×2 — на 32. Для изображений временные веса Conv3d сводятся к Conv2d. Чекпойнт содержит около 100 млн параметров и веса зрительной части, но не содержит языковую модель и обученную классификационную голову. Для классификации новую линейную голову необходимо обучить на целевом наборе данных. Веса опубликованы в формате safetensors; лицензия — Apache 2.0.

1422сент. 2026
imageembeddingapache-2.0hugging-face
robertou2
roberta-base-bne-finetuned-amazon_reviews_multi

Модель robertou2/roberta-base-bne-finetuned-amazon_reviews_multi — испаноязычная RoBERTa, дообученная на наборе amazon_reviews_multi для классификации текстов отзывов. Она содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. В README модель названа учебной пробой курса NLP; на оценочной выборке указаны accuracy 0,9325 и loss 0,2368. Модель подходит для автоматической классификации отзывов Amazon и экспериментов с анализом пользовательских мнений. Карточка не уточняет набор меток, разбиение данных и ограничения применения, поэтому конкретную интерпретацию классов следует проверить перед использованием. Лицензия — Apache-2.0.

120март 2022ctx514
textapache-2.0hugging-face
bhadresh-savani
roberta-base-emotion

Это модель классификации эмоций в тексте, созданная дообучением RoBERTa-base автором bhadresh-savani на наборе данных emotion с помощью Hugging Face Trainer. Она принимает текст и предсказывает эмоциональную категорию; карточка приводит сравнение качества на наборе твитов с упоминанием эмоциональной разметки. Модель содержит 151,8 млн параметров, имеет контекст до 514 токенов и поддерживает английский язык. Модель подходит для анализа эмоциональной окраски коротких сообщений, например публикаций и комментариев в социальных сетях. В README указаны точность 93,95% и F1 93,97% на использованном наборе для оценки. Эти показатели относятся к описанному эксперименту и не гарантируют такое же качество на других данных. Лицензия — Apache-2.0.

24K7март 2022ctx514
textapache-2.0hugging-face
Bhumika
roberta-base-finetuned-sst2

Bhumika/roberta-base-finetuned-sst2 — модель классификации текста на базе RoBERTa, обученная на наборе данных GLUE. По названию репозитория она предназначена для определения тональности по задаче SST-2 и выдаёт метку класса для входного текста. Архитектура — RobertaForSequenceClassification, размер — 151,8 млн параметров; контекст составляет до 514 токенов. Модель распространяется в формате PyTorch. В карточке приведён результат оценки на тестовом наборе: accuracy 0,945 и loss 0,300. Разработчик не описал дополнительные сценарии применения и ограничения. Лицензия в предоставленных данных не указана.

204март 2022ctx514
texthugging-face
akahana
roberta-base-indonesia

akahana/roberta-base-indonesia — модель RoBERTa для индонезийского языка с 151,8 млн параметров, представленная в форматах PyTorch, Safetensors и TensorFlow. Она предназначена для извлечения признаков из текста и может использоваться как маскированная языковая модель для подстановки пропущенных слов; README показывает пример с индонезийским предложением. Модель подходит для получения текстовых представлений и как основа для задач обработки индонезийского текста. Контекст составляет до 514 токенов. Распространяется по лицензии MIT.

1120март 2022ctx514
textembeddingmithugging-face
nie3e
sentiment-polish-gpt2-small

nie3e/sentiment-polish-gpt2-small — модель классификации тональности польского текста, обученная разработчиком nie3e на базе польской версии GPT-2 small с использованием датасета polemo2-official. Она относит текст к одной из четырёх категорий: нейтральная, негативная, позитивная или неоднозначная тональность. Модель построена на архитектуре GPT-2 для классификации последовательностей и принимает текст, выдавая метку класса. Контекст модели составляет 2048 токенов. В README приведены результаты оценки на тестовом наборе: accuracy 0,9627 и loss 0,4659. Модель предназначена для анализа польских текстов; её качество на других языках и доменах не подтверждено. Модель распространяется под лицензией MIT. Для использования предусмотрен Transformers AutoModel.

5.6K1янв. 2024ctx2K
textmithugging-face
aufklarer
Silero-VAD-v6.2.1-MLX

Silero VAD v6.2.1 MLX — порт модели Silero VAD проекта snakers4 в формат MLX для запуска на устройствах Apple Silicon. Модель содержит 309 121 параметр, использует веса Float32 без квантизации и распространяется в формате MLX safetensors. Лицензия — MIT. Модель предназначена для обнаружения речевой активности в аудио и выделения речевых сегментов, в том числе при потоковой обработке. В README приведены замеры на Apple Silicon для аудио 16 кГц: задержка составляет около 0,5 мс на фрагмент; также заявлено совпадение преобразованных весов с исходным состоянием Silero VAD v6.2.1. Это конвертированный порт, ориентированный на MLX и Apple Silicon; приведённые показатели относятся к указанной тестовой конфигурации.

8.6K1июнь 2026
audiomithugging-face
Meena
table-question-answering-tapas

Meena/table-question-answering-tapas — дообученная модель TAPAS на основе BERT, разработанная для ответов на вопросы по табличным данным. Она извлекает ответы из таблицы и связанного с ней текста; TAPAS кодирует структуру таблицы с помощью относительных позиционных эмбеддингов и семи типов токенов. Модель содержит 136,7 млн параметров, принимает текстовые таблицы и вопросы, а её контекст составляет 1024 токена. В карточке указана настройка на датасете SQA; описание семейства также упоминает WTQ и WikiSQL. Модель рассчитана на англоязычные таблицы. Возможные сценарии — извлечение значений из таблиц и ответы на вопросы по их содержимому. Лицензия Apache-2.0. Известное ограничение: модель плохо справляется с большими входными файлами.

6513апр. 2022ctx1K
textapache-2.0hugging-face
megagonlabs
transformers-ud-japanese-electra-base-ginza-510

megagonlabs/transformers-ud-japanese-electra-base-ginza-510 — японская модель на архитектуре ELECTRA, разработанная Megagon Labs для использования в NLP-конвейере spaCy v3 и GiNZA. Она предварительно обучена примерно на 200 млн японских предложений из mC4, а затем дообучена на UD_Japanese_BCCWJ r2.8. Базовая модель — megagonlabs/transformers-ud-japanese-electra-base-discrimininator. Модель предназначена для извлечения контекстных признаков из японского текста и применения в задачах японского языкового анализа через экосистему GiNZA; дополнительные компоненты GiNZA распознают структуры bunsetu-фраз. Чекпойнт содержит 136,4 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. Лицензия — MIT.

12K2март 2022ctx512
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей