/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
1 021–1 050 из 23 488
l3cube-pune
marathi-ner

MahaNER-BERT — модель для распознавания именованных сущностей в текстах на маратхи, разработанная L3Cube-Pune. Она основана на l3cube-pune/marathi-bert и дообучена на наборе L3Cube-MahaNER; архитектура — BERT с классификацией токенов, размер — 205,1 млн параметров, длина контекста — до 512 токенов. Модель предназначена для выделения и классификации сущностей в тексте, например при подготовке корпусов и анализе документов на маратхи. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — CC BY 4.0.

4110март 2022ctx512
textcc-by-4.0hugging-face
Jeevesh8
multiberts_seed_0_ft_0

Jeevesh8/multiberts_seed_0_ft_0 — модель на архитектуре BERT, опубликованная пользователем Jeevesh8 на Hugging Face и предназначенная для классификации текстов. Она содержит около 136,7 млн параметров и поддерживает входной контекст длиной до 512 токенов. Модель рассчитана на использование через экосистему Transformers и связана с JAX. Основной сценарий применения — автоматическая классификация текстовых последовательностей, например определение класса документа, сообщения или пользовательского запроса. Доступные данные не подтверждают конкретные языки, набор классов, качество на отдельных датасетах, модальности помимо текста или лицензию модели, поэтому эти характеристики не заявляются.

630март 2022ctx512
texthugging-face
toola
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория toola/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers и помеченная в метаданных как BERT-модель для извлечения признаков. Её основное заявленное назначение — преобразование текста в векторные представления, пригодные для последующей классификации, поиска похожих документов и других задач анализа текста. В README также заявлены возможности рассуждения, генерации кода и текста, ответов на вопросы, диалога, суммаризации, function calling и работы с файлами и веб-поиском. Однако эти сведения не согласуются с основным pipeline-тегом feature-extraction, поэтому генеративные и диалоговые сценарии следует считать заявленными в документации, а не подтверждёнными метаданными. Размер модели, длина контекста и поддерживаемые естественные языки не указаны. Модель распространяется по лицензии MIT.

2860сент. 2026
textembeddingmithugging-face
numind
NuNER-v0.1

NuNER-v0.1 — англоязычная модель распознавания именованных сущностей от NuMind. Она основана на RoBERTa-base, дообученной на данных NuNER; в репозитории указано около 151,8 млн параметров и доступен формат PyTorch. Модель предназначена для извлечения эмбеддингов токенов для распознавания сущностей: их можно использовать напрямую или дообучить на конкретном наборе данных. Контекст модели составляет 514 токенов. В карточке приведены результаты оценки NuNER-v0.1, превосходящие указанные там базовые варианты RoBERTa-base при k=1, 4, 16 и 64. Автор рекомендует более новую версию NuNER v2.0, поэтому для нового проекта стоит рассмотреть её. Модель лицензирована по MIT.

10K64сент. 2023ctx514
textmithugging-face
anassaifi12
qwen2.5-3b_final_sql_tuned_model

Карточка модели anassaifi12/qwen2.5-3b_final_sql_tuned_model на Hugging Face совпадает с карточкой anassaifi12/qwen2.5-3b_sql_trained_model, поэтому описание составлено по ней. anassaifi12 дообучил модель Qwen2.5-3B для генерации текста на базе unsloth/qwen2.5-3b-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом до 32 768 токенов. Название репозитория указывает на обучение для работы с SQL, однако README не описывает обучающие данные и конкретные возможности модели, поэтому качество генерации SQL по карточке оценить нельзя. Модель принимает и выдаёт текст; в метаданных указан английский язык. Распространяется по лицензии Apache-2.0.

2171сент. 2026ctx32.8K
textapache-2.0hugging-face
br1-pist
Qwen3-4B-AgentCoder

Qwen3-4B-AgentCoder — языковая модель Брюно Пистоне на 4 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для генерации кода, многошаговых рассуждений и вызова инструментов в диалоговых сценариях. Модель — причинная языковая модель с режимом рассуждения и контекстом около 264 тысяч токенов; при дообучении использовались наборы данных для работы с инструментами, генерации кода и рассуждений, а затем применялся DPO для предпочтения более связных и качественных ответов. Модель подходит для задач программирования на Python, JavaScript и других языках, математических и логических задач, ответов на вопросы и сценариев с инструментами. Карточка сообщает о результатах на HumanEval, HumanEval+ и GSM8K, но качество вызова инструментов зависит от сложности сценария, а код может содержать синтаксические ошибки. Модель не рекомендуется для конфиденциальных данных, критически важных решений и задач, требующих экспертной специализации или полной объяснимости. Лицензия — Apache 2.0.

4440окт. 2025
textapache-2.0hugging-face
ertghiu256
qwen3-4b-code-reasoning

Qwen 3 Code Reasoning — дообученная на базе Qwen/Qwen3-4B языковая модель, ориентированная на генерацию кода и логические рассуждения. В карточке указано обучение на OpenCodeReasoning; метаданные также связывают модель с набором creative-rubrics-gpt-4.5-o3-R1 и отмечают слияние с базовыми моделями Qwen/Qwen3-4B и unsloth/Qwen3-4B. Архитектура — плотная Qwen3ForCausalLM, размер — около 3,7 млрд параметров, контекст — 40 960 токенов. Модель предназначена для генерации кода и ответов на логические вопросы; для задач программирования автор рекомендует режим рассуждений. Поддерживается диалоговый интерфейс, а в метаданных отмечена возможность интерфейса вызова инструментов. README рекомендует запуск через vLLM или Transformers. Указанная лицензия — Apache-2.0. Среди ограничений автор отмечает склонность к избыточным рассуждениям и переполнению контекста. Языковая поддержка отдельно не перечислена; обучение на датасете кода не позволяет установить конкретные естественные языки.

376май 2025ctx41K
textapache-2.0hugging-face
FineEnvs
Qwen3.5-2B-opencode-standalone-RL

FineEnvs выпустила полноразмерное дообучение Qwen/Qwen3.5-2B для агентного анализа данных с использованием OpenCode и асинхронного GRPO. Это плотная модель семейства Qwen3.5 с 2 млрд параметров, предназначенная для диалога и взаимодействия с инструментами в задачах анализа данных; в обучении применялась только бинарная оценка правильности. Опубликован чекпойнт после 1 000 шагов, получивший 29,8% pass@1 в четырёх оценочных средах на наборе SmolDataEnvs. Модель принимает текст и генерирует текст для агентных сценариев, где результат зависит от доступного harness и инструментов. Она загружаетcя через Transformers; репозиторий содержит полные веса и токенизатор с шаблоном чата, а не LoRA-адаптер. Лицензия — Apache-2.0. В README не заявлены результаты по изображениям, несмотря на мультимодальную архитектуру базовой модели.

2780окт. 2026ctx262.1K
textapache-2.0hugging-face
uer
roberta-base-finetuned-cluener2020-chinese

Модель uer/roberta-base-finetuned-cluener2020-chinese — китайская модель распознавания именованных сущностей, дообученная командой UER-py на обучающей части набора CLUENER2020. Она основана на архитектуре BERT и содержит 129,5 млн параметров; принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. Подходит для извлечения имен людей, организаций, мест и других сущностей из китайского текста. Модель предназначена для разметки текста и может использоваться как готовая модель классификации токенов либо дообучаться дальше. В карточке также указана поддержка дообучения через TencentPretrain. Доступны версии весов PyTorch, TensorFlow и Flax. Лицензия в предоставленных данных не указана.

3.1K49март 2022ctx512
texthugging-face
segment-any-text
sat-6l-sm

sat-6l-sm — многоязычная модель семейства XLM для классификации токенов, разработанная для библиотеки wtpsplit. Она сегментирует текст на предложения и рассчитана на применение в сценариях, где нужно восстановить границы предложений в сплошном тексте. Архитектура плотная, с шестью слоями Transformer; в репозитории представлены веса Safetensors и формат ONNX. Модель содержит 248,6 млн параметров и имеет контекстное окно 514 токенов. Модель поддерживает множество языков, включая английский, арабский, китайский в тегах не указан, русский также не указан. Лицензия — MIT. Карточка заявляет качество уровня state of the art для сегментации предложений, но не приводит подробностей бенчмарков; длина контекста ограничивает обработку длинных фрагментов за один проход.

2.8K3июнь 2024ctx514
textmithugging-face
darioooooo0o
spark-4b-engram

darioooooo0o/spark-4b-engram — экспериментальная специализированная на программировании модель, созданная автором репозитория на базе Spark-X2.5-4B. Она добавляет к замороженной базовой модели модуль условной памяти Engram для поиска шаблонов кода и предназначена для генерации кода на нескольких языках программирования и алгоритмических рассуждений. Архитектура — плотная причинная языковая модель Spark2_5ForCausalLM; в репозитории указаны 3,8 млрд параметров модели, а модуль Engram содержит около 826 млн параметров. Контекст — до 1 048 576 токенов. Модель принимает текстовые запросы и выдаёт текст, включая код; в карточке перечислены Python, C++, Java, JavaScript, C#, SQL, Bash, PHP и Rust. Engram обучался на 25 млн токенов кода и инструкций. README приводит предварительный результат HumanEval: 72% на варианте Spark-4B с Engram против 30% у исходной модели, однако автор предупреждает, что модуль обучен лишь на 20% и результаты предварительные. Для запуска предназначен стек Transformers и PyTorch; стандартный llama.cpp/GGUF не поддерживается. Лицензия репозитория — Apache-2.0.

9475сент. 2026ctx1M
textapache-2.0hugging-face
anassaifi12
sql_model_2

Карточка модели anassaifi12/sql_model_2 на Hugging Face совпадает с карточкой anassaifi12/qwen2.5-3b_sql_trained_model, поэтому описание составлено по ней. anassaifi12 дообучил модель Qwen2.5-3B для генерации текста на базе unsloth/qwen2.5-3b-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров и контекстом до 32 768 токенов. Название репозитория указывает на обучение для работы с SQL, однако README не описывает обучающие данные и конкретные возможности модели, поэтому качество генерации SQL по карточке оценить нельзя. Модель принимает и выдаёт текст; в метаданных указан английский язык. Распространяется по лицензии Apache-2.0.

2040сент. 2026ctx32.8K
textapache-2.0hugging-face
google
tapas-base-finetuned-tabfact

google/tapas-base-finetuned-tabfact — модель TAPAS, разработанная Google и дообученная на наборе TabFact для проверки утверждений по содержимому таблиц. Она классифицирует, подтверждается ли предложение данными таблицы или опровергается ими; также может служить основой для табличных вопросов и ответов. Архитектура TAPAS построена на трансформере типа BERT и учитывает структуру таблиц. Модель содержит 136,7 млн параметров, доступна в форматах PyTorch и TensorFlow, а её контекст ограничен 1024 токенами. Модель предварительно обучалась на английских таблицах и связанном тексте с помощью masked language modeling и промежуточного обучения на примерах числового рассуждения, затем дообучалась на TabFact с классификационной головой. По умолчанию используется версия с относительными позиционными эмбеддингами, где индексы позиций сбрасываются в каждой ячейке; также доступен вариант no_reset с абсолютными позиционными эмбеддингами. Вход включает предложение и сериализованную таблицу. Лицензия Apache 2.0.

2803март 2022ctx1K
textapache-2.0hugging-face
pythainlp
thainer-corpus-v2-base-model

pythainlp/thainer-corpus-v2-base-model — модель распознавания именованных сущностей на тайском языке, разработанная на основе WangchanBERTa base и дообученная на корпусе Thai NER v2.0. Она размечает токены текста категориями сущностей; архитектура — CamemBERT для классификации токенов, размер — 132,5 млн параметров, максимальный контекст — 512 токенов. Модель подходит для извлечения сущностей из тайских текстов. На тестовой выборке указаны F1 0,848 и точность 0,972. Для инференса стандартный механизм Hugging Face для token classification на тайском может выдавать неверные метки; автор рекомендует использовать специальный код из карточки. Модель распространяется по лицензии CC BY 4.0.

7.0K16март 2023ctx512
textcc-by-4.0hugging-face
K-Iwa
time-anchor-modernbert-32m

Time-Anchor ModernBERT 32M — компактная модель прогнозирования временных рядов от K-Iwa на основе энкодера ModernBERT. Она содержит 33,4 млн параметров: 31,9 млн в 10-слойной основе с размерностью скрытого состояния 384 и шестью головами внимания, а также 1,5 млн в специализированных временных головах. Репозиторий содержит веса safetensors; для запуска предусмотрена библиотека Transformers и пакет time-anchor. За один вызов модель формирует вероятностный прогноз с настраиваемыми квантилями, оценивает относительный вклад каждой переменной на каждом временном шаге и может учитывать заданные известные значения в будущем горизонте. Это подходит для прогнозов, где важны интервальная оценка неопределённости, интерпретация влияющих факторов или включение известных будущих точек. В README приведены примеры с почасовой температурой и месячным рядом пассажиропотока. Заявленная максимальная длина контекста в README — 3 463 временных шага; метаданные указывают native_context_tokens 7 999. Эти величины могут относиться к разным измерениям и напрямую не сопоставимы. Модель предназначена для временных рядов; README не указывает поддержку естественных языков. Лицензия — Apache-2.0. Приведённые метрики и проверки объяснимости относятся к описанным примерам и синтетическим данным, поэтому сами по себе не гарантируют качество на других рядах.

412июнь 2026ctx8K
textapache-2.0hugging-face
Agnuxo
Tinytron-ORCA-3B-TinyLlama-Instruct_CODE_Python-extra_small_quantization_GGUF_3bit

Tinytron-ORCA-3B-TinyLlama-Instruct_CODE_Python-extra_small_quantization_GGUF_3bit — локальная разговорная модель для генерации кода, опубликованная Francisco Angulo de Lafuente под именем Agnuxo. В README указана специализация на Python и научных вычислениях, а также заявлена работа с JavaScript, TypeScript, Rust, Go, C++, NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Метаданные указывают на плотную архитектуру семейства Llama с классом LlamaForCausalLM, 1 млрд параметров и контекст 2048 токенов; README заявляет 3 млрд параметров, поэтому размер модели описан противоречиво. Модель предназначена для диалоговой генерации кода и помощи при решении задач программирования. Карточка рекомендует запускать её локально через Ollama и упоминает интеграции с MCP и A2A. Метаданные указывают языки en и es, но README не уточняет языковую поддержку. Идентификатор и README описывают вариант TinyLlama Instruct с 3-битной квантизацией GGUF, то есть производную модель. В метаданных базовая модель не указана, поэтому её идентификатор нельзя надёжно установить. Лицензия — Apache-2.0. Практические ограничения: контекст 2048 токенов, а заявленный размер расходится с метаданными; качество генерации не подтверждено приведёнными сведениями.

970сент. 2024ctx2K
textapache-2.0hugging-face
Datadog
Toto-2.0-22m

Toto-2.0-22m — модель прогнозирования временных рядов из семейства Toto, разработанного Datadog для многомерного прогнозирования, в том числе сценариев наблюдаемости. Это декодерный трансформер с патчевой обработкой временных рядов и чередованием внимания по временной оси и по переменным; модель содержит 22 млн параметров и распространяется в формате safetensors на библиотеке PyTorch. Модель предназначена для прогнозирования без дообучения на конкретном временном ряде. Она поддерживает несколько переменных, разные горизонты и длины контекста, а также выдаёт точечные прогнозы и оценки неопределённости в виде квантилей. В README сообщается о результатах семейства Toto 2.0 на бенчмарках BOOM, GIFT-Eval и TIME; отдельные результаты именно версии 22m не приведены. Лицензия — Apache-2.0.

179K13апр. 2026
textapache-2.0hugging-face
QuantFactory
Triplex-GGUF

QuantFactory/Triplex-GGUF — квантизированная версия модели SciPhi/Triplex, созданная с использованием llama.cpp. Исходную модель разработала SciPhi.AI; она дообучена на базе Phi-3 3.8B и предназначена для построения графов знаний из неструктурированных данных. Модель извлекает из текста триплеты — простые утверждения, состоящие из субъекта, предиката и объекта. Она рассчитана на сценарии автоматического формирования графов знаний и локальной обработки данных, включая использование с R2R для построения графов в системах RAG. В README заявлено снижение стоимости создания графов знаний на 98% по сравнению с традиционными подходами, превосходство GPT-4 в указанном сравнении и работа примерно за 1/60 стоимости GPT-4; подробности бенчмарка не приведены. Архитектура основана на Phi-3 с размером 3,8 млрд параметров, а формат GGUF предназначен для запуска через llama.cpp. Модель принимает текстовые данные и использует заданные типы сущностей и предикаты; поддерживаемые языки и размер контекстного окна в карточке не указаны. Ограничения также включают специализацию на извлечении структурированных отношений, поэтому модель не следует рассматривать как универсальную разговорную LLM. Лицензия — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и распространение на аналогичных условиях, но не коммерческое применение.

1.2K3июль 2024
textcc-by-nc-sa-4.0hugging-face
halilneed
turkish-pii-detection-v01

halilneed/turkish-pii-detection-v01 — 257 млн параметров, дообученная на базе cagrigungor/pii-guard-turkish-270m модель Gemma 3 для обнаружения и маскирования персональных данных в турецком тексте. Она принимает текст и по заданной инструкции заменяет найденные данные метками, например имя — [AD], турецкий идентификационный номер — [TCKN], телефон — [TEL]. Можно задавать политику маскирования: скрывать все поля, только выбранные или все, кроме исключений. Модель предназначена для обработки текста до его передачи LLM, в хранилища журналов или третьим сторонам; поддерживает контекст до 32 768 токенов. Модель дообучена на 24 000 синтетических примерах банковских и ERP-сообщений. На синтетическом тестовом наборе из 1 000 примеров автор сообщает о точном совпадении 0,882 против 0,740 у исходной модели; тестировались также отдельные срезы данных. Эти результаты не гарантируют качество на реальных текстах. Для использования требуется соблюдать обученный формат запроса с начальным BOS-токеном; вывод может содержать метки вне заданной схемы, поэтому его следует проверять. Модель слабее работает с длинными текстами, несколькими людьми и персональными данными с суффиксами; длинный ввод рекомендуется делить на части. Лицензия — Gemma Terms of Use.

1.4K1сент. 2026ctx32.8K
textgemmahugging-face
codealchemist01
turkish-sentiment-analysis

Модель codealchemist01/turkish-sentiment-analysis — дообученная версия dbmdz/bert-base-turkish-cased для классификации тональности текстов на турецком языке. Она относит текст к одному из трёх классов: положительному, отрицательному или нейтральному. Модель использует архитектуру BERT с 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Её обучали на объединённых и очищенных наборах турецких предложений; в README приведены метрики тестирования и более низкий F1 для отрицательного класса, чем для нейтрального и положительного. Лицензия — Apache-2.0.

331нояб. 2025ctx512
textapache-2.0hugging-face
cardiffnlp
twitter-roberta-base-sentiment-latest

cardiffnlp/twitter-roberta-base-sentiment-latest — модель Cardiff NLP на архитектуре RoBERTa-base, дообученная для анализа тональности на бенчмарке TweetEval. Базовая RoBERTa обучалась примерно на 124 млн сообщений Twitter за период с января 2018 по декабрь 2021 года; размер модели — 151,8 млн параметров, контекст — до 514 токенов. Модель классифицирует англоязычные тексты, в том числе публикации в социальных сетях, по трём категориям: отрицательная, нейтральная и положительная тональность. Её можно применять для анализа мнений и мониторинга тональности сообщений; доступны веса PyTorch и TensorFlow. Модель предназначена для английского языка и обучена на данных Twitter, поэтому её результаты могут быть менее надёжны на других языках, в иных жанрах текста и вне распределения обучающих данных. Лицензия — CC BY 4.0.

2.6M847март 2022ctx514
textcc-by-4.0hugging-face
vllm-sr
Vela-1.0-Encoder-307M-PII

Vela PII — модель vllm-sr для обнаружения фрагментов текста с персональными и другими чувствительными данными, предназначенная для маршрутизации запросов с учётом приватности и редактирования таких данных. Это дообученная версия Vela-1.0-Encoder-307M на базе ModernBERT с 306,9 млн параметров; модель принимает последовательности длиной до 32 768 токенов и выдаёт разметку токенов метками BIO: 35 меток для 17 типов сущностей. Карточка приводит синтетические оценки exact-span micro F1 для шести языков, включая длинные контексты, но отмечает, что наборы использовались при отборе модели и не являются независимым тестом на естественных документах. Модель распространяется по лицензии Apache-2.0.

5.8K2сент. 2026ctx32.8K
textapache-2.0hugging-face
TalTechNLP
voxlingua107-epaca-tdnn

TalTechNLP/voxlingua107-epaca-tdnn — модель распознавания языка устной речи, обученная с помощью SpeechBrain на наборе VoxLingua107. Она использует архитектуру ECAPA-TDNN, разработанную для распознавания дикторов, и классифицирует аудиофрагмент по одному из 107 языков. Модель также можно применять для извлечения признаков на уровне высказывания и обучения собственной системы идентификации языка. Модель подходит для автоматического определения языка в коротких речевых записях и подготовки языковых эмбеддингов. На указанном в карточке наборе разработки частота ошибок составила 7%. Доступны веса PyTorch, лицензия — Apache-2.0. Данные VoxLingua107 автоматически извлечены из роликов YouTube и размечены по языку заголовка и описания, поэтому качество обучения и разметки неоднородно. Точность может быть ниже для малоресурсных языков, речи с иностранным акцентом, женской и детской речи, а также речи людей с нарушениями речи.

52433март 2022
audioapache-2.0hugging-face
Porameht
wangchanberta-thainer-corpus-v2-2

Porameht/wangchanberta-thainer-corpus-v2-2 — модель на основе WangchanBERTa, дообученная на наборе pythainlp/thainer-corpus-v2.2 для классификации токенов в тайском тексте. Она предназначена для извлечения именованных сущностей и другой разметки последовательностей с помощью Transformers. Архитектура — CamemBERT для классификации токенов, размер — 132,5 млн параметров, контекст — до 512 токенов. В проверке на валидационной выборке указаны F1 0,8575, точность 0,8300 и полнота 0,8870. Лицензия в предоставленных данных не указана.

1433февр. 2025ctx512
texthugging-face
Baljinnyam
xlm-roberta-base-mongolian-ner-finetuning

Baljinnyam/xlm-roberta-base-mongolian-ner-finetuning — модель XLM-RoBERTa-base, дообученная для распознавания именованных сущностей в монгольском тексте. Она выполняет токенную классификацию: присваивает метку каждому фрагменту текста. В README приведены результаты оценки: F1 0,9310, точность 0,9267, полнота 0,9354 и accuracy 0,9796; название набора данных в карточке не раскрыто. Модель содержит около 305,2 млн параметров, работает на PyTorch и имеет контекстное окно 514 токенов. Лицензия — MIT. Карточка не уточняет наборы распознаваемых сущностей и ограничения оценки, поэтому приведённые метрики не гарантируют качество на других текстах.

1670апр. 2023ctx514
textmithugging-face
yeshpanovrustem
xlm-roberta-large-kaznerd

Модель yeshpanovrustem/xlm-roberta-large-kaznerd — модель распознавания именованных сущностей на казахском языке, разработанная на основе XLM-RoBERTa Large. Она дообучена в течение трёх эпох на наборе данных KazNERD и предназначена для разметки сущностей в тексте с помощью Transformers pipeline для NER. В метаданных указаны архитектура XLM-RoBERTa для классификации токенов, 658,7 млн параметров и контекст до 514 токенов. На тестовой выборке автор сообщает precision 96,49%, recall 96,86% и F1 96,67%; показатели отдельных классов различаются, например, F1 для ADAGE составляет 41,67%. Модель распространяется под лицензией CC BY 4.0. Она предназначена для распознавания сущностей на казахском языке; приведённые метрики относятся к указанному датасету и не гарантируют такое же качество на текстах других жанров.

40811май 2023ctx514
textcc-by-4.0hugging-face
Komail262
arabert-ner-anercorp

Komail262/arabert-ner-anercorp — модель для распознавания именованных сущностей в арабском тексте. Она дообучена на наборе ANERCorp на базе aubmindlab/bert-base-arabertv02 и использует архитектуру BERT с классификацией токенов; размер составляет 162,4 млн параметров, контекст — до 512 токенов. Модель размечает сущности по схеме BIO: имена людей (PERS), места (LOC), организации (ORG) и прочие сущности (MISC). Она предназначена для извлечения именованных сущностей из новостных текстов на современном стандартном арабском языке. На тестовой части ANERCorp приведены оценки F1 на уровне сущностей: 0,9015 для LOC, 0,8485 для PERS и 0,7083 для ORG. Модель может хуже работать с арабскими диалектами и публикациями в социальных сетях; точность для ORG и MISC ниже, чем для LOC и PERS. Для критически важных сценариев требуется оценка на целевом домене. Лицензия указана как other.

730июль 2026ctx512
textotherhugging-face
rss9051
autotrein-BERT-iiLEX-dgs-0003

rss9051/autotrein-BERT-iiLEX-dgs-0003 — модель классификации текста, созданная с помощью AutoTrain и дообученная на основе rss9051/autotrein-BERT-iiLEX-dgs-0002. Она использует архитектуру BERT для классификации последовательностей и подходит для присвоения текстам меток в прикладных системах. В репозитории хранятся веса в формате safetensors; модель содержит 136,1 млн параметров, а длина контекста составляет 512 токенов. В карточке приведены метрики валидации: точность 0,737, macro F1 0,681 и weighted F1 0,736. Они дают ориентир по качеству на использованном наборе проверки, но без сведений о классах и данных не позволяют оценить пригодность модели для другой задачи. Лицензия и поддерживаемые естественные языки в предоставленных сведениях не обозначены.

60нояб. 2024ctx512
texthugging-face
coderian
axiom-python-1.5B

Axiom Python 1.5B — авторегрессионная языковая модель для генерации текста, дообученная разработчиком coderian на Qwen/Qwen2.5-1.5B с помощью LoRA и SFT. Модель основана на архитектуре Qwen2ForCausalLM, содержит около 1,5 млрд параметров и рассчитана прежде всего на генерацию кода на Python и ответы в формате диалога. Она распространяется в формате safetensors и использует библиотеку Transformers; заявленное окно контекста — 131072 токена. Модель обучалась на наборах CodeAlpaca_20K и PythonCodeInstruct_18K. Лучше всего она подходит для отдельных строк и функций средней сложности; для устойчивого результата README рекомендует формат Instruction/Answer и невысокую температуру генерации. Лицензия — Apache-2.0. Из-за небольшого размера модель может ошибаться в сложных и длинных задачах, а качество на языках программирования, отличных от Python, ограничено. Обучающие последовательности имели длину до 256 токенов, поэтому согласованность при длинном контексте может ухудшаться, несмотря на заявленное контекстное окно. Сгенерированный код следует проверять перед запуском; возможны унаследованные от данных смещения и вредоносный контент.

1830сент. 2026ctx131.1K
textapache-2.0hugging-face
CAMeL-Lab
bert-base-arabic-camelbert-da-ner

CAMeL-Lab разработала CAMeLBERT-DA NER — модель распознавания именованных сущностей на основе BERT, дообученную на диалектном варианте CAMeLBERT-DA с использованием датасета ANERcorp. Она размечает арабский текст по токенам и предназначена для извлечения сущностей в приложениях на базе CAMeL Tools или Transformers. Модель содержит 136,3 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Карточка указывает лицензию Apache-2.0. Модель рассчитана на арабский язык; качество разметки за пределами описанного сценария и датасета может отличаться.

1120март 2022ctx512
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей