/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
781–810 из 23 488
joelbarmettler
gheim-ch-560m

gheim-ch-560m — мультиязычная модель Joel Barmettler для выявления персональных данных в тексте на четырёх официальных языках Швейцарии и английском. Это дообученная на наборе joelbarmettler/gheim-ch-pii-212k модель FacebookAI/xlm-roberta-large с архитектурой XLM-RoBERTa для классификации токенов; в метаданных указано 658,7 млн параметров и контекст длиной 514 токенов. Модель размечает фрагменты текста по 33 BIOES-классам, охватывающим восемь категорий PII и метку для остальных токенов. Она предназначена для обнаружения и маскировки персональных данных перед передачей текста внешним сервисам, например API LLM. Выходные фрагменты подходят для замены или сокрытия, а не для связывания сущностей или восстановления личности. Модель обучена с приоритетом полноты обнаружения: она может помечать как PII публичные институциональные контакты и имена должностных лиц, поэтому для сценариев, требующих высокой точности, рекомендуется дополнительная фильтрация. Модель распространяется по лицензии Apache-2.0, включая коммерческое использование. Доступны веса в форматах Safetensors и ONNX.

2260май 2026ctx514
textapache-2.0hugging-face
urchade
gliner_medium-v2.1

urchade/gliner_medium-v2.1 — англоязычная модель распознавания именованных сущностей из семейства GLiNER, разработанного Уршаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарнуа. Она использует двунаправленный энкодер-трансформер типа BERT и содержит 209 млн параметров. Модель извлекает из текста сущности заданных пользователем типов, поэтому подходит для сценариев, где нужны гибкие категории разметки без отдельного классификатора для каждого типа. Она предназначена для распознавания сущностей в англоязычном тексте и может служить более компактной альтернативой крупным языковым моделям для извлечения сущностей. Для работы авторы рекомендуют библиотеку GLiNER: модель загружается через `GLiNER.from_pretrained`, а сущности извлекаются функцией `predict_entities`. Репозиторий предоставляет веса PyTorch в формате Safetensors. Лицензия — Apache-2.0. В карточке не приведены результаты бенчмарков или конкретные ограничения качества; поддержка других языков для этой версии не заявлена.

55K52март 2024
textapache-2.0hugging-face
dyyyyyyyy
GNER-LLaMA-7B

GNER-LLaMA-7B — генеративная модель распознавания именованных сущностей, разработанная авторами работы «Rethinking Negative Instances for Generative Named Entity Recognition». Она основана на архитектуре LLaMA и предназначена для извлечения сущностей из текста, в том числе в ранее не встречавшихся предметных областях. В README сообщается о применении обучения с отрицательными примерами и результатах для вариантов GNER на LLaMA и Flan-T5; для GNER-LLaMA приведены средние F1 66,1 в режиме zero-shot и 86,09 при обучении с разметкой. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текстовый результат. Контекст — до 2048 токенов. В метаданных указан английский язык, библиотека Transformers и лицензия Apache-2.0. Модель подходит для извлечения сущностей из текстов, но карточка не уточняет схему выдачи и полный перечень типов сущностей; заявленные метрики относятся к описанным в работе оценочным настройкам и не гарантируют качество на произвольных данных.

334февр. 2024ctx2K
textapache-2.0hugging-face
ertghiu256
Granite-4.1-3b-coder

Модель ertghiu256/Granite-4.1-3b-coder — дообученная автором ertghiu256 версия Granite-4.1-3b от IBM, ориентированная на генерацию кода. Она предназначена для написания и дополнения кода, а также для диалогового взаимодействия по задачам программирования. Архитектура — плотная причинная языковая модель GraniteForCausalLM на 3,4 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса в формате safetensors. В карточке указаны английский язык, чат и интерфейс вызова инструментов. Модель в основном обучалась на коде Python, поэтому для других языков программирования качество может быть ниже. Лицензия — Apache-2.0.

871июль 2026ctx131.1K
textapache-2.0hugging-face
ibm-granite
granite-timeseries-ttm-r1

Granite-TimeSeries-TTM-R1 — компактная предобученная модель TinyTimeMixer для прогнозирования многомерных временных рядов, разработанная IBM Research. Вариант R1 обучен на 250 млн публичных обучающих примеров; в метаданных указано около 1 млн параметров. Модель поддерживает прогнозирование без дообучения и дообучение на данных целевого ряда, в том числе с независимой обработкой каналов или смешиванием каналов, а также с использованием экзогенных переменных и категориальных признаков. Доступны варианты для контекста длиной 512 или 1024 временных точек с прогнозом до 96 точек вперёд. Модель рассчитана на данные с минутной и часовой частотой, например с интервалом 10 минут, 15 минут или 1 час, и может запускаться на одной GPU или ноутбуке. README указывает, что R2 обучен на большем наборе данных и обычно показывает лучшие результаты, но выбор версии зависит от распределения целевых данных. Модель распространяется по лицензии Apache-2.0.

17K330апр. 2024
textapache-2.0hugging-face
infly
inf-o1-pi0

INF-o1-pi0 — языковая модель для рассуждений, разработанная командой INF-o1 компании INFLY TECH (Shanghai) Co., Ltd. Это начальный контрольный чекпойнт проекта, созданный для оценки конвейера подготовки данных перед дальнейшим обучением с подкреплением. Модель дообучена на базе Qwen/Qwen2.5-32B-Instruct, имеет плотную архитектуру Qwen2 и 32 млрд параметров; работает через Transformers и принимает текст, выдавая текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации развёрнутых рассуждений и решения задач по математике, программированию, логике, безопасности и SQL. В README приведены результаты сравнений на математических, логических и SQL-бенчмарках; они показывают сильные результаты на отдельных наборах, но не гарантируют точность в прикладных задачах. Карточка описывает этот выпуск как исходный чекпойнт для оценки конвейера данных и основы будущего обучения с подкреплением. Языковые теги метаданных охватывают китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

208янв. 2025ctx32.8K
texthugging-face
unsloth
JanusCoder-14B-GGUF

unsloth/JanusCoder-14B-GGUF — это GGUF-версия JanusCoder-14B, разработанная командой InternLM и подготовленная Unsloth. Модель представляет собой 14-миллиардную текстовую модель на базе Qwen3-14B, ориентированную на создание программного кода и визуально-программный интерфейс для задач code intelligence. Обучение проводилось на мультимодальном корпусе JANUSCODE-800K, включающем примеры графиков, интерактивных веб-интерфейсов и анимаций, однако сама JanusCoder-14B классифицируется как текстовая модель, в отличие от мультимодальных вариантов JanusCoderV. Модель предназначена для генерации кода по текстовым инструкциям, создания визуализаций данных, интерактивных front-end-приложений, программно управляемого редактирования визуальных эффектов и построения сложных анимаций, включая сценарии с Pandas, Manim и Wolfram. В опубликованных тестах она показывает сильные результаты на PandasPlotBench и ArtifactsBench, а также превосходит Qwen3-14B и LLaMA3-8B-Instruct в ряде задач, хотя уступает специализированным или более крупным моделям в отдельных тестах. README не указывает поддерживаемые языки естественного языка, размер контекстного окна и точную схему квантования GGUF. Для работы с исходной моделью рекомендуется Transformers версии 4.55.0 или новее; в README также отмечены исправления chat template от Unsloth и необходимость параметра --jinja при использовании llama.cpp. Модель распространяется по лицензии Apache-2.0.

7702окт. 2025
textimageapache-2.0hugging-face
Babelscape
mrebel-base

mREBEL-base — мультиязычная модель извлечения отношений, представленная авторами работы REDFM, опубликованной на ACL 2023. Она переосмысляет извлечение отношений как задачу преобразования текста в текст и предназначена для самостоятельного извлечения связей между сущностями или для дообучения на мультиязычных наборах данных по этой задаче. Модель построена на архитектуре M2M100ForConditionalGeneration и содержит 332,5 млн параметров. Метаданные указывают контекст до 1024 токенов и поддержку арабского, каталанского, немецкого, греческого, английского, испанского, французского, хинди, итальянского, японского, корейского, нидерландского, польского, португальского, русского, шведского, вьетнамского и китайского языков. Для корректного разбора предсказаний нужны специальные токены, различающие субъект, объект и тип отношения; виджет Hugging Face их не показывает. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения и атрибуции.

1438июнь 2023ctx1K
textcc-by-nc-sa-4.0hugging-face
agentlans
multilingual-e5-small-pii-detector

agentlans/multilingual-e5-small-pii-detector — дообученная модель классификации текста на основе BERT multilingual-e5-small, предназначенная для обнаружения персональных данных (PII) в тексте. Её можно применять для предварительной проверки пользовательских сообщений, документов и записей перед передачей или публикацией, а также как вспомогательный компонент процессов редактирования и маскирования данных. Модель содержит 124,3 млн параметров, принимает текстовые последовательности длиной до 512 токенов и опубликована в формате safetensors. В карточке приведены примеры на английском, французском и испанском языках; метаданные указывают на многоязычную поддержку. На оценочном наборе автор сообщает accuracy 0,9214. Модель выпущена под лицензией Apache-2.0. Чувствительность может быть ниже для отдельных языков и форматов персональных данных, включая некоторые номера карт и локальные идентификаторы; на очень коротких фрагментах без контекста качество может снижаться. Результаты следует использовать как вспомогательную проверку, а не как замену юридической или комплаенс-проверке.

467нояб. 2025ctx512
textapache-2.0hugging-face
flair
ner-english-fast

Это быстрая модель распознавания именованных сущностей на английском языке, поставляемая вместе с библиотекой Flair. Она использует эмбеддинги Flair и архитектуру LSTM-CRF, обучена для четырёх классов сущностей на CoNLL-2003 и показывает F1 92,92 на исправленной версии этого набора данных. Модель подходит для извлечения из английского текста имён людей, географических названий, организаций и ещё одного класса разметки, не раскрытого в доступной части карточки. Её можно применять для разметки документов и предварительной обработки текста в конвейерах NLP через Flair. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

25K27март 2022
texthugging-face
flair
ner-german-large

Это крупная модель распознавания именованных сущностей для немецкого языка, входящая в библиотеку Flair. Она размечает текст четырьмя классами сущностей: именами людей, географическими названиями, организациями и ещё одним классом, который в карточке не раскрыт. Модель основана на контекстных представлениях XLM-R на уровне документа и архитектуре FLERT; для неё заявлен F1-score 92,31 на пересмотренной немецкой версии CoNLL-03. Модель предназначена для извлечения именованных сущностей из немецких текстов и может использоваться в конвейерах обработки документов, новостей и других текстовых материалов. В метаданных указан формат PyTorch и лицензия не приведена. Результат зависит от соответствия входных текстов немецкому языку и домену обучающей выборки CoNLL-03; карточка также не раскрывает значение четвёртого тега.

192K45март 2022
texthugging-face
CATIE-AQ
NERmembert-base-3entities

NERmembert-base-3entities — модель для распознавания именованных сущностей во французском тексте, разработанная Centre Aquitain des Technologies de l'Information et Electroniques и автором Loïck Bourdois. Она основана на CamemBERT base, дообученной для выделения персон (PER), организаций (ORG) и географических объектов (LOC). Модель обучалась на объединённом и очищенном наборе frenchNER_3entities из пяти французских датасетов для NER: около 420 тысяч размеченных предложений, включая обучающую, валидационную и тестовую выборки. Архитектура — CamembertForTokenClassification, размер — 137,8 млн параметров, максимальная длина контекста — 514 токенов. Модель принимает французский текст и возвращает метки сущностей для его токенов. Модель подходит для извлечения имён людей, названий организаций и мест из французских документов и текстовых корпусов. В карточке указана лицензия MIT. Заявленные результаты оценки приведены в README, но численные таблицы в доступном тексте опущены; качество на других доменах и типах текста может отличаться.

1462дек. 2023ctx514
textmithugging-face
numind
NuNER-BERT-v1.0

NuNER-BERT-v1.0 — англоязычная модель распознавания именованных сущностей от NuMind, представленная в работе NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data. Это BERT, дообученный на данных NuNER; модель использовалась в сравнении с TadNER в разделе 4.2 статьи. Она предназначена для извлечения сущностей из текста и может использоваться как готовый энкодер признаков или дообучаться на специализированных наборах данных. Модель содержит 136,7 млн параметров, имеет контекстное окно 512 токенов и опубликована в формате safetensors. Модель рассчитана на английский язык. Лицензия MIT разрешает широкое использование и модификацию при соблюдении её условий. Карточка приводит название статьи и контекст одного эксперимента, но не сообщает конкретные метрики качества; распознавание сущностей на новых предметных областях может потребовать дополнительного дообучения.

181март 2024ctx512
textmithugging-face
bigcode
octogeex

OctoGeeX — инструкционно дообученная языковая модель для генерации кода и выполнения текстовых инструкций. Согласно README, её разработали в рамках проекта BigCode, дообучив CodeGeeX2 на CommitPackFT и OASST; в метаданных указаны архитектура ChatGLM, 7,5 млрд параметров и библиотека Transformers. Модель работает с текстом, поддерживает английский и китайский языки и более 100 языков программирования. Родная длина контекста — 8192 токена. Модель подходит для генерации и дополнения кода, а также для ответов на инструкции. README рекомендует оформлять запрос с префиксом «Question: » и завершать его строкой «Answer:». Указанные в карточке обучения включают предварительное обучение с целью Fill-in-the-Middle и последующее инструкционное дообучение. Модель опубликована в формате PyTorch. В README не приведены условия лицензии, поэтому их нельзя уточнить по доступным сведениям. Данные о размере модели расходятся: README называет 6 млрд параметров, а метаданные — 7,5 млрд.

22122июль 2023ctx8.2K
texthugging-face
mlx-community
openai-privacy-filter-bf16

mlx-community подготовила версию OpenAI Privacy Filter в формате MLX и BF16, преобразовав модель openai/privacy-filter с помощью mlx-embeddings. Это двунаправленный разреженный MoE-классификатор токенов: он размечает фрагменты персональных данных в тексте BIOES-метками по восьми категориям — имена людей, адреса электронной почты, телефоны, URL, адреса, даты, номера счетов и секреты. Модель предназначена для локального выявления и последующего маскирования чувствительных данных в текстах. Версия содержит 145,4 млн параметров по метаданным; в README для исходной модели указано 1,5 млрд параметров, из которых активно 50 млн. Контекст составляет до 131 072 токенов. Доступны веса safetensors для MLX, лицензия Apache-2.0. Описание не указывает поддерживаемые естественные языки и не приводит оценок качества.

5153апр. 2026ctx131.1K
textapache-2.0hugging-face
allenai
open-instruct-code-alpaca-13b

Open-Instruct Code Alpaca 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями AllenAI на наборе инструкций Code Alpaca. Она предназначена для генерации кода и ответов на инструкции, в частности для помощи с программированием в формате запрос–ответ. Модель принимает текст и генерирует текст; её нативная длина контекста — 2048 токенов. В README приведён результат Codex-Eval Pass@1 20,1 и Pass@10 34,5, а также результаты общих языковых и рассуждательных бенчмарков. Репозиторий содержит diff весов, поэтому для использования требуется совместимая исходная модель LLaMA в формате Hugging Face; это не самостоятельный полный набор весов. Рекомендуется применять указанный в карточке шаблон форматирования запросов. Модель опубликована под лицензией AI model license вместе с исходной лицензией LLaMA; перед использованием следует проверить условия обеих лицензий.

1560июнь 2023ctx2K
texthugging-face
OpenMed
OpenMed-PII-ClinicalE5-Small-33M-v1-onnx-android

OpenMed-PII-ClinicalE5-Small-33M-v1-onnx-android — модель OpenMed, разработанная проектом OpenMed; в публикации проекта указан автор Maziyar Panahi. Это ONNX-версия модели OpenMed/OpenMed-PII-ClinicalE5-Small-33M-v1 для токен-классификации персональных и клинических идентификаторов в англоязычных клинических и биомедицинских текстах. Модель основана на архитектуре BERT и содержит около 33 млн параметров. Максимальная длина последовательности — 512 токенов. Она распознаёт широкий набор сущностей, включая имена, адреса, телефоны, электронные адреса, даты рождения, медицинские номера записей, страховые идентификаторы, IP-адреса, номера карт и другие персональные или чувствительные клинические данные. Предусмотрено локальное выполнение после загрузки модели: на CPU через INT8-граф, в браузере через WebAssembly или WebGPU с FP16-графом, а также на Android. Модель возвращает метки, оценки уверенности и символьные смещения найденных фрагментов. Сильными сторонами являются специализированная направленность на обнаружение идентификаторов, работа без передачи текста на удалённый сервер и наличие нескольких ONNX-артефактов для разных сред выполнения. Модель не предназначена для диагностики, принятия клинических решений или гарантированного обеспечения соответствия нормативным требованиям; перед использованием необходимо проверить полноту обнаружения, пороги уверенности и поведение на целевых данных. Модель распространяется по лицензии Apache-2.0.

2.3K0июль 2026ctx512
textapache-2.0hugging-face
baerquants
OpenThinker3-7B

Карточка модели baerquants/OpenThinker3-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker3-7B, поэтому описание составлено по ней. OpenThinker3-7B — языковая модель с открытыми весами, разработанная командой Open Thoughts для задач рассуждения. Она дообучена методом supervised fine-tuning на базе Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts3-1.2M, включающем вопросы по математике, программированию и естественным наукам. По данным авторов, модель обучалась без RL и показала улучшение по сравнению с предыдущими моделями OpenThinker в приведённых тестах. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов; поддерживаются чатовый режим и интерфейс вызова инструментов. Модель предназначена для решения математических задач, написания и анализа кода, научных вопросов и пошагового рассуждения. Доступна по лицензии Apache 2.0.

2920сент. 2026ctx32.8K
textapache-2.0hugging-face
Phind
Phind-CodeLlama-34B-Python-v1

Phind-CodeLlama-34B-Python-v1 — языковая модель для генерации кода, разработанная Phind на основе CodeLlama-34B-Python. Модель с плотной архитектурой Llama содержит 33,5 млрд параметров и рассчитана на контекст до 16 384 токенов. Она дообучена на внутреннем наборе примерно из 80 тысяч высококачественных задач по программированию и решений в формате «инструкция — ответ»; обучение проводилось в течение двух эпох без LoRA. Модель предназначена для ответов на задачи по программированию и генерации решений на Python. В README сообщается результат 69,5% pass@1 на HumanEval. Модель частично настроена на следование инструкциям, но не оптимизирована для диалогового чата. Доступны веса PyTorch для Transformers; лицензия указана как llama2. Разработчик предупреждает, что модель прошла ограниченное тестирование и нуждается в дополнительной проверке безопасности перед практическим развёртыванием.

150252авг. 2023ctx16.4K
textllama2hugging-face
jefftherover
pii-layout-synth-v14

pii-layout-synth-v14 — модель jefftherover, дообученная на базе answerdotai/ModernBERT-base для классификации токенов. Карточка сообщает о результатах оценки: F1 0,9925, точность 0,9910 и полнота 0,9941; обучающий набор данных не раскрыт. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.

100июль 2026ctx8.2K
textapache-2.0hugging-face
emissary-ai
Python-Tab-Completion-CodeLlama-70b

Python-Tab-Completion-CodeLlama-70b — вариант Code Llama на 70 млрд параметров, разработанный Meta и размещённый в неофициальном репозитории emissary-ai. Это авторегрессионная плотная Transformer-модель для генерации и понимания кода, настроенная для Python и предназначенная, в частности, для автодополнения кода. Она принимает текст и генерирует текст; поддерживает контекст до 4096 токенов. Модель не предназначена для диалогового следования инструкциям или инфиллинга. Модель может помогать дописывать фрагменты Python и создавать или разбирать код. Карточка указывает на применение в коммерческих и исследовательских сценариях, но README ограничивает предполагаемые естественные языки английским; основная специализация — язык программирования Python. Веса доступны в форматах PyTorch и Safetensors. Использование регулируется лицензией Meta для Llama 2.

2588авг. 2025ctx4.1K
textllama2hugging-face
Babelscape
rebel-large

Babelscape/rebel-large — модель извлечения отношений, разработанная Pere-Lluís Huguet Cabot и Roberto Navigli и представленная в работе Findings of EMNLP 2021. Она преобразует задачу извлечения отношений в генерацию последовательности: по входному тексту модель выделяет триплеты «субъект — отношение — объект». Модель основана на BART, содержит 252,8 млн параметров и принимает контекст длиной до 1024 токенов. REBEL рассчитана на извлечение отношений более чем 200 типов и может применяться для пополнения или проверки баз знаний, фактчекинга и других задач информационного извлечения. Карточка связывает модель с датасетом Babelscape/rebel-dataset; язык модели — английский. Для интерпретации результата нужны специальные токены, разделяющие субъект, объект и тип отношения; виджет Hugging Face их не показывает. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует распространять адаптации на совместимых условиях.

14K241март 2022ctx1K
textcc-by-nc-sa-4.0hugging-face
sergeyzh
rubert-tiny-topic

sergeyzh/rubert-tiny-topic — компактная BERT-модель Сергея Жукова для получения эмбеддингов и тематической классификации и кластеризации текстов. Она создана дистилляцией эмбеддингов русских и английских текстов BERTA в rubert-tiny-lite и предназначена для использования с библиотекой Sentence Transformers. Модель содержит 23,1 млн параметров, имеет 3 слоя, размер эмбеддинга 256 и контекст до 512 токенов. В README приведены оценки на наборах MTEB для классификации заголовков, выявления неприемлемого содержания и классификации научных текстов по рубрикатору GRNTI. Качество на английских текстах автор не проверял, поэтому результаты для английского языка не подтверждены. Модель распространяется по лицензии MIT.

2013нояб. 2025ctx512
textembeddingmithugging-face
SlavicNLP
slavicner-ner-cross-topic-large

SlavicNLP разработала базовую модель распознавания именованных сущностей, обученную на кросс-тематическом разбиении корпуса SlavicNER. Модель построена на архитектуре XLM-RoBERTa и предназначена для разметки сущностей в тексте на славянских языках. Модель содержит 658,7 млн параметров, работает с контекстом до 514 токенов и доступна в формате Safetensors для библиотеки Transformers. Поддерживаются польский, русский, украинский, болгарский, чешский и словенский языки. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

472май 2024ctx514
textapache-2.0hugging-face
llmware
slim-sentiment

SLIM-SENTIMENT — специализированная авторегрессионная модель серии SLIM от llmware, дообученная для анализа тональности через вызовы функций. Она принимает текст и формирует структурированный ответ в виде словаря Python с тональностью, например positive, пригодный для автоматизированных рабочих процессов и обработки другими программами. Модель построена на архитектуре Llama, содержит 1 млрд параметров и имеет контекст длиной 2048 токенов. В README показан запуск через Transformers и библиотеку llmware. Модель распространяется по лицензии Apache-2.0. Карточка описывает задачу анализа тональности, но не сообщает поддерживаемые языки или результаты оценки качества.

578янв. 2024ctx2K
textapache-2.0hugging-face
tomaarsen
span-marker-bert-base-fewnerd-fine-super

Модель tomaarsen/span-marker-bert-base-fewnerd-fine-super — модель SpanMarker для распознавания именованных сущностей, разработанная на основе bert-base-cased и дообученная на наборе FewNERD. Она обрабатывает английский текст и определяет сущности из множества категорий, включая типы произведений искусства и развлечений. Модель принимает последовательности длиной до 256 токенов и распознаёт сущности длиной до 8 слов. Модель подходит для извлечения и классификации упоминаний сущностей в текстах, а также для дальнейшего дообучения на собственном наборе данных. Она использует библиотеку SpanMarker и распространяется в форматах PyTorch и safetensors. Лицензия — CC-BY-SA-4.0.

3.4K15март 2023ctx512
textcc-by-sa-4.0hugging-face
hari-krishna-ai
text2sql-schema-retriever-minilm

Модель разработана Hari Krishna как дообученный энкодер предложений для поиска таблиц в схемах баз данных по вопросам на естественном языке в сценариях text-to-SQL. На вход она принимает текст вопроса и формирует векторы для сравнения с описаниями таблиц; ранжирование выполняется по косинусному сходству. Базовая архитектура — BERT из sentence-transformers/all-MiniLM-L6-v2, около 25,9 млн параметров, контекст до 512 токенов. Репозиторий содержит веса safetensors и квантированный до int8 экспорт ONNX для использования, в частности, с Transformers.js. Модель дообучена контрастивным методом на парах вопросов и таблиц из обучающей части enterprise text-to-SQL benchmark. В описанной оценке она помещала все нужные таблицы в топ-3 для 96,3% тестовых вопросов; особенно полезна для предварительного отбора таблиц перед генерацией SQL. Модель рассчитана на английский язык. Лицензия — Apache-2.0. Качество зависит от формулировок вопроса и текстовых описаний таблиц. В README отмечены ошибки, когда нужную таблицу можно распознать только по значениям данных или скрытым связям, не отражённым в схеме; результаты теста также не гарантируют качество на других базах данных и доменах.

2410сент. 2026ctx512
textembeddingapache-2.0hugging-face
Ary-007
Text-to-sql-llama-3.2

Ary-007/Text-to-sql-llama-3.2 — дообученная модель на основе Llama-3.2-3B-Instruct, созданная для преобразования вопросов на естественном языке в SQL. На вход подаются схема базы данных и вопрос, а модель генерирует SQL-запрос и краткое объяснение его логики. Для дообучения использовались QLoRA и набор данных gretelai/synthetic_text_to_sql; модель работает через Transformers и распространяется в формате safetensors. Модель содержит 3,2 млрд параметров и имеет контекстное окно до 131 072 токенов. Она рассчитана на генерацию SQL в стиле SQLite и PostgreSQL и может запускаться локально, в том числе после 4-битной квантизации. Лицензия — MIT. Обучение ограничилось 60 шагами и описано как доказательство концепции, поэтому модель может плохо обобщать на сложные или незнакомые схемы. Синтаксически корректный запрос может быть логически неверным; результат следует проверять перед запуском в рабочей базе данных.

365нояб. 2025ctx131.1K
textmithugging-face
google
timesfm-2.5-200m-transformers

TimesFM 2.5 — модель прогнозирования временных рядов, разработанная Google. Этот репозиторий содержит версию официального чекпойнта TimesFM 2.5, преобразованную для библиотеки Transformers; архитектура и поведение прогнозирования сохранены. Модель имеет архитектуру decoder-only с обработкой входных данных патчами и около 229,4 млн параметров. Модель предназначена для прогнозирования временных рядов по историческим последовательностям. Она формирует точечные и квантильные прогнозы; указанная длина контекста — 16 384 токена. Репозиторий содержит веса в формате safetensors, а для работы используется библиотека Transformers. Модель рассчитана на данные временных рядов, поэтому естественный язык не является её основным входом или выходом. В README указана проверка соответствия прогнозов преобразованной модели результатам официальной реализации на детерминированных входных данных. Лицензия — Apache-2.0.

52K143февр. 2026ctx16.4K
textapache-2.0hugging-face
Neo-11
tweet_sentiment

Neo-11/tweet_sentiment — модель классификации тональности твитов, дообученная на основе distilbert-base-uncased. Она использует архитектуру DistilBertForSequenceClassification и принимает текст длиной до 512 токенов. В README приведены результаты на наборе оценки: accuracy 0,9985 и F1 0,9950; название и состав обучающего набора данных не раскрыты. Модель подходит для автоматической разметки тональности коротких сообщений и анализа публикаций в соцсетях. Распространяется по лицензии Apache-2.0.

1180май 2024ctx512
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей