/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
541–570 из 23 488
DataOrchestra
Orchestrator

DataOrchestra/Orchestrator — дообученная модель DataOrchestra на базе Qwen/Qwen3-1.7B-Base, предназначенная для планирования очистки данных предобучения. Она принимает фрагмент данных длиной до 1024 токенов Qwen3 в обёртке [DOC] и [/DOC] и выдаёт план в формате JSON: оставить или отбросить фрагмент либо запустить этапы очистки, включая удаление шумовых строк и исправление поверхностных артефактов. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 32 768 токенов. Для запуска предусмотрена библиотека Transformers; карточка также показывает возможность чат-взаимодействия. Модель подходит для автоматизированной курировки корпусов предобучения и высокопроизводительной обработки фрагментов через совместимый с OpenAI endpoint vLLM. В метаданных указан английский язык. Репозиторий распространяется по лицензии Apache-2.0. В описании не приведены результаты оценки качества; формат входа и ожидаемую схему JSON следует соблюдать при интеграции.

1.0K0июль 2026ctx32.8K
textapache-2.0hugging-face
sergeyzh
rubert-large-uncased-sts

sergeyzh/rubert-large-uncased-sts — плотная BERT-модель, разработанная Sergeyzh для получения эмбеддингов русских и английских текстов. Эмбеддинги дистиллированы из Qwen/Qwen3-Embedding-4B. Модель предназначена для оценки семантического сходства предложений (STS), поиска перефразов, дедупликации и задач логического вывода NLI. Модель имеет 12 слоёв, размер эмбеддинга 1024 и контекст до 512 токенов. Для работы через Sentence Transformers специальные префиксы не требуются. Её также можно использовать как основу для дообучения под пользовательскую классификацию и кластеризацию. В README приведены результаты оценки на русских и английских бенчмарках семантического сходства; показатели на русских наборах близки к Qwen3-Embedding-4B, а на английских ниже. Модель распространяется по лицензии MIT.

1.3K1апр. 2026ctx512
textembeddingmithugging-face
lxyuan
span-marker-bert-base-multilingual-cased-multinerd

lxyuan разработал SpanMarker на основе bert-base-multilingual-cased, дообучив модель на наборе Babelscape/multinerd. Это модель для распознавания именованных сущностей: она выделяет в тексте упоминания людей, организаций и мест, а также другие типы сущностей из разметки MultiNERD. Модель поддерживает десять языков: немецкий, английский, испанский, французский, итальянский, нидерландский, польский, португальский, русский и китайский. В опубликованной карточке приведены результаты оценки: общий F1 — 92,61; для английского — 95,20. Модель использует регистрозависимый вариант BERT, поэтому качество может снижаться, если регистр букв в исходном тексте часто нарушен. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий указания авторства и распространения производных материалов.

2513авг. 2023ctx256
textcc-by-nc-sa-4.0hugging-face
itsme-nishanth
Sparky-SQL-Llama-3.2-1B

Sparky-SQL-Llama-3.2-1B — дообученная Нишантом текстовая модель семейства Llama 3.2 для генерации SQL-запросов по запросам на естественном языке. Она основана на unsloth/Llama-3.2-1B, имеет 1,2 млрд параметров и контекст до 131 072 токенов. Модель рассчитана на англоязычные запросы и сценарии, где нужно преобразовать вопрос о данных в запрос SQL. Модель использует архитектуру LlamaForCausalLM и доступна в формате safetensors для Transformers. Обучение проводилось на данных SQL-запросов; в карточке указано, что пустые записи удалялись. Лицензия — Apache 2.0. README не приводит оценок качества или сведений о поддерживаемых диалектах SQL, поэтому корректность запросов для конкретной схемы базы данных следует проверять.

260окт. 2024ctx131.1K
textapache-2.0hugging-face
MaziyarPanahi
sqlcoder-7b-Mistral-7B-Instruct-v0.2-slerp

sqlcoder-7b-Mistral-7B-Instruct-v0.2-slerp — объединённая модель MaziyarPanahi на основе Mistral-7B-Instruct-v0.2 и sqlcoder-7b. Для слияния использован метод SLERP; архитектура — плотная авторегрессионная Mistral с 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и, в частности, для задач генерации SQL по инструкциям и описанию схемы базы данных. Модель принимает текст и выдаёт текст. Контекст составляет до 32 768 токенов; в репозитории размещены веса Safetensors. Лицензия — Apache-2.0. Объединение двух моделей не гарантирует сохранения или улучшения качества каждой из исходных моделей; README не приводит результатов оценки или подробных рекомендаций по использованию.

311янв. 2024ctx32.8K
textapache-2.0hugging-face
feyninc
sqrl-4b

sqrl-4b — дообученная модель на 4 млрд параметров, разработанная feyninc на базе Qwen/Qwen3.5-4B для преобразования вопросов на естественном языке в SQL-запросы к базам SQLite. Модель может сначала выполнять read-only запросы для изучения значений, связей и фильтров в базе, а затем формировать итоговый SQL. Для работы с ней нужны схема базы данных и, при необходимости, текстовые подсказки с дополнительными сведениями; модель обучалась по специальному протоколу с отдельными действиями исследования и завершения. Обучение включало дистилляцию проверенных траекторий от более крупной модели и последующее обучение с подкреплением по совпадению результатов выполнения SQL. В карточке указаны результаты 64,6% pass@1 на BIRD-dev и 84,0% на Spider-test; голосование по нескольким генерациям повышало точность. Модель основана на мультимодальной архитектуре Qwen3.5-4B, но её SQL-обучение проводилось только на тексте; унаследованная от базы визуальная часть не является целевой возможностью этого дообучения. Лицензия — Apache-2.0. Модель предназначена прежде всего для SQLite и лучше работает с описанным в карточке протоколом взаимодействия. Она не настроена на другие диалекты SQL, использует соглашения SQLite для кавычек идентификаторов, а сгенерированные запросы следует выполнять в режиме только для чтения и проверять перед использованием результатов.

591июль 2026ctx262.1K
textapache-2.0hugging-face
yasserrmd
Text2SQL-1.5B

Text2SQL-1.5B — компактная языковая модель автора yasserrmd для преобразования запросов на естественном языке в SQL. Это дообученная версия unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit на синтетическом наборе gretelai/synthetic_text_to_sql; модель семейства Qwen2 имеет плотную архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Она принимает текстовый запрос вместе со схемой таблиц, заданной через CREATE TABLE, и генерирует SQL, в том числе для запросов с несколькими таблицами. Модель рассчитана на генерацию SQL с пояснением результата; README предлагает возвращать запрос и пояснение раздельно, в том числе в формате JSON. Контекст составляет 32 768 токенов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. В метаданных указан английский язык; качество на других языках и точность на конкретных схемах не подтверждены.

457март 2025ctx32.8K
textapache-2.0hugging-face
Vedant3907
Text-to-Sql-llama3.1-8B

Модель Vedant3907/Text-to-Sql-llama3.1-8B разработана Vedant Rajpurohit и предназначена для преобразования запросов на естественном языке в SQL. Это причинная языковая модель семейства Llama 3.1, дообученная с помощью Unsloth и LoRA на первых 5 000 строках набора Clinton/Text-to-sql-v1. В метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов; README приводит размер 8,03 млрд параметров и точность BF16. Поддерживаемый язык — английский. Модель генерирует SQL по текстовым инструкциям и подходит для прототипирования запросов к базам данных. Обучение ограничивалось 250 шагами, поэтому качество может снижаться на неоднозначных запросах и примерах, отличающихся от обучающих данных. Лицензия — Apache-2.0.

373дек. 2024ctx131.1K
textapache-2.0hugging-face
cycloneboy
CscSQL-Grpo-Qwen2.5-Coder-3B-Instruct

cycloneboy/CscSQL-Grpo-Qwen2.5-Coder-3B-Instruct — языковая модель cycloneboy для преобразования вопросов на естественном языке в SQL-запросы к реляционным базам данных. Это дообученная версия Qwen2.5-Coder с архитектурой Qwen2ForCausalLM и 3,1 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель обучена с помощью Group Relative Policy Optimization (GRPO) на наборе cycloneboy/bird_train. Она предназначена для генерации SQL и может использоваться в сценариях, где нужно отвечать на вопросы по схеме и содержимому базы данных. README описывает подход CSC-SQL с выбором частых вариантов и последующим исправлением результата, однако не уточняет, включает ли этот конкретный чекпойнт весь этот многошаговый процесс. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель может ошибаться в запросах или генерировать SQL, не соответствующий заданной схеме; заявленные в README результаты относятся к моделям CSC-SQL на 7B и 32B, а не к этому чекпойнту 3B.

1000май 2025ctx32.8K
textcc-by-nc-4.0hugging-face
ed001
datagemma-2b

datagemma-2b — языковая модель, разработанная ed001 для генерации кода в области анализа данных по инструкциям на естественном языке. Она дообучена на базе CodeGemma-2B на наборе ed001/ds-coder-instruct-v2, сформированном фильтрацией общедоступных датасетов Hugging Face. Модель использует плотную архитектуру GemmaForCausalLM и содержит 2,5 млрд параметров; максимальная длина контекста — 8192 токена. Модель предназначена для помощи в написании кода для задач data science: пользователь описывает задачу текстом, а модель генерирует соответствующий код. В карточке указана лицензия MIT. Оценки качества и подробные ограничения в предоставленных источниках не описаны.

300апр. 2024ctx8.2K
textmithugging-face
louisbrulenaudet
DevPearl-7B-dare-ties

DevPearl-7B-dare-ties — объединённая модель на основе DeepSeek Coder 6.7B Instruct и SQLCoder 7B 2, опубликованная louisbrulenaudet. Для слияния применён метод DARE-TIES; конфигурация также указывает CodeLlama 7B Instruct как базовую модель, тип данных bfloat16 и маску int8. Модель предназначена для генерации текста, в том числе кода и SQL-запросов, а также для ответов на инструкции, связанные с этими задачами. Модель имеет плотную архитектуру семейства Llama с 6,6 млрд параметров и контекстом до 16 384 токенов. В метаданных указаны английский язык, формат safetensors и библиотека diffusers; лицензия — Apache 2.0. Карточка сообщает о слиянии моделей, но не приводит оценок качества или подробных результатов тестирования именно этого чекпойнта.

2.1K2февр. 2024ctx16.4K
textapache-2.0hugging-face
Isotonic
distilbert_finetuned_ai4privacy_v2

Isotonic/distilbert_finetuned_ai4privacy_v2 — англоязычная модель Isotonic для обнаружения персональных и чувствительных данных в тексте. Она дообучена на английской части набора ai4privacy/pii-masking-200k и предназначена для разметки фрагментов текста перед удалением или маскированием PII, в том числе в потоках данных для AI-ассистентов и LLM. Модель использует архитектуру DistilBERT для классификации токенов, принимает текст и присваивает его фрагментам метки из 54 классов PII. Контекст составляет 512 токенов. В README указаны метрики на оценочной выборке: F1 0,9549 в целом, при этом результаты заметно различаются между классами; например, F1 для email равен 1,0, а для названия валюты — 0,2281. Модель выпущена по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

9.0K21нояб. 2023ctx512
textcc-by-nc-4.0hugging-face
urchade
gliner_large-v2

GLiNER-large-v2 — англоязычная модель для распознавания именованных сущностей, разработанная Уршаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарнуа. Она использует двунаправленный BERT-подобный трансформер и библиотеку GLiNER для извлечения сущностей из текста по заданным пользователем типам, поэтому подходит для гибкой разметки без ограничения фиксированным набором классов. Модель обучена на датасете NuNER и содержит 459 млн параметров. Её можно применять для извлечения сущностей из документов и текстовых коллекций, когда требуются настраиваемые типы сущностей и более компактный вариант по сравнению с крупными языковыми моделями. Репозиторий распространяется по лицензии Apache-2.0.

86K57март 2024
textapache-2.0hugging-face
ibm-granite
granite-20b-code-instruct-8k

Granite-20B-Code-Instruct-8K — языковая модель IBM Research с 20 млрд параметров, дообученная на основе Granite-20B-Code-Base-8K. Она предназначена для выполнения инструкций по программированию и создания помощников для разработки; обучение включало данные о коммитах, примеры инструкций по коду и вызову функций, математические задачи и общие инструкции. Модель использует архитектуру GPTBigCode и поддерживает контекст до 8192 токенов. Модель может помогать с написанием и объяснением кода, решением задач по программированию, запросами SQL и задачами на математические рассуждения. Карточка отмечает, что качество может снижаться для языков программирования за пределами обучающих данных; перед применением в критически важных системах рекомендуется проверка безопасности и настройка под целевую задачу. Новые проекты IBM направляет к более свежим моделям Granite. Лицензия — Apache 2.0.

1.2K44апр. 2024ctx8.2K
textapache-2.0hugging-face
A-Kishore
llama-3.2-3b-text2sql

A-Kishore/llama-3.2-3b-text2sql — дообученная модель на базе unsloth/Llama-3.2-3B-Instruct-bnb-4bit для преобразования вопросов на естественном языке и схем баз данных в SQL-запросы. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Модель обучена методом LoRA на 50 000 примерах из gretelai/synthetic_text_to_sql; в README указано, что веса объединены и доступны в 16-битной точности. Подходит для генерации SQL по заданной схеме DDL, например для интерфейсов запросов к базам данных на естественном языке и прототипирования аналитических запросов. В тесте на первых 200 примерах набора gretelai/synthetic_text_to_sql автор сообщает ROUGE-L 0,8151, однако эта метрика оценивает текстовое сходство, а не выполнение или логическую корректность SQL. Качество может снижаться на схемах с большим числом сущностей, глубоко вложенных подзапросах и структурах, отличающихся от обучающих данных. Лицензия — Apache-2.0.

220июнь 2026ctx131.1K
textapache-2.0hugging-face
amsintelligence
masker

Masker — многоязычный классификатор токенов для обнаружения персональных данных (PII), разработанный как нейронная часть системы редактирования чувствительной информации. Модель на базе DeBERTa-v3 дообучена Microsoft mDeBERTa-v3-base на наборе ai4privacy/pii-masking-openpii-1m; в метаданных указано 218,2 млн параметров, контекст — 512 токенов. Веса сохранены в формате safetensors. Модель размечает имена, адреса, возраст, даты, телефоны, электронную почту, банковские карты и государственные идентификаторы. Она выдаёт BIOES-метки для токенов; преобразование меток в символьные интервалы и объединение результатов с правилами выполняет сопутствующий пакет mask. В README заявлена поддержка 23 европейских языков, а в метаданных перечислены 21 код языка. На валидационной выборке openpii-1m указаны строгий span F1 0,982 и typed F1 0,995. Данные синтетические и шаблонные, поэтому качество на реальных текстах может быть ниже; для ответственного применения требуется проверка остаточных утечек. Лицензия модели указана в метаданных как other; README отмечает лицензию MIT для базовой модели и требует сохранять атрибуцию набору данных CC-BY-4.0 при downstream-использовании.

131июль 2026ctx512
textotherhugging-face
OneGate
OG-SQL-7B

OG-SQL-7B — языковая модель OneGate на архитектуре Llama, дообученная на базе CodeLlama 7B для преобразования запросов на естественном языке в SQL-запросы. Она предназначена для помощи в работе с базами данных пользователям, которым нужно формулировать запросы без ручного написания SQL. Модель содержит 6,6 млрд параметров и поддерживает контекст до 16 384 токенов. В карточке указан английский язык; SQL выступает целевым языком генерации. Модель распространяется в формате safetensors по лицензии CC BY 4.0. README не описывает точность на конкретных наборах данных или совместимость с определёнными диалектами SQL.

412апр. 2024ctx16.4K
textcc-by-4.0hugging-face
Pritesh-2711
piibench-deberta-base

Pritesh-2711/piibench-deberta-base — модель PII-детекции на базе DeBERTa-v3-base, выпущенная как итоговая модель проекта PIIBench. Это дообученный классификатор токенов на архитектуре DeBERTa-v2 с 211,6 млн параметров; он размечает фрагменты текста, содержащие персональные и другие чувствительные данные. Модель обучена на подготовленных разделах многоисточникового бенчмарка PIIBench и рассчитана на контекст до 512 токенов. Модель предназначена для поиска PII в текстовых записях и оценки текста по типам сущностей. В README сообщается F1 0,6455 на полном тестовом наборе из 100 002 записей с 82 типами сущностей; полнота составила 0,6645, точность — 0,6277. Эти результаты относятся к указанному экспериментальному варианту набора и не гарантируют качество на других данных. Репозиторий выпущен под лицензией `other`; конкретные условия использования следует проверять в файлах лицензии модели.

4980май 2026ctx512
textotherhugging-face
hiteshwadhwani
pii-model-indicv2

Модель hiteshwadhwani/pii-model-indicv2 — дообученная модель классификации токенов для выявления персональных данных (PII) в английском и индийских языках. Она создана на базе ai4bharat/IndicBERTv2-MLM-only и предназначена для обнаружения и последующего маскирования имён, адресов, телефонов, электронной почты и других типов чувствительных данных. Модель принимает текст на английском, хинди письмом деванагари, хинглиш и в смешанном написании деванагари и английского; поддерживает 31 тип сущностей. Архитектура — BERT для классификации токенов, размер — 305,2 млн параметров, контекст — до 512 токенов. В карточке указаны общий F1 0,9497, точность 0,9464 и полнота 0,9530. Модель подходит для проверки текстов перед сохранением или передачей, а также для автоматизированной редакции документов и сообщений. Качество ниже для сущности SEX и адресов типа SECONDARYADDRESS; задержка выше, чем у IndicBERT v1. Лучше всего модель подходит для индийских и американских шаблонов персональных данных. Лицензия — Apache-2.0.

890март 2026ctx512
textapache-2.0hugging-face
PipableAI
pip-sql-1.3b

pipSQL-1.3b — модель PipableAI для преобразования вопросов на естественном языке в SQL-запросы. Это плотная авторегрессионная модель семейства Llama с 1,3 млрд параметров, дообученная методом дистилляции на базе DeepSeek; карточка указывает датасет PipableAI/pip-txt-to-sql-spider-bird-dataset. Модель предназначена для генерации SQL по вопросу пользователя и схеме базы данных, например для запросов к клиентам, заказам и товарам. В README приведены результаты оценки на тестах Spider, SParC и CoSQL, включая сравнение с другими моделями. Модель принимает текст и генерирует текст, в частности SQL. Заявлены английский язык и контекст до 16 384 токенов. Доступны веса PyTorch и safetensors для Transformers; лицензия — Apache-2.0. Размер модели может быть удобен для сценариев, где важны компактность и локальный запуск, однако качество на сложных запросах может уступать более крупным моделям: в приведённом тесте результат для категории extra ниже, чем у SQLCoder-7B-2. Результаты README относятся к указанным тестам и не гарантируют качество на других схемах и данных.

10390февр. 2024ctx16.4K
textapache-2.0hugging-face
feyninc
pulpie-orange-large

Pulpie Orange Large — модель feyninc для извлечения основного содержимого веб-страниц из HTML. Это энкодер на 2,1 млрд параметров с архитектурой EuroBERT, дообученный для классификации блоков HTML как содержательных или служебных. Модель анализирует страницу за один проход и помогает удалить навигацию, рекламу, боковые панели и футеры, сохраняя основной текст; результат можно восстановить в HTML или преобразовать в Markdown с помощью пакета pulpie. Модель рассчитана на очистку веб-страниц и подготовку текстовых корпусов, в том числе для последующего поиска и RAG. В README приведён результат 0,873 ROUGE-5 F1 на англоязычной части WebMainBench; обучение проводилось на 14 959 страницах Common Crawl с разметкой блоков. Контекст составляет до 8192 токенов. Модель описана как наиболее точная в семействе Pulpie и используется как учитель для дистилляции меньших вариантов. Лицензия — Apache-2.0. Модель ориентирована на английские веб-страницы; качество и производительность на других языках и типах HTML в предоставленных данных не охарактеризованы. Размер модели повышает требования к ресурсам по сравнению с меньшими вариантами семейства.

618апр. 2026ctx8.2K
textapache-2.0hugging-face
Ellbendls
Qwen-2.5-3b-Text_to_SQL

Ellbendls выпустил дообученную на датасете Gretel AI Synthetic Text-to-SQL модель на базе Qwen/Qwen2.5-3B-Instruct. Она преобразует запросы на естественном языке в SQL, может генерировать определения схем таблиц, если схема не предоставлена, и подходит для аналитических запросов с агрегацией, группировкой и фильтрацией. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 3,1 млрд параметров и работает с контекстом до 32 768 токенов. Основной язык в карточке — английский; теги метаданных также перечисляют другие языки, но README сообщает об оптимизации только для английского. Модель доступна в формате safetensors для Transformers и распространяется по лицензии MIT. Модель может испытывать трудности со сложными вложенными запросами. Если схема не задана явно, сгенерированные определения таблиц могут быть неверными; результаты SQL следует проверять перед выполнением.

12612нояб. 2024ctx32.8K
textmithugging-face
llmware
slim-extract-tiny

SLIM-EXTRACT-TINY — специализированная модель компании llmware для извлечения из текста элементов, соответствующих заданному пользователем ключу. Она принимает контекстный фрагмент и ключ, например «company», и генерирует словарь Python, где этому ключу соответствует список найденных значений. Модель предназначена для структурирования сведений из текстов и вызова функции extract через библиотеку llmware или Transformers. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 1 млрд параметров. По README, она дообучена на базе TinyLlama 1B. Модель работает с текстом, использует контекст до 2048 токенов и распространяется в формате PyTorch под лицензией Apache-2.0. Модель подходит для извлечения заданных сущностей и фактов в структурированный вид. Она рассчитана на конкретный формат запроса и не заявлена как универсальный чат-бот; корректность вывода словаря и полноту извлечения следует проверять на целевых данных. README рекомендует для быстрого инференса отдельную квантованную версию.

222июнь 2024ctx2K
textapache-2.0hugging-face
ivlcic
snerta-12l-base

Snerta-12l Base — многоязычная модель распознавания именованных сущностей, разработанная авторами исследования «When Is Multilingual Transfer Beneficial for Slavic Named Entity Recognition?». Это дообученная на microsoft/mdeberta-v3-base модель DeBERTa V3 для token classification: она выделяет в тексте людей (PER), места (LOC), организации (ORG) и прочие сущности (MISC), возвращая метки в формате IOB2. В метаданных указаны 306 млн параметров и контекст 512 токенов; README описывает обучение на дедуплицированном пуле из 12 языков и усечение последовательностей до 256 токенов в стандартном сценарии использования. Модель предназначена для извлечения сущностей на болгарском, боснийском, чешском, хорватском, македонском, польском, русском, словацком, словенском, албанском, сербском и украинском языках. Её можно использовать для обогащения документов, поиска, мониторинга СМИ, анализа корпусов и аналитики по сущностям, особенно когда удобнее применять одну общую модель для нескольких языков. Репозиторий модели распространяется по лицензии Apache-2.0; лицензии исходных корпусов различаются, и для некоторых из них действуют условия CC BY-NC-SA 4.0 или CC BY-SA 4.0. Результаты могут заметно различаться по языкам и предметным областям: обучающий пул несбалансирован, а часть разметки для отдельных языков автоматически построена и имеет более низкую надёжность. Оценка на случайном разбиении предложений не устанавливает качество переноса между документами, временем, темами или доменами. Модель не следует использовать как единственное средство анонимизации, контроля доступа или принятия юридически значимых решений; перед внедрением её нужно проверить на целевых данных.

70авг. 2026ctx512
textapache-2.0hugging-face
uukuguy
speechless-code-mistral-orca-7b-v1.0

Speechless Code Mistral Orca 7B v1.0 — языковая модель на архитектуре Mistral с 7,1 млрд параметров, опубликованная uukuguy. Это дообучение Open-Orca/Mistral-7B-OpenOrca на наборе из 201 981 примера: данные охватывают программирование, рассуждения и планирование, включая примеры Python и SQL. Модель предназначена для генерации кода и диалоговых ответов на текстовые инструкции; заявленная длина контекста — 32 768 токенов. В карточке приведён результат 47,561 на HumanEval Python, а также оценки ARC, HellaSwag и MMLU. Они описывают результаты автора и не гарантируют качество на других задачах. Модель распространяется с лицензией Llama 2; перед применением следует соблюдать её условия.

755окт. 2023ctx32.8K
textllama2hugging-face
richardr1126
spider-skeleton-wizard-coder-merged

Spider Skeleton Wizard Coder — языковая модель, созданная дообучением WizardLM/WizardCoder-15B-V1.0 на расширенном наборе примеров Spider для преобразования запросов на естественном языке в SQL с учётом контекста базы данных. Дообучение выполнено методом QLoRA; в репозитории доступны веса PyTorch и safetensors. Архитектура — GPTBigCodeForCausalLM, размер модели — 15 млрд параметров, контекст — до 8192 токенов. Модель предназначена для построения SQL-запросов к базам данных по текстовому описанию и схеме базы, в том числе в задачах кросс-доменного семантического разбора. В README указана точность выполнения 61% на dev-разбиении Spider при описанных настройках оценки. Для модели заявлена лицензия bigcode-openrail-m, а проект ограничивает использование связанных ресурсов и весов академическими исследованиями и запрещает коммерческое применение.

11713июль 2023ctx8.2K
textbigcode-openrail-mhugging-face
yalu977
bert-finetuned-ner

yalu977/bert-finetuned-ner — модель на базе BERT, дообученная для классификации токенов, в частности для распознавания именованных сущностей. Она содержит 135,5 млн параметров, использует архитектуру BertForTokenClassification и принимает текстовые последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 0,9421, точность 0,9327 и полнота 0,9517; сведения о наборе данных и конкретных типах сущностей не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

80сент. 2026ctx512
textapache-2.0hugging-face
ed001
datascience-coder-6.7b

Data Science Coder 6.7B — дообученная разговорная модель семейства Llama, разработанная ed001 для помощи с программированием в задачах Data Science. Модель обучена на наборе инструкций ed001/ds-coder-instruct-v1, собранном фильтрацией общедоступных датасетов Hugging Face. В карточке также указана версия на 1,3 млрд параметров; этот репозиторий содержит версию примерно на 6,6 млрд параметров. Модель предназначена для генерации кода и ответов на запросы о программировании для анализа данных. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст до 16 384 токенов. Указаны архитектура LlamaForCausalLM и форматы PyTorch и Safetensors. README приводит средний результат 41,99 в Open LLM Leaderboard и оценки по отдельным тестам, но не раскрывает подробный протокол оценки. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные материалы на тех же условиях; коммерческое использование не разрешено.

804дек. 2023ctx16.4K
textcc-by-nc-sa-4.0hugging-face
syarulzaffi
date2format

Модель syarulzaffi/date2format — классификатор текста на базе DistilBERT, обученный с помощью AutoTrain как дообучение syarulzaffi/date2dateformat. Она предназначена для классификации текстового ввода в рамках задачи преобразования даты в нужный формат. В карточке приведены метрики валидации: точность составляет около 93,9%, а macro F1 — около 93,3%. Модель принимает текст и выдаёт метку класса; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных сведениях не указана.

70дек. 2024ctx512
texthugging-face
kristiannordby
DeepSeek-R1-0528-DSR-SQLCoder

Kristian Nordby разработал и дообучил на наборе запросов text-to-SQL модель DeepSeek-R1-0528-DSR-SQLCoder на базе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Это плотная причинно-языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации SQL по текстовым запросам на английском языке. Её можно применять для преобразования вопросов к данным в SQL и для прототипирования интерфейсов запросов к базам данных на естественном языке. Модель использует архитектуру Qwen3ForCausalLM, работает через Transformers и имеет контекстное окно до 131 072 токенов. Веса опубликованы в формате safetensors. Карточка не приводит результатов тестирования или метрик качества, подробностей обучающего набора и лицензии, поэтому точность на конкретных схемах баз данных и условия использования следует проверять отдельно.

682июнь 2025ctx131.1K
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей