/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
3 301–3 330 из 23 488
gemasphi
f-real-setfit-ss-paraphrase-multilingual-mpnet-base-v2

gemasphi/f-real-setfit-ss-paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, обученная сопоставлять предложения и абзацы в плотном векторном пространстве размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства предложений; в каталоге также указана поддержка извлечения признаков. Модель содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Многоязычное назначение следует из названия модели; README не перечисляет конкретные поддерживаемые языки. Для работы можно использовать библиотеку Sentence-Transformers либо Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

690дек. 2022ctx514
textembeddinghugging-face
ZySec-AI
gemma-3-4b-document-writer

GEMMA Document Rewriter for RAG Pipeline — текстовая модель ZySec-AI для очистки и переписывания документов перед поиском и генерацией с дополненной выборкой (RAG). Она дообучена методом LoRA на базе Google Gemma 3 4B IT и принимает текстовые документы или их фрагменты. Модель сокращает избыточный текст и лишние пробелы, сохраняя значимую для последующих задач информацию, а затем формирует структурированный результат в Markdown с заголовками и подзаголовками. Её используют для подготовки документов к индексации и улучшения поиска по ним; также она подходит для суммаризации и стандартизации текстов. В карточке указана лицензия Apache-2.0. Модель может удалять детали, которые сочтёт избыточными, поэтому результат сокращения следует проверять, если важна полнота исходного документа. В README заявлены скорость и пригодность для производственных конвейеров, но сравнительные оценки качества не приведены.

526март 2025ctx131.1K
textapache-2.0hugging-face
urchade
gliner_multi-v2.1

urchade/gliner_multi-v2.1 — многоязычная модель распознавания именованных сущностей (NER), разработанная Urchade Zaratiana, Nadi Tomeh, Pierre Holat и Thierry Charnois. Она использует двунаправленный трансформерный энкодер архитектуры BERT и позволяет задавать типы сущностей для извлечения, поэтому подходит для сценариев, где заранее фиксированный набор меток недостаточен. Модель предназначена для извлечения сущностей из текста, например имён людей, организаций или пользовательских категорий. Размер этой версии — 209 млн параметров; для работы используется библиотека GLiNER. В карточке указана поддержка нескольких языков, но конкретные языки не перечислены. По сравнению с крупными языковыми моделями GLiNER рассчитана на более лёгкое и практичное распознавание сущностей в условиях ограниченных ресурсов. Лицензия — Apache-2.0.

56K171апр. 2024
textapache-2.0hugging-face
kavg
LiLT-SER-DE

LiLT-SER-DE — модель для распознавания сущностей в документах, созданная дообучением nielsr/lilt-xlm-roberta-base на наборе данных XFUND. Она использует архитектуру LiLTForTokenClassification и учитывает текст вместе с его расположением на странице, что подходит для извлечения структурированных полей из документов. Модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. В оценке на тестовой выборке XFUND показала F1 0,755, точность 0,7268, полноту 0,7854 и accuracy 0,7817. Репозиторий распространяется по лицензии MIT.

80март 2024ctx514
textmithugging-face
OwenArli
Llama-3.1-8B-ArliAI-Formax-v1.0

OwenArli/Llama-3.1-8B-ArliAI-Formax-v1.0 — чат-модель на архитектуре Llama 3.1, дообученная на базе Meta-Llama-3.1-8B-Instruct с помощью LoRA. Она предназначена для точного следования инструкциям о формате ответа и подходит для структурирования данных, создания наборов данных и других задач, где важно соблюдать заданную форму вывода. Модель принимает текст и генерирует текст; заявленное окно контекста — 131072 токена, а обучающая последовательность имела длину 8192 токена. Разработчик описывает модель как мало ограничивающую ответы и хорошо следующую инструкциям. Это заявление из карточки модели, а не независимая оценка качества. Модель содержит 7,5 млрд параметров и распространяется в формате safetensors по лицензии Meta Llama 3.1 License. Карточка не приводит результатов независимых тестов.

3413авг. 2024ctx131.1K
textllama3.1hugging-face
Agnuxo
Mamba-Codestral-7B-v0.1-instruct-python_coding_assistant-GGUF_16bit

Agnuxo/Mamba-Codestral-7B-v0.1-instruct-python_coding_assistant-GGUF_16bit — локальная модель генерации кода, опубликованная Франсиско Ангуло де ла Фуэнте под именем Agnuxo. Это плотная модель семейства Mistral с 7 млрд параметров в формате GGUF F16; карточка рекомендует запуск через Ollama и также описывает использование через Transformers. Модель предназначена для помощи в программировании: она генерирует код на Python, JavaScript, TypeScript, Rust, Go и C++, а также поддерживает сценарии научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. В карточке также заявлены возможности декомпозиции задач и взаимодействия с агентами через MCP и A2A. Метаданные указывают английский и испанский языки. Лицензия — Apache-2.0. Описание не приводит результатов независимых тестов качества или подробностей о контекстном окне, поэтому пригодность для конкретных задач стоит оценивать на собственных примерах.

1370авг. 2024
textapache-2.0hugging-face
Agnuxo
Mistral-NeMo-Minitron-8B-Alpaca-CODE-Python-GGUF-16bit

Mistral-NeMo-Minitron-8B-Alpaca-CODE-Python-GGUF-16bit — локально запускаемая модель генерации кода на 8 млрд параметров от Agnuxo, представленная в формате GGUF F16. Карточка позиционирует её как помощника для написания кода на Python и других языках программирования, включая JavaScript, TypeScript, Rust, Go и C++, а также для задач научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Модель предназначена для генерации и помощи с кодом в локальных сценариях; README рекомендует запуск через Ollama и также описывает использование через Transformers. Метаданные относят архитектуру к плотному семейству Mistral, а формат файлов — к GGUF F16. Лицензия — Apache-2.0. В карточке нет подробностей о контексте, языках естественного общения и результатах независимой оценки качества.

1480авг. 2024
textapache-2.0hugging-face
flair
ner-multi

flair/ner-multi — стандартная модель распознавания именованных сущностей из библиотеки Flair для английского, немецкого, нидерландского и испанского языков. Она предназначена для разметки слов в тексте четырьмя классами: имена людей, географические названия, организации и ещё один класс CoNLL-03, не раскрытый в доступном фрагменте карточки. Модель построена на Flair embeddings и архитектуре LSTM-CRF и обучена для CoNLL-03. В карточке приведены F1-оценки: 92,16 для английского, 87,33 для немецкого, 88,96 для нидерландского и 86,65 для испанского. Также заявлена ограниченная применимость к близким языкам, например французскому. Использование предусмотрено через Flair и SequenceTagger. Лицензия в предоставленных данных не указана.

34K11март 2022
texthugging-face
numind
NuExtract-large

NuExtract-large — модель для извлечения структурированной информации из текста, разработанная NuMind на основе Phi-3 Small и дообученная на синтетическом наборе данных. Пользователь передаёт текст и JSON-шаблон с нужными полями; модель извлекает соответствующие фрагменты и оформляет их по шаблону. Карточка указывает, что выходной текст модели дословно содержится в исходном тексте. Модель имеет плотную архитектуру Phi-3 Small с 8,2 млрд параметров и контекстом до 8192 токенов. README рекомендует подавать текст короче 2000 токенов. Метаданные указывают английский язык; модель доступна в формате safetensors и распространяется по лицензии MIT. Подходит для извлечения сущностей, атрибутов и других заданных пользователем сведений в JSON. Ограничения: ответы должны опираться на исходный текст, а не добавлять новую информацию; заявленные в README результаты бенчмарков ещё не опубликованы.

97122июнь 2024ctx8.2K
textmithugging-face
jammmmmm
pii

Модель jammmmmm/pii — дообученная модель распознавания именованных сущностей на основе DeBERTa, предназначенная для поиска и классификации персональных данных в неструктурированном тексте. Она отмечает такие категории, как имена пользователей, номера банковских карт, электронные адреса, телефоны и адреса. В README пример использования указывает базовую модель lakshyakh93/deberta_finetuned_pii. Модель подходит для предварительной разметки документов, электронной переписки и пользовательских сообщений перед их обезличиванием или проверкой на наличие чувствительных данных. Параметры в метаданных указывают на размер около 151,8 млн параметров и контекст до 512 токенов; доступны веса PyTorch и ONNX. Указанная лицензия — MIT. Карточка описывает распознавание PII в тексте на английском языке. Качество для других языков и конкретные показатели точности не приведены; обнаружение данных не гарантирует полной деидентификации или соблюдения требований законодательства.

6851янв. 2024ctx512
textmithugging-face
PipableAI
pip-library-etl-1.3b

PipableAI pip-library-etl-1.3b — языковая модель для генерации кода и документации к нему. Разработчики сообщают, что модель обучали с использованием softmax cross entropy, модифицированного policy gradient и Q loss в EM-схеме. В Hugging Face она представлена как плотная авторегрессионная модель семейства Llama с 1,3 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для генерации вызовов Python-функций по вопросу и docstring или коду, создания docstring для функций и модулей, а также генерации SQL-запросов по схеме и вопросу. Карточка также отмечает разговорный режим и генерацию кода; язык карточки и языковой тег — английский. Модель можно использовать через библиотеку pip_library_etl или Transformers. Лицензия — Apache-2.0. README заявляет о качестве, сопоставимом с более крупными моделями и GPT-3.5, но не приводит метрик или подробностей оценки, поэтому это утверждение нельзя считать независимой оценкой. Описанные сценарии сосредоточены на Python и SQL; подтверждений широких языковых или предметных возможностей карточка не даёт.

5144март 2024ctx16.4K
textapache-2.0hugging-face
bunnycore
Qwen2.5-7B-Matrix-v2

bunnycore/Qwen2.5-7B-Matrix-v2 — это объединённая модель генерации текста на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В объединение вошли Qwen2.5-Coder-7B-Instruct, Qwen2.5-Math-7B-Instruct и huihui-ai/Qwen2.5-7B-Instruct-abliterated; последняя использована как базовая модель. Чекпойнт содержит 7,1 млрд параметров, построен для Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и математики, сочетая возможности включённых инструкционных моделей. В метаданных также отмечен интерфейс вызова инструментов. Языки, на которых модель рассчитана, и отдельные ограничения её качества не описаны. Лицензия в предоставленных сведениях не указана.

250сент. 2024ctx32.8K
texthugging-face
jinaai
ReaderLM-v2

ReaderLM-v2 — языковая модель Jina AI с 1,5 млрд параметров, построенная на архитектуре Qwen2 в виде авторегрессионного трансформера только для декодера. Она преобразует исходный HTML в Markdown или JSON по заданной схеме, извлекает текст и структуру веб-страниц и поддерживает диалоговый режим. Модель рассчитана на работу с длинными документами: суммарный объём входа и выхода может достигать 512 тысяч токенов. Модель поддерживает 29 языков, в том числе английский, китайский, японский, корейский, французский, испанский, немецкий и русский. В карточке заявлены улучшенная обработка таблиц, вложенных списков, блоков кода и формул, прямое формирование JSON, а также повышенная устойчивость при длинной генерации. В репозитории доступны веса Safetensors и формат ONNX. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Среди ограничений — специализация на HTML; качество преобразования зависит от структуры входной страницы и заданной схемы JSON. Для больших контекстов требуются значительные вычислительные ресурсы.

1.4K824янв. 2025ctx512.8K
textcc-by-nc-4.0hugging-face
ctokx
regexgym-qwen3-4b

RegexGym-Qwen3-4B — дообученная модель Qwen3-4B от ctokx, предназначенная для построения регулярных выражений по примерам строк. Пользователь передаёт строки, которые должны соответствовать шаблону, и строки, которые не должны ему соответствовать; модель предлагает одно регулярное выражение, разделяющее эти группы. Модель основана на плотной архитектуре Qwen3ForCausalLM с 3,7 млрд параметров и контекстом до 40 960 токенов. Она сначала формирует рассуждение, затем выводит шаблон в блоке regex. Для обучения использовали полное дообучение в течение трёх эпох на 660 проверенных трассах рассуждений; примеры предварительно проверялись исполнением регулярного выражения. README приводит оценку на 120 отложенных задачах и отмечает, что модель превосходит исходную Qwen3-4B, но уступает более крупной модели-учителю и не всегда строит точный шаблон. Модель подходит для синтеза регулярных выражений по положительным и отрицательным примерам. В метаданных указана лицензия other; конкретные условия этой лицензии следует уточнить на странице репозитория.

130авг. 2026ctx41K
textotherhugging-face
Tirendaz
roberta-base-NER

Tirendaz/roberta-base-NER — модель распознавания именованных сущностей, разработанная на основе XLM-RoBERTa base и дообученная для разметки токенов. Она выделяет в тексте имена людей (PER), организации (ORG) и географические названия (LOC); использовать её можно, например, для извлечения сущностей из документов и подготовки текста к последующему анализу. Модель имеет архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает текст с контекстом до 514 токенов. По карточке, обучение охватывало десять высокоресурсных языков, однако перечислены только английский в тегах модели и датасет XTREME, поэтому конкретный полный список языков определить нельзя. Модель опубликована в формате PyTorch и распространяется по лицензии MIT.

943окт. 2023ctx514
textmithugging-face
teven
roberta_kelm_tekgen

teven/roberta_kelm_tekgen — модель Sentence-Transformers на архитектуре RoBERTa, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для вычисления семантического сходства, кластеризации и семантического поиска. Размер модели — 151,9 млн параметров, контекст — до 514 токенов; веса представлены в формате PyTorch. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель подходит для поиска текстов, близких по смыслу, и группировки похожих фрагментов. В README указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Язык и лицензия в предоставленных данных не установлены, поэтому модель лучше применять с проверкой качества на целевых текстах и языках.

660март 2022ctx514
textembeddinghugging-face
llmware
slim-extract

SLIM-EXTRACT — специализированная языковая модель компании llmware для извлечения из текста элементов по заданному пользователем ключу. Она принимает текстовый фрагмент и ключ, например «universities» или «company», и генерирует словарь Python, где этому ключу соответствует список найденных в тексте значений. Модель предназначена для извлечения структурированных сведений из документов и использования в сценариях function calling. Модель дообучена на llmware/bling-stable-lm-3b-4e1t-v0, основанной на stabilityai/stablelm-3b-4elt. Это плотная авторегрессионная модель семейства StableLM Epoch с 2,7 млрд параметров и контекстом до 4096 токенов. Репозиторий содержит веса PyTorch; лицензия — CC BY-SA 4.0. README не сообщает перечень поддерживаемых естественных языков или количественные показатели качества.

8713март 2024ctx4.1K
textcc-by-sa-4.0hugging-face
gradients-io-tournaments
tournament-tourn_c8068e356b7c22c8_20260928-880b38e9-b34b-46c3-b3c5-7cc5b08c18b9-5E6p1x3e

Карточка модели gradients-io-tournaments/tournament-tourn_c8068e356b7c22c8_20260928-880b38e9-b34b-46c3-b3c5-7cc5b08c18b9-5E6p1x3e на Hugging Face совпадает с карточкой numind/NuExtract-1.5, поэтому описание составлено по ней. NuExtract-1.5 — модель NuMind для извлечения структурированной информации из текста. Это дообученная версия Phi-3.5-mini-instruct с 3,7 млрд параметров, созданная на частном высококачественном наборе данных. Для запроса модели передают текст и JSON-шаблон с нужными полями; она старается извлекать сведения дословно, сохраняя формулировки исходного текста. Модель предназначена для структурирования содержимого документов и длинных текстов на английском, французском, испанском, немецком, португальском и итальянском языках. В README заявлена поддержка длинных документов, включая примеры длиной 8–20 тысяч токенов, хотя нативный размер контекста в метаданных составляет 4096 токенов. Для чистого извлечения рекомендуется температура 0 или близкая к нулю. Модель работает с текстом и выдаёт текст в формате, заданном JSON-шаблоном. Лицензия — MIT. Результаты могут зависеть от формулировки шаблона и настроек генерации; заявленная работа с длинными документами выходит за пределы контекста, указанного в метаданных.

2450сент. 2026ctx131.1K
textmithugging-face
tanyakansal
WizardLM-Mistral-CodeLlama-7b

WizardLM-Mistral-CodeLlama-7b — объединённая модель на базе Mistral-7B-v0.1, созданная с помощью mergekit методом TIES из PrunaAI/WizardLM-WizardMath-7B-V1.0-bnb-4bit-smashed и codellama/CodeLlama-7b-Instruct-hf. Она предназначена для генерации текста, в том числе для ответов на вопросы по математике и помощи с программированием. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в доступных данных не указана.

220апр. 2024ctx32.8K
texthugging-face
keremberke
yolov8m-table-extraction

keremberke/yolov8m-table-extraction — модель компьютерного зрения на базе YOLOv8m, опубликованная Keremberke. Она предназначена для обнаружения таблиц на изображениях и различает два класса: таблицы с границами и без границ. Модель использует библиотеку Ultralytics и представлена в формате PyTorch. Её можно применять для поиска областей таблиц на сканах и изображениях документов перед последующим извлечением содержимого. Лицензия AGPL-3.0.

196K44янв. 2023
imageagpl-3.0hugging-face
Nhat1904
32-shot-twitter

Nhat1904/32-shot-twitter — модель эмбеддингов предложений на базе MPNet, опубликованная пользователем Nhat1904. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства предложений. Модель имеет 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Она подходит для построения семантического поиска и группировки текстов; в карточке также описано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

1140дек. 2022ctx514
textembeddinghugging-face
mirth
chonky_mmbert_small_multilingual_1

Chonky mmBERT Small Multilingual 1 — модель разметки токенов на базе мультиязычной jhu-clsp/mmBERT-small, разработанная автором репозитория mirth. Она находит в тексте точки смыслового разделения и помогает разбивать документы на связные фрагменты для последующей индексации и поиска в RAG-системах. Модель можно использовать через библиотеку chonky или стандартный pipeline NER в Transformers. Модель содержит 140,5 млн параметров и принимает последовательности длиной до 8192 токенов, однако при дообучении использовалась длина 1024 токена. В README приведены результаты token-based F1 на нескольких языках: модель показывает высокие значения на ряде европейских языков и русском, но значительно более низкое значение для китайского. Обучение проводилось на фрагментах BookCorpus, MiniPile и Project Gutenberg. Лицензия — MIT.

22324окт. 2025ctx8.2K
textmithugging-face
autogluon
chronos-2

Chronos-2 — модель временных рядов с архитектурой на основе энкодера T5, разработанная AutoGluon. Она предназначена для прогнозирования без дообучения на конкретной задаче: поддерживает одномерные и многомерные ряды, а также учитывает ковариаты. Модель строит многошаговые квантильные прогнозы и использует групповое внимание для обучения в контексте на связанных рядах и ковариатах. Модель насчитывает 99,1 млн параметров по метаданным; в README указано 120 млн. Она обучалась на реальных и синтетических данных, включая подмножества Chronos Datasets и GIFT-Eval Pretrain. Авторы сообщают о высокой точности zero-shot прогнозирования на fev-bench, GIFT-Eval и Chronos Benchmark II, а также о быстром инференсе на GPU и поддержке CPU. Лицензия — Apache-2.0.

6.6M84окт. 2025
textapache-2.0hugging-face
autogluon
chronos-bolt-small

Chronos-Bolt Small — предварительно обученная модель прогнозирования временных рядов из семейства Chronos-Bolt, опубликованная AutoGluon. Она предназначена для прогнозов без дообучения на конкретном наборе данных. Модель использует архитектуру T5 encoder-decoder: кодировщик обрабатывает фрагменты истории, а декодер напрямую строит вероятностные прогнозы по нескольким будущим шагам, включая квантильные оценки. Модель обучалась на почти 100 млрд наблюдений временных рядов. Для неё указан контекст до 512 наблюдений; README описывает поддержку ковариат и запуск на CPU и GPU. Авторы сообщают, что Chronos-Bolt быстрее и экономнее по памяти исходных Chronos того же размера, а в приведённых ими бенчмарках показывает более высокую точность. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Метаданные указывают 22 млн параметров, тогда как таблица README для варианта small указывает 48 млн; размер модели в источниках расходится.

5.9M77нояб. 2024ctx512
textapache-2.0hugging-face
CollectionStudio
chronos-bolt-small

Карточка модели CollectionStudio/chronos-bolt-small на Hugging Face совпадает с карточкой amazon/chronos-bolt-small, поэтому описание составлено по ней. Chronos-Bolt Small — предварительно обученная модель Amazon для прогнозирования временных рядов с нулевым дообучением на новых данных. Она использует архитектуру T5 encoder-decoder: кодировщик обрабатывает исторические наблюдения блоками, а декодер напрямую строит вероятностные прогнозы квантилей на несколько будущих шагов. По README модель обучалась на почти 100 млрд наблюдений временных рядов; метаданные указывают архитектуру T5 и 22 млн параметров, тогда как таблица README приводит для варианта Small 48 млн параметров. Модель предназначена для прогнозирования временных рядов, в том числе без предварительного обучения на целевом наборе данных. Для промышленного использования README рекомендует AutoGluon, который также позволяет дообучать модель, учитывать ковариаты и объединять прогнозы с другими моделями; доступно развёртывание через SageMaker JumpStart на CPU и GPU. Заявлены более высокая скорость и меньший расход памяти по сравнению с исходными моделями Chronos сопоставимого размера. Контекст составляет 512 наблюдений по метаданным. Лицензия — Apache-2.0.

70июль 2026ctx512
textapache-2.0hugging-face
ByteDance
Dolphin-1.5

Dolphin (Document Image Parsing via Heterogeneous Anchor Prompting) — мультимодальная модель для разбора изображений документов, построенная по схеме «сначала анализ, затем разбор». На первом этапе она определяет структуру страницы и порядок чтения, а на втором параллельно извлекает содержимое отдельных элементов: текста, иллюстраций, формул и таблиц. Модель использует архитектуру vision-encoder-decoder: визуальный энкодер основан на Swin Transformer, а текстовый декодер — на mBART. Задачи разбора можно задавать текстовыми промптами. Карточка описывает её как лёгкую модель с эффективным параллельным разбором, предназначенную для анализа структуры и содержимого страниц документов. В метаданных указаны английский и китайский языки, библиотека Transformers и лицензия MIT. Размер модели и длина контекста не приведены в доступных источниках.

73839окт. 2025
textimagemithugging-face
helenai
dslim-bert-base-NER-ov-fp32

Это версия модели dslim/bert-base-NER, преобразованная в формат OpenVINO для ускоренного инференса. Модель разработана на основе BERT и предназначена для распознавания именованных сущностей в тексте с классификацией токенов; размер составляет 135,5 млн параметров, контекст — до 512 токенов. В карточке заявлена поддержка английского языка. Модель можно использовать для извлечения сущностей из английских текстов, например имён людей, организаций и географических названий. OpenVINO упрощает ускоренный запуск на совместимом оборудовании. Условия лицензии в предоставленных данных не описаны.

4910март 2023ctx512
texthugging-face
urchade
gliner_small-v2.1

GLiNER small-v2.1 — модель для распознавания именованных сущностей, разработанная Урчаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарно. Она использует двунаправленный энкодер на основе трансформера, похожий на BERT, и позволяет извлекать из текста сущности разных типов, заданных пользователем, вместо работы только с фиксированным набором категорий. Модель предназначена для разметки текста и сценариев извлечения информации, в том числе там, где важно обойтись без крупных и ресурсоёмких LLM. Вариант small-v2.1 содержит 166 млн параметров, работает с английским языком и использует библиотеку GLiNER. Модель принимает текст и выдаёт найденные сущности с их типами. Для запуска требуется библиотека GLiNER. Распространяется по лицензии Apache-2.0.

15K12апр. 2024
textapache-2.0hugging-face
TeichAI
GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill

TeichAI выпустила GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill — дообученную на небольшом наборе примеров рассуждений Claude Opus 4.5 модель GLM-4.7-Flash. Это текстовая модель семейства GLM-4 MoE Lite с 4,1 млрд параметров и контекстом до 202 752 токенов; она поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для генерации текста с упором на сложные рассуждения, программирование, научные вопросы и глубокий поиск. В README приведено сравнение с базовой моделью по нескольким бенчмаркам: результаты улучшились на части тестов и снизились на других, поэтому преимущество зависит от задачи. Для запуска автор рекомендует использовать параметры сэмплирования, указанные в карточке базовой модели. Модель распространяется по лицензии Apache-2.0. README содержит несогласованные сведения о квантизации: в конфигурации бенчмарков указано 4-bit, тогда как метаданные перечисляют формат safetensors без подтверждения квантованных весов.

27854янв. 2026ctx202.8K
textapache-2.0hugging-face
bartowski
granite-34b-code-instruct-GGUF

granite-34b-code-instruct-GGUF — это квантизированная GGUF-версия Granite-34B-Code-Instruct, разработанной IBM на базе ibm-granite/granite-34b-code-base. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, объяснения и исправления кода, решения математических задач, работы с SQL и сценариев, связанных с function calling и ассистентами разработчика. Модель имеет 34 миллиарда параметров и работает с текстовыми данными. В README приведён шаблон диалога с системным сообщением, вопросом и ответом. Заявлены результаты на HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust; показатели pass@1 для генерации кода составляют от 41,5% до 62,8%, однако указано, что эти результаты не подтверждены. Для локального запуска доступны варианты Q8_0, Q6_K, Q5_K_M и Q5_K_S размером примерно от 23,40 до 35,99 ГБ; Q6_K и Q5_K_M отмечены как рекомендуемые по соотношению качества и размера. Сильными сторонами являются специализация на программировании, поддержка нескольких языков программирования и возможность локального использования в формате GGUF. Ограничения включают высокие требования к дисковому пространству и вычислительным ресурсам, зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекстного окна, полном наборе поддерживаемых естественных языков и системных требованиях. Модель распространяется по лицензии Apache 2.0.

1.4K8май 2024
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей