/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
4 021–4 050 из 23 488
prithivMLmods
VibeThinker-3B-GGUF

VibeThinker-3B-GGUF — GGUF-версия языковой модели VibeThinker-3B, разработанной WeiboAI на основе Qwen2.5-Coder-3B. Это текстовая autoregressive-модель примерно на 3 млрд параметров, ориентированная на рассуждения и генерацию текста. Модель обучалась с использованием двухэтапного curriculum-based SFT, reinforcement learning по нескольким доменам с методом MaxEnt-Guided Policy Optimization, offline self-distillation и instruct RL. Заявленный основной язык — английский. Модель предназначена прежде всего для решения математических задач, программирования, STEM-задач, reasoning и instruction-following, особенно в сценариях с проверяемыми ответами: соревновательная математика, coding contests и задачи на алгоритмы. Для инференса рекомендуются vLLM или SGLang; заявлены temperature 1.0, top_p 0.95 и поддержка до 102K выходных токенов. Репозиторий содержит варианты GGUF с точностями от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файла, требованиями к памяти и качеством. Сильной стороной модели является специализация на проверяемом рассуждении при компактном размере; в README также заявлены высокие результаты на бенчмарках по математике и программированию. Ограничение состоит в том, что модель оптимизирована для задач с ясными критериями проверки и может уступать более крупным универсальным моделям в широких open-domain сценариях и работе с общими знаниями. Указана лицензия MIT.

2.4K75июнь 2026
textmithugging-face
unsloth
AceReason-Nemotron-14B-GGUF

AceReason-Nemotron-14B-GGUF — GGUF-версия модели AceReason-Nemotron-14B, разработанной NVIDIA и подготовленной Unsloth. Модель создана для задач математического и программного рассуждения, включая решение математических задач, генерацию и анализ кода, а также задачи, требующие пошагового вывода. В основе лежит DeepSeek-R1-Distilled-Qwen-14B; обучение выполнялось с применением reinforcement learning сначала на математических, затем на программных задачах. Модель относится к текстовым авторегрессионным генеративным моделям и поддерживает английский язык. Заявленные результаты включают 78,6% на AIME 2024, 67,4% на AIME 2025, 61,1% на LiveCodeBench v5, 54,9% на LiveCodeBench v6 и рейтинг 2024 на Codeforces. По приведённым данным, её сильная сторона — специализированное рассуждение в математике и программировании; при этом README не содержит сведений о длине контекста, точной архитектуре GGUF-квантизации, требованиях к оборудованию и качестве работы на других языках или модальностях. Модель предназначена для текстового ввода и вывода. Использование регулируется NVIDIA Open Model License; тип лицензии указан как other, поэтому перед применением необходимо ознакомиться с полным текстом лицензии NVIDIA. Рекомендуется не использовать системный prompt, а формулировать инструкции непосредственно в пользовательском запросе; для математических задач предлагается пошаговое рассуждение с финальным ответом в формате \boxed{}.

8919май 2025ctx131.1K
textotherhugging-face
wietsedv
bert-base-dutch-cased-finetuned-conll2002-ner

wietsedv/bert-base-dutch-cased-finetuned-conll2002-ner — модель на архитектуре BERT для классификации токенов, разработанная пользователем wietsedv и дообученная для распознавания именованных сущностей в нидерландском тексте на датасете CoNLL-2002. Базовая модель BERTje представляет собой нидерландский BERT, разработанный исследователями Университета Гронингена. Модель предназначена для NER-задач: выделения и классификации сущностей в тексте, например персон, организаций и географических объектов, в соответствии с разметкой CoNLL-2002. Она работает через pipeline token-classification в Transformers, поддерживает PyTorch и JAX, содержит около 136,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Сильная сторона модели — специализация на нидерландском языке и задаче извлечения сущностей. Она не является генеративной моделью и не предназначена для свободной генерации текста, перевода или многоязычного распознавания сущностей; качество может снижаться на текстах, существенно отличающихся от данных CoNLL-2002.

6310март 2022ctx512
texthugging-face
cahya
bert-base-indonesian-NER

cahya/bert-base-indonesian-NER — модель для распознавания именованных сущностей в индонезийском тексте, опубликованная пользователем cahya на Hugging Face. Это дообученная модель BERT с классификацией токенов; её можно использовать через Transformers для разметки токенов. Модель содержит 137,8 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для извлечения упоминаний сущностей из индонезийских текстов, например имён людей и географических названий. В карточке указана лицензия MIT. Доступные сведения не описывают набор меток и качество на конкретных данных, поэтому пригодность для отдельных типов сущностей и текстовых жанров следует оценивать на собственных примерах.

141K34март 2022ctx512
textmithugging-face
Alesub
bert-finetuned-ner

Alesub/bert-finetuned-ner — модель семейства BERT, дообученная для классификации токенов и распознавания именованных сущностей. Она принимает текст и присваивает метки отдельным токенам; подходит для извлечения сущностей из текста в задачах обработки естественного языка. Модель основана на google-bert/bert-base-cased, содержит 135,5 млн параметров и поддерживает контекст до 512 токенов. Используются библиотека Transformers и формат весов Safetensors. В карточке приведены результаты оценки: precision 0,375, recall 0,6, F1 0,4615 и accuracy 0,4. Датасет указан как None, поэтому назначение меток и языки обучения определить нельзя. Лицензия — Apache-2.0.

40июнь 2026ctx512
textapache-2.0hugging-face
nickprock
bert-italian-finetuned-ner

Модель nickprock/bert-italian-finetuned-ner — дообученная для распознавания именованных сущностей версия регистрозависимого BERT для итальянского языка, разработанная на основе dbmdz/bert-base-italian-cased. Она размечает токены в итальянском тексте и предназначена прежде всего для NER — извлечения упоминаний сущностей из предложений и документов. Модель содержит 137,1 млн параметров, использует архитектуру BertForTokenClassification и принимает текст с контекстом до 512 токенов. Для обучения использован датасет WikiANN. В карточке приведены результаты оценки: F1 0,949, точность 0,9438 и полнота 0,9542; показатели относятся к указанному evaluation set и не гарантируют такое же качество на других данных. Модель распространяется по лицензии MIT.

2978март 2023ctx512
textmithugging-face
felflare
bert-restore-punctuation

Модель felflare/bert-restore-punctuation — англоязычная BERT-base-uncased, дообученная Daulet Nurmanbetov на отзывах Yelp для восстановления пунктуации и заглавных букв в тексте, записанном строчными буквами. Она предсказывает пунктуацию и регистр слов; поддерживаемые знаки включают !, ?, ., , , -, :, ; и апостроф. Модель подходит для обработки результатов распознавания речи и другого текста, из которого удалены пунктуация и заглавные буквы, а также для дальнейшего дообучения на специализированных текстах. Обучение проводилось на 560 000 английских отзывов Yelp; для модели указаны точность 91% и общий F1 90% на 45 990 отложенных примерах. Архитектура — BertForTokenClassification, размер — 136,7 млн параметров, максимальный контекст — 512 токенов. Лицензия — MIT. Модель рассчитана на общий английский язык, но обучалась на отзывах, поэтому качество на других жанрах и предметных областях может отличаться. В приведённых метриках есть заметные различия между классами пунктуации; например, для восклицательного знака указаны precision 0,45 и recall 0,17.

1.2K69март 2022ctx512
textmithugging-face
swardiantara
bert-tiny-amazon_reviews-k10-adaptive-cosine

Это компактная модель Sentence Transformers, разработанная Swardiantara и дообученная на базе google/bert_uncased_L-2_H-128_A-2 на парах отзывов Amazon. Она преобразует предложения и абзацы в плотные векторы размерности 128, пригодные для поиска и сопоставления текстов по косинусному сходству. Архитектура состоит из BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным. В README указана максимальная длина 128 токенов, поэтому при использовании следует учитывать это расхождение. Модель предназначена для семантического поиска, извлечения похожих отзывов и построения текстовых представлений для retrieval-систем. Обучающая выборка включала около 8,2 млн пар текстов с метками; примеры в README — англоязычные отзывы Amazon. Репозиторий распространяет веса в формате Safetensors. Лицензия в предоставленных данных не указана.

650июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-amazon_reviews-k1-fixed-euclidean

Это компактная модель Sentence Transformers, разработанная swardiantara и дообученная на google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерностью 128, предназначенные для поиска и сравнения текстов по косинусному сходству. В архитектуре используются BERT с усредняющим pooling; модель содержит 4,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным. README указывает максимум 128 токенов, поэтому при более длинном вводе следует учитывать возможное усечение. Модель обучалась на парах отзывов Amazon и подходит для семантического поиска и извлечения похожих отзывов. Базовая модель англоязычная, поэтому основное применение — английский текст. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

1030июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-amazon_reviews-k5-adaptive-euclidean

Модель swardiantara/bert-tiny-amazon_reviews-k5-adaptive-euclidean — компактный Sentence Transformer, дообученный автором на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует текст предложений и абзацев в плотные векторы размерностью 128 для поиска и сравнения по косинусному сходству. Архитектура состоит из BertModel и среднего pooling; модель содержит 4,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным, хотя карточка модели указывает максимальную длину 128 токенов. Обучение проводилось на 4 200 100 парах текстов с метками; примеры в карточке относятся к отзывам Amazon. Модель подходит для семантического поиска отзывов, извлечения эмбеддингов и поиска похожих предложений в англоязычных текстах. Лицензия в предоставленных данных не указана.

690июнь 2026ctx512
textembeddinghugging-face
codefuse-ai
CodeFuse-QWen-14B

CodeFuse-QWen-14B — языковая модель для генерации кода, выпущенная командой CodeFuse и дообученная методом QLoRA на базе QWen-14B на нескольких задачах, связанных с кодом. Она предназначена для генерации и продолжения кода по запросу в формате диалога. Модель построена на плотной архитектуре QWen и содержит 21,8 млрд параметров; размер 14B в названии карточки расходится с этим числом из метаданных. Контекст составляет 8192 токена. README сообщает результат 48,78% pass@1 на HumanEval при жадном декодировании. Карточка описывает многоязычные задачи с кодом, но конкретные языки программирования не перечисляет. Для запуска README указывает PyTorch, Transformers 4.32.0, SentencePiece и CUDA 11.4. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория.

275окт. 2023ctx8.2K
textotherhugging-face
Salesforce
codegen25-7b-multi_P

CodeGen2.5-7B-multi — авторегрессионная языковая модель для генерации программного кода из семейства CodeGen2.5, разработанная Эриком Найкампом, Хироки Хаяси, Инбо Чжоу и Цаймином Сюном. Модель содержит 6,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и работает с контекстом до 2048 токенов. Она обучена на 1,4 трлн токенов из StarCoderData и поддерживает несколько языков программирования. Модель предназначена прежде всего для синтеза и автодополнения кода по текстовым запросам на английском языке, а также для заполнения пропусков внутри фрагментов кода в формате infilling. В README сообщается о сравнительных результатах с более крупной StarCoderBase-15.5B, но конкретные показатели здесь не приведены. Модель может воспроизводить фрагменты кода из обучающего набора, поэтому перед использованием сгенерированного кода следует проверять его корректность и лицензионные требования. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. В README релиз обозначен как исследовательский; качество, безопасность и справедливость модели не оценены для всех вариантов практического применения.

436138июль 2023ctx2K
textapache-2.0hugging-face
Salesforce
codegen-2B-multi

Salesforce CodeGen-Multi 2B — авторегрессионная плотная языковая модель для синтеза программного кода. Чекпойнт содержит 2 млрд обучаемых параметров и создан на архитектуре CodeGenForCausalLM; для работы использует библиотеку Transformers и формат PyTorch. Вариант Multi сначала инициализировали из CodeGen-NL 2B, затем дополнительно обучили на 119,2 млрд токенов из набора BigQuery с кодом из GitHub на C, C++, Go, Java, JavaScript и Python. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, обычно оформленным как комментарий, а также для продолжения частично написанного кода. Она принимает текстовые подсказки и выдаёт текст, включая код; максимальная длина контекста составляет 2048 токенов. Модель обучена на нескольких языках программирования, но README не заявляет поддержку русского языка как языка естественных запросов. Модель оценивали на HumanEval и MTPB. Это выпуск для исследовательского применения; точность, безопасность и справедливость не оценивались для всех возможных сценариев, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.

22K42апр. 2022ctx2K
textbsd-3-clausehugging-face
Salesforce
codegen-350M-nl

Salesforce CodeGen-NL 350M — авторегрессионная плотная языковая модель семейства CodeGen для синтеза программ. Вариант NL с 350 млн обучаемых параметров предварительно обучен на корпусе The Pile, включающем данные с кодом; архитектура модели — CodeGenForCausalLM, формат весов — PyTorch, контекст — до 2048 токенов. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, оформленным как комментарии, а также для продолжения частично написанного кода. Она может извлекать признаки и оценивать вероятность последовательностей естественного языка и языков программирования. Модель опубликована Salesforce в рамках исследовательской работы по синтезу программ; карточка рекомендует оценивать точность и безопасность перед применением. Лицензия — BSD 3-Clause.

6036апр. 2022ctx2K
textbsd-3-clausehugging-face
microsoft
CodeGPT-small-py

CodeGPT-small-py — авторегрессионная модель генерации кода на основе GPT-2, опубликованная Microsoft. Она предназначена для продолжения и дополнения фрагментов кода Python, а также генерации кода по контексту. Модель принимает текстовый промпт и предсказывает следующие токены; доступные веса представлены в форматах PyTorch, TensorFlow и Flax. Для модели указан контекст длиной 1024 токена. Карточка Hugging Face не сообщает размер в параметрах или лицензию; связанный проект Microsoft описывает семейство PyCodeGPT как модель для генерации и дополнения Python-кода и указывает MIT-лицензию для репозитория проекта. Результаты генерации требуют проверки и исполнения в безопасной среде.

3.9K29март 2022ctx1K
texthugging-face
AdnanRiaz107
CodePhi-3-mini-4k-instruct-python

CodePhi-3-mini-4k-instruct-python — дообученная модель на архитектуре Phi-3, основанная на microsoft/Phi-3-mini-4k-instruct. Она содержит 3,7 млрд параметров, принимает текст и генерирует текст в контексте до 4096 токенов; модель опубликована в формате safetensors под лицензией MIT. Модель предназначена для диалоговой генерации текста и задач программирования на Python. Базовая Phi-3 mini поддерживает также рассуждения и другие задачи программирования, однако карточка этой версии не описывает обучающий набор, оценки качества или конкретные ограничения дообучения, поэтому её специализацию и надёжность в этих сценариях следует оценивать отдельно.

250май 2024ctx4.1K
textmithugging-face
stojchet
d9

d9 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base и обученная на датасете generator. Она построена на архитектуре Llama, содержит 1,3 млрд параметров и поддерживает контекст до 16 384 токенов. Модель предназначена для генерации и продолжения кода по текстовому запросу. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных сведениях не указана. README не содержит описания конкретных сценариев применения, оценок качества или известных ограничений.

180июль 2024ctx16.4K
texthugging-face
arxyzan
data2vec-roberta-base

arxyzan/data2vec-roberta-base — текстовая модель семейства RoBERTa, созданная на основе подхода Data2Vec к самообучению. Репозиторий содержит копию facebook/data2vec-text-base; автор карточки уточняет, что модель не обучалась с помощью кода из репозитория Data2Vec, а была скопирована для удобства и воспроизводимости. Модель предназначена для извлечения признаков из текста и получения векторных представлений. Она содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и доступна в форматах PyTorch и Safetensors. Указанный язык — английский. Лицензия в предоставленных данных не указана.

1110май 2022ctx514
textembeddinghugging-face
deepseek-ai
deepseek-coder-7b-base-v1.5

DeepSeek-Coder-7B-Base-v1.5 — базовая языковая модель для кода от DeepSeek, полученная продолжением предварительного обучения DeepSeek-LLM 7B на 2 трлн токенов с задачей предсказания следующего токена. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 6,5 млрд параметров и контекстом 4096 токенов. Она предназначена для генерации и продолжения кода по текстовому контексту, в том числе как основа для дальнейшей адаптации под задачи программирования. Модель принимает и выдаёт текст; карточка не перечисляет поддерживаемые языки программирования или естественные языки. Репозиторий содержит веса в формате safetensors. Указана лицензия other, поэтому условия использования следует проверять в материалах проекта DeepSeek.

1.1K61янв. 2024ctx4.1K
textotherhugging-face
dicta-il
dictabert-large-ner

DictaBERT-Large NER — крупная модель семейства BERT, выпущенная Dicta, для распознавания именованных сущностей в современном иврите. Это дообученная для разметки последовательностей версия BERT-large с архитектурой BertForTokenClassification; размер составляет 533,7 млн параметров, а контекст — до 512 токенов. Модель принимает текст и присваивает метки его токенам, помогая находить в тексте сущности.

4120дек. 2023ctx512
textcc-by-4.0hugging-face
dicta-il
dictabert-ner

DictaBERT NER — модель семейства BERT, разработанная Dicta, представляющая собой дообученную версию BERT-base для распознавания именованных сущностей в современном иврите. Она предназначена для разметки токенов и выявления сущностей в ивритских текстах. Модель содержит 211,6 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Модель подходит для извлечения сущностей из документов и текстовых коллекций на иврите. Карточка указывает лицензию CC BY 4.0. Подробности о типах сущностей и качестве на отдельных наборах данных в предоставленных материалах не описаны.

10.0K6дек. 2023ctx512
textcc-by-4.0hugging-face
eric-mc2
distilbert-foundation-category-c6

eric-mc2/distilbert-foundation-category-c6 — дообученная модель DistilBERT для классификации текста по категориям. В метаданных указана архитектура DistilBertForSequenceClassification и базовая модель distilbert/distilbert-base-uncased. Модель принимает текст и выдаёт метку класса; README сообщает точность 0,9226 и loss 0,3598 на оценочной выборке, но не описывает сами категории и датасет. Контекст составляет 512 токенов. Модель распространяется по лицензии Apache-2.0.

80янв. 2024ctx512
textapache-2.0hugging-face
onnx-community
distilbert-NER-ONNX

onnx-community/distilbert-NER-ONNX — это ONNX-версия модели dslim/distilbert-NER, автоматически конвертированная и опубликованная сообществом onnx-community. Модель предназначена для задачи распознавания именованных сущностей (NER), то есть для выделения в тексте фрагментов, относящихся к людям, местам и другим сущностям, поддерживаемым исходной моделью. Её можно использовать для токен-классификации, например в JavaScript-приложениях через библиотеку Transformers.js. Из README известно, что модель основана на DistilBERT и предоставляется в формате ONNX. Конкретные размер модели, архитектурные параметры, поддерживаемые языки, максимальная длина контекста и набор классов сущностей в карточке не указаны. Формат ONNX ориентирован на выполнение модели в совместимых средах, включая сценарии с Transformers.js. Лицензия в README не указана, поэтому условия использования требуют дополнительной проверки.

2.1K3июнь 2025ctx512
texthugging-face
TokenBender
evolvedSeeker_1_3

evolvedSeeker-13 — экспериментальная разговорная модель для генерации кода, созданная TokenBender на основе deepseek-ai/deepseek-coder-1.3b-base. Модель дообучена на 50 тысячах инструкций за три эпохи; данные в основном взяты из наборов evolInstruct и glaive coder, а около трёх тысяч ответов дополнительно переработаны с помощью self-instruct. Для общения автор рекомендует формат ChatML; также подходит Alpaca с учётом токена EOT. Модель предназначена для быстрого помощника по коду, автодополнения, подготовки наборов данных и оценки моделей. Она содержит 1,3 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 16 384 токенов. README называет её ранней версией проекта PIC и отмечает, что большая часть работы ещё впереди. Автор предупреждает, что небольшой размер ограничивает способность к рассуждению и может приводить к ошибкам. Лицензия в предоставленных данных не указана.

4228нояб. 2023ctx16.4K
texthugging-face
ByteDance
EvoQuality

EvoQuality — модель оценки качества изображений без эталонного изображения, разработанная ByteDance. Она поддерживает оценку отдельного изображения по шкале от 1 до 5 и попарное сравнение изображений, позволяя ранжировать их по воспринимаемому качеству. Модель основана на плотной мультимодальной архитектуре Qwen2.5-VL-7B с 7,1 млрд параметров и контекстом до 128 000 токенов; принимает изображения и текстовые инструкции, выдаёт текстовые оценки или выбор лучшего изображения. Веса получены полным дообучением Qwen2.5-VL-7B методом GRPO с псевдометками предпочтений, сформированными голосованием самой модели. В описанных zero-shot испытаниях EvoQuality улучшила корреляцию с человеческими оценками относительно базовой модели на нескольких наборах данных и показала перенос на разные искажения и AI-сгенерированные изображения. Модель подходит для исследовательской оценки, ранжирования и фильтрации изображений, а также как вспомогательный сигнал при очистке данных. Оценки отражают субъективное восприятие качества и могут зависеть от домена, формулировки запроса и способа генерации ответа. Самостоятельные псевдометки могут наследовать предпочтения и слепые зоны базовой модели; для медицинских, спутниковых и промышленных изображений возможен сдвиг домена. Не следует использовать результат как единственное основание для решений с высокими последствиями. Лицензия — Apache-2.0.

17731июнь 2026ctx128K
textimageapache-2.0hugging-face
ibm-granite
granite-8b-code-instruct-4k-GGUF

granite-8b-code-instruct-4k-GGUF — квантованная версия Q4_K_M модели granite-8b-code-instruct-4k, разработанной IBM и распространяемой под лицензией Apache 2.0. Модель предназначена для генерации и обработки программного кода, включая написание, объяснение и исправление кода, а также решения задач, связанных с SQL, математикой и вызовом функций. Версия основана на ibm-granite/granite-8b-code-base-4k и рассчитана на контекст до 4K токенов. Модель содержит 8 миллиардов параметров, работает в текстовом режиме и ориентирована на сценарии программирования с использованием llama.cpp и формата GGUF. В опубликованных тестах HumanEvalPack показатели pass@1 составили 57,9% для синтеза Python, 52,4% для JavaScript, 58,5% для Java, 43,3% для Go, 48,2% для C++ и 37,2% для Rust; результаты для объяснения и исправления кода различаются в зависимости от языка. Показатели помечены как непроверенные. Ключевое ограничение — устаревший статус: разработчик не рекомендует модель для новых проектов и предлагает использовать более современные модели семейства Granite. README не содержит сведений о точной архитектуре, языковом охвате и дополнительных ограничениях, поэтому эти характеристики нельзя определить по предоставленным данным.

3.1K12май 2024
textapache-2.0hugging-face
victorlxh
iKG-v1.0

iKG-v1.0 (ICKG, Integrated Contextual Knowledge Graph Generator) — авторегрессионная языковая модель на архитектуре Transformer, разработанная Xiaohui Li для построения графов знаний по инструкциям и специализированным запросам. Модель дообучена на Vicuna-7B, основанной на LLaMA; метаданные указывают семейство LLaMA и размер 6,6 млрд параметров. Она генерирует графы знаний из текстовых инструкций, уделяя внимание качеству и соблюдению заданного формата. В карточке приведена предварительная оценка, в которой iKG показала результаты выше GPT-3.5 и исходной Vicuna-7B на задачах построения графов знаний и сопоставимые с GPT-4; подробностей методики оценки нет. Контекст модели — 2048 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

135авг. 2023ctx2K
textcc-by-nc-4.0hugging-face
knosing
japanese_ner_model

knosing/japanese_ner_model — модель на базе BERT, дообученная автором репозитория на японском датасете распознавания именованных сущностей из Википедии, опубликованном Stockmark Inc. Она предназначена для выделения и классификации сущностей в японском тексте, включая имена людей, организации, места, события и названия продуктов. Модель содержит 138,4 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. Для запуска используется библиотека Transformers; веса доступны в форматах PyTorch и Safetensors. В README приведены метрики на тестировании: F1 0,8428 и accuracy 0,9684. Качество зависит от типа сущности: в приведённых результатах F1 для названий продуктов составляет 0,6198, а для общих названий — 0,9177. README также предупреждает, что модель может быть недоступна через Hugging Face Inference API. Лицензия — Apache-2.0.

2630май 2024ctx512
textapache-2.0hugging-face
jacepark12
LFM2.5-2.6B-Terminal-SFT

LFM2.5-2.6B Terminal SFT — полно-параметрически дообученная модель LiquidAI LFM2.5-2.6B, опубликованная jacepark12. Она предназначена для диалоговых задач терминального агента: обучена на 139 841 беседе о работе с терминалом без задач программирования, подготовленных из набора NVIDIA Nemotron Terminal Corpus. Модель использует плотную архитектуру LFM2 с причинной языковой моделью Lfm2ForCausalLM, содержит 2,6 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers; модель принимает текстовые запросы и генерирует текстовые ответы. Карточка указывает английский язык.

1252авг. 2026ctx131.1K
texthugging-face
nielsr
lilt-xlm-roberta-base

nielsr/lilt-xlm-roberta-base — модель, созданная сочетанием Language-Independent Layout Transformer (LiLT) и XLM-RoBERTa-base. Это мультиязычный трансформер для извлечения признаков из документов с учётом текстового содержимого и его расположения на странице, по назначению близкий к LayoutLM. Модель содержит 305,2 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в форматах PyTorch и safetensors. Модель предназначена для построения представлений документов и может служить основой для задач понимания структуры документов на разных языках. XLM-RoBERTa обучалась на 100 языках; карточка указывает мультиязычную поддержку, включая английский, немецкий, французский, испанский, арабский, китайский и другие языки. Лицензия — MIT. Карточка не приводит оценок качества или подробных ограничений применения.

8.6K27нояб. 2022ctx514
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей