/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
7 651–7 680 из 23 488
rombodawg
Llama-3-8B-Instruct-Coder

Llama-3-8B-Instruct-Coder — дообученная модель на основе Llama 3 8B Instruct от Meta, опубликованная rombodawg. Она обучалась на наборах CodeFeedback и Code Feedback Filtered Instruction и предназначена для генерации кода и ответов на запросы о программировании в диалоговом формате. Модель использует плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. В карточке указано обучение методом Qalore, сочетающим QLoRA и приёмы GaLore для снижения требований к видеопамяти. Поддерживается английский язык; модель доступна в форматах PyTorch и safetensors. Для использования действует лицензия Llama 3. Карточка не приводит результатов оценки качества или подробных ограничений; качество ответов следует проверять на целевых задачах, особенно при использовании сгенерированного кода.

4154май 2024ctx8.2K
textllama3hugging-face
InferenceIllusionist
Magic-Dolphin-7b

Magic-Dolphin-7b — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория методом линейного слияния Dolphin 2.6 Mistral 7B DPO Laser, Hyperion 1.5 Mistral 7B и Merlinite 7B. Модель предназначена для генерации текста и ответов на технические вопросы; README сообщает о проверке нескольких весовых соотношений и приводит результаты бенчмарков рассуждения, знаний и решения задач. Для общения используется шаблон Alpaca, контекст составляет 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечена поддержка генерации кода, однако сведения о конкретных языках программирования или естественных языках не приведены. Репозиторий содержит веса Safetensors, а README указывает на отдельные GGUF-квантизации. Лицензия — Apache-2.0. Автор описывает релиз как эксперимент по объединению моделей; следующая версия, Excalibur-7b, уже выпущена.

686март 2024ctx32.8K
textapache-2.0hugging-face
Hjgugugjhuhjggg
mergekit-ties-folgysk

Это языковая модель семейства Llama, созданная автором репозитория методом TIES с помощью mergekit. В объединение вошли Meta Llama 3.2 1B и несколько её вариантов, настроенных для диалогов, медицинских вопросов, SQL, математики и кода. Модель содержит 1,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и распространяется в формате safetensors через Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и может служить компактной основой для диалогов и ответов на вопросы, а также запросов по медицинским темам, SQL, математике и коду. README не приводит результатов оценки, подробностей о качестве или явного перечня поддерживаемых языков. Базовая модель Llama 3.2 1B распространяется по лицензии Llama 3.2 Community License; условия использования итогового объединения отдельно не описаны в предоставленных данных.

180нояб. 2024ctx131.1K
texthugging-face
jfarray
Model_bert-base-multilingual-uncased_10_Epochs

Карточка модели jfarray/Model_bert-base-multilingual-uncased_10_Epochs на Hugging Face совпадает с карточкой jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_10_Epochs, поэтому описание составлено по ней. jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_10_Epochs — модель эмбеддингов предложений на базе BERT, опубликованная пользователем jfarray. Она кодирует предложения и абзацы в плотные векторы размерности 256 для поиска семантически близких текстов и кластеризации. Модель содержит 137,1 млн параметров, работает с текстом и поддерживает контекст до 512 токенов; в карточке указана библиотека Sentence-Transformers и обучение с CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу. Название базовой модели указывает на испанский BERT dccuchile/bert-base-spanish-wwm-uncased, поэтому основной язык — испанский. В метаданных указаны формат PyTorch и задачи извлечения признаков и сходства предложений. Лицензия в предоставленных данных не указана.

1130март 2022ctx512
textembeddinghugging-face
jfarray
Model_bert-base-multilingual-uncased_1_Epochs

Модель jfarray/Model_bert-base-multilingual-uncased_1_Epochs — модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные эмбеддинги размерностью 256. Её можно применять для семантического поиска, сравнения текстов и кластеризации. По метаданным, модель содержит 194,6 млн параметров, принимает текст длиной до 512 токенов и опубликована в формате PyTorch. Модель обучена с помощью Sentence-Transformers и функции потерь CosineSimilarityLoss. README не раскрывает обучающие данные и результаты оценки, поэтому качество для конкретных языков и задач по предоставленным сведениям оценить нельзя. Лицензия в доступных данных не приведена.

740март 2022ctx512
textembeddinghugging-face
jfarray
Model_dccuchile_bert-base-spanish-wwm-uncased_50_Epochs

Карточка модели jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_50_Epochs на Hugging Face совпадает с карточкой jfarray/Model_bert-base-multilingual-uncased_50_Epochs, поэтому описание составлено по ней. Модель jfarray/Model_bert-base-multilingual-uncased_50_Epochs — модель на архитектуре BERT, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска и кластеризации. Модель также подходит для сравнения семантической близости текстов и получения текстовых эмбеддингов. Модель имеет 194,6 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано обучение с CosineSimilarityLoss; файлы представлены в формате PyTorch. Многоязычность следует из базового семейства multilingual BERT, но конкретный перечень поддерживаемых языков в доступных данных не приведён.

920март 2022ctx512
textembeddinghugging-face
newmindai
modernbert-base-tr-uncased-allnli-stsb

Это модель Sentence Transformers на базе encoder-архитектуры ModernBERT, дообученная newmindai от artiwise-ai/modernbert-base-tr-uncased на турецком наборе all-nli-tr. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. Модель содержит 134,9 млн параметров. В README указан максимальный размер последовательности 256 токенов, тогда как метаданные указывают контекст до 8192 токенов; фактический рабочий предел зависит от конфигурации Sentence Transformers. Для турецкого STS в карточке приведены результаты Spearman 0,8081 на sts-test и 0,8327 на stsb-test при размерности 768; векторы также можно усекать до меньших размерностей. Модель принимает текст и выдаёт векторы, сама по себе не генерируя ответы. Условия лицензии в предоставленных данных не описаны.

700июнь 2025ctx8.2K
textembeddinghugging-face
navidmadani
mpnet-twitter-freq100

navidmadani/mpnet-twitter-freq100 — модель Sentence-Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Её обучили с функцией CosineSimilarityLoss; по назначению это модель эмбеддингов для сравнения текстов. Модель подходит для семантического поиска, кластеризации и оценки сходства предложений. Архитектура содержит около 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и не указывает лицензию. README не сообщает, на каких языках обучена модель.

1050апр. 2023ctx514
textembeddinghugging-face
mik3ml
multilingual-e5-large-ita

Это модель Sentence Transformer mik3ml/multilingual-e5-large-ita, дообученная разработчиком на базе intfloat/multilingual-e5-large для представления итальянских текстов в виде плотных векторов. Архитектура основана на XLM-RoBERTa-large с усреднением токенных представлений и нормализацией; модель содержит 658,7 млн параметров, формирует эмбеддинги размерностью 1024 и обрабатывает последовательности длиной до 514 токенов по метаданным (в карточке указано ограничение 512 токенов). Для сравнения используется косинусное сходство. Модель предназначена для семантического поиска и сопоставления предложений и абзацев, поиска перефразирований, кластеризации и классификации текстов. В README приведены оценки информационного поиска для разных размерностей эмбеддингов. В первую очередь модель ориентирована на итальянский язык; основанием для этого служат языковой тег и указание языка в карточке. Лицензия — Apache-2.0. Она выдаёт векторы, а не готовые текстовые ответы; качество зависит от соответствия входных текстов обучающим данным.

1000нояб. 2024ctx514
textembeddingapache-2.0hugging-face
legacy107
multi-qa-mpnet-base-dot-v1-wikipedia-search

legacy107/multi-qa-mpnet-base-dot-v1-wikipedia-search — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска и кластеризации текстов; в поисковой системе её можно использовать для представления запросов и документов в общем векторном пространстве. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель обучалась с TripletLoss на евклидовом расстоянии. В карточке не указана лицензия, поэтому условия распространения и использования по имеющимся данным определить нельзя. Заявленные задачи — семантический поиск и кластеризация; качество зависит от соответствия текстов и поискового корпуса обучающим данным.

990сент. 2023ctx514
textembeddinghugging-face
Martinkoling
my-first-setfit

Martinkoling/my-first-setfit — модель на базе архитектуры MPNet, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Обучение использовало CosineSimilarityLoss. Модель принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. В карточке нет сведений о специализации на конкретном языке или прикладной области. Лицензия не указана в предоставленных данных.

810янв. 2023ctx514
textembeddinghugging-face
wepiqx
NeoHorse-1-9B-MERNIK-GGUF

NeoHorse-1-9B-MERNIK-GGUF — семейство GGUF-квантизаций базовой модели TokenRhythm/NeoHorse-1-9B, подготовленное пользователем wepiqx методом MERNIK. Модель предназначена для генерации текста и кода, включая задачи программирования на Python и разработку небольших проектов. В карточке указана поддержка английского языка; по результатам тестов модель также способна генерировать русский текст и интерфейсы. Архитектура базовой модели и максимальная длина контекста не раскрыты, однако для проверки использовался контекст 8192 токена, а в рекомендациях предлагается 16384 токена. Доступны варианты размером примерно от 3,65 до 6,83 ГБ с разными уровнями квантования, включая Q2, Q4, Q8 и F16. Сильной стороной являются возможности генерации рабочего кода при существенно меньшем размере по сравнению с полноточными вариантами. В тесте HumanEval версия MERNIK-6500-Q8 показала pass@1 85,98% (141 из 164 задач), а MERNIK-5100-Q4 — 82,93%; младшая версия MERNIK-3650-Q2 достигла 23,78% и подходит преимущественно для коротких функций, но не для полноценных проектов. Результаты зависят от размера квантизации, настроек выборки и доступного контекста. Для сложных рассуждений и длинных задач рекомендуется увеличенный лимит генерации; при слишком малом бюджете модель может не раскрыть потенциал. Для запуска заявлена совместимость с llama.cpp и llama-server, включая шаблон чата Jinja. Модель распространяется по лицензии Apache-2.0. В README приведены рекомендации по параметрам генерации, включая temperature 0,6, top_p 0,95 и top_k 20 для практической работы с кодом; использование presence_penalty 1,5 не рекомендуется, поскольку оно вызывало сбои на тестовом стенде.

4183сент. 2026
textapache-2.0hugging-face
Nerdofdot
Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM

Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM — модель на базе BERT, подготовленная в формате Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов и может применяться для кластеризации и семантического поиска. Обучение использовало TripletLoss с евклидовой метрикой и отступом 0,4; объём модели составляет 137,1 млн параметров, максимальный контекст — 512 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать для оценки сходства. Название указывает на итальянскую uncased-версию mMARCO-BERT, однако README не приводит явного подтверждения базовой модели или поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Условия лицензии в доступных данных не приведены.

1140янв. 2024ctx512
textembeddinghugging-face
Nerdofdot
Nerdofdot_nickprock_sentence-bert-base-italian-uncased_TM_FTM

Карточка модели Nerdofdot/Nerdofdot_nickprock_sentence-bert-base-italian-uncased_TM_FTM на Hugging Face совпадает с карточкой Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM, поэтому описание составлено по ней. Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM — модель на базе BERT, подготовленная в формате Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов и может применяться для кластеризации и семантического поиска. Обучение использовало TripletLoss с евклидовой метрикой и отступом 0,4; объём модели составляет 137,1 млн параметров, максимальный контекст — 512 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать для оценки сходства. Название указывает на итальянскую uncased-версию mMARCO-BERT, однако README не приводит явного подтверждения базовой модели или поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Условия лицензии в доступных данных не приведены.

1090янв. 2024ctx512
textembeddinghugging-face
api19750904
newspainclass

api19750904/newspainclass — модель семейства RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Её можно применять для поиска семантически близких текстов, кластеризации и оценки сходства предложений; README описывает обучение с CosineSimilarityLoss в рамках Sentence-Transformers. Модель принимает текст и выдаёт векторные представления. Метаданные указывают 151,8 млн параметров и контекст до 514 токенов. Карточка не сообщает, какие языки и тематические области охватывает модель, поэтому её языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

1050окт. 2022ctx514
textembeddinghugging-face
madhun
Nex-N2.5-mini

Nex-N2.5-mini — разговорная модель семейства Nex-N2.5, разработанного Nex-AGI. Она предназначена для агентных задач с длительным планированием, включая управление компьютером и браузером, программирование и проверку программ, а также мультимодальное понимание визуальной среды. Модель может использовать визуальную обратную связь для проверки результатов действий и корректировки дальнейших шагов. По карточке семейство Nex-N2.5-mini опирается на мультимодальную основу Nex-N2; метаданные указывают архитектурное семейство Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration. Поддерживаются чат и вызов функций. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает размер именно mini-версии и длину контекста.

3240сент. 2026ctx262.1K
textapache-2.0hugging-face
moelanoby
phi-3-M3-coder

moelanoby/phi-3-M3-coder — дообученная модель на базе Microsoft Phi-3 Mini Instruct, предназначенная для генерации кода и диалогового взаимодействия. Это плотная причинная языковая модель архитектуры Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов; карточка указывает поддержку кода и чата, а также языки Arabic, English, German, French, Portuguese и Polish. Модель рассчитана на написание и исправление программного кода, в том числе с экспериментальным режимом самокоррекции в несколько проходов. В README приведены результаты на HumanEval и других тестах, однако отдельные показатели заявлены самим автором и могут не отражать качество на иных задачах. Карточка рекомендует проверять баланс между числом проходов самокоррекции, связностью и точностью. Указана лицензия Apache 2.0, допускающая коммерческое использование.

6248июнь 2025ctx4.1K
texthugging-face
Phuc2005
pii-phobert-base-ner

Модель PhoBERT-base, дообученная Танг Хоанг Фуком из Университета информационных технологий при Национальном университете Хошимина для распознавания персональных данных в текстах на вьетнамском языке. Это модель классификации токенов для NER: она выделяет 54 типа персональных данных, включая имена, идентификационные номера, электронные адреса, телефоны и адреса. Архитектура — RoBERTa для классификации токенов, размер — 162,4 млн параметров, длина контекста — 258 токенов; модель принимает текст и выдаёт метки для его фрагментов. Модель предназначена для извлечения PII и поддержки последующей анонимизации вьетнамских текстов. Её контекст ограничен 258 токенами. Распространяется по лицензии Apache-2.0.

710май 2026ctx258
textapache-2.0hugging-face
PaddlePaddle
PP-DocLayout-S

PP-DocLayout-S — компактная модель PaddlePaddle для локализации областей и определения структуры на изображениях документов. Она построена на архитектуре PicoDet-S и обучена на собственном наборе китайских и английских научных статей, журналов, контрактов, книг, экзаменационных материалов и исследовательских отчётов. Модель распознаёт 23 категории элементов, включая заголовки, абзацы, основной текст, номера страниц, аннотации, содержание, ссылки, сноски, колонтитулы, формулы, таблицы, изображения, подписи и печати. Модель предназначена для обнаружения областей документа как компонента систем OCR и анализа структуры документов, в том числе конвейера PP-StructureV3. На собственном тестовом наборе из 500 изображений документов указано значение mAP@0.5 70,9%. Это показатель локализации элементов, а не готовое распознавание текста; для извлечения содержимого может потребоваться сочетание с OCR и другими модулями. Модель принимает изображения и выдаёт текстовые метки категорий и координаты областей. Лицензия — Apache-2.0.

6181июнь 2025
textimageapache-2.0hugging-face
ipfipfipf
Qwen3.5-9B-sdpo-react-mathcodesearch-grpo-arm-e-step29

Qwen3.5-9B-sdpo-react-mathcodesearch-grpo-arm-e-step29 — это дообученная модель ipfipfipf на базе Qwen/Qwen3.5-9B. Она предназначена для диалоговой работы с математическими и программными задачами, а также для многошаговых сценариев поиска с вызовом инструментов в стиле ReAct. Модель обучалась методом GRPO с SDPO; опубликован шаг 29, выбранный авторами как лучший по их кривой обучения. Это текстовая языковая модель на 9 млрд параметров с архитектурой семейства Qwen3.5; репозиторий содержит веса Safetensors и рассчитан на Transformers. Хотя конфигурация сохраняет класс Qwen3_5ForConditionalGeneration, при экспорте удалена башня зрения базовой модели, поэтому изображения модель не принимает. README приводит результаты на математических и кодовых тестах, однако ограничивает их сравнительную интерпретацию: для AMO-Bench часть ответов обрезалась из-за лимита генерации в 16 384 токена, а качество может снижаться при продолжении обучения после шага 29. Лицензия — Apache-2.0.

320сент. 2026ctx262.1K
textapache-2.0hugging-face
Wheatley961
Raw_3_Test_1_new.model

Wheatley961/Raw_3_Test_1_new.model — модель Sentence-Transformers на базе XLM-RoBERTa, разработчик — Wheatley961. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, семантического поиска и кластеризации. Модель имеет 305,2 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В обучении использовалась CosineSimilarityLoss. Модель подходит для поиска похожих фрагментов текста и группировки предложений по смыслу. Карточка не приводит сведения о поддерживаемых языках и лицензии, поэтому языковой охват и условия использования определить по имеющимся данным нельзя.

710нояб. 2022ctx514
textembeddinghugging-face
hflog
RESMPDEV-Wukong-0.1-Mistral-7B-v0.2

Карточка модели hflog/RESMPDEV-Wukong-0.1-Mistral-7B-v0.2 на Hugging Face совпадает с карточкой RESMPDEV/Wukong-0.1-Mistral-7B-v0.2, поэтому описание составлено по ней. Wukong-0.1-Mistral-7B-v0.2 — чат-модель, созданная RESMPDEV путём дообучения Mistral-7B-v0.2 от Mistral. Она предназначена для диалогов и генерации ответов по инструкциям; обучение проводилось на OpenHermes-2.5, наборах данных для кода от Multimodal Art Projection и наборе Dolphin от Cognitive Computations. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Автор описывает настройку как «dealigned», но не уточняет её практический эффект; примеры выходов в карточке не приведены.

201апр. 2024ctx32.8K
textapache-2.0hugging-face
RKNNAI
RK182X-VLM-MinerU2.5-Pro-2604-1.2B

Это преобразованная для RKNN модель визуально-языкового типа на основе OpenDataLab/MinerU2.5-Pro-2604-1.2B, подготовленная RKNNAI для запуска на NPU чипов RK1820 и RK1828. Она предназначена для разбора документов по одному изображению: распознаёт структуру страницы, текст, формулы и таблицы и выдаёт результат в текстовом формате. Исходная модель содержит 1,2 млрд параметров; конфигурации используют квантизацию w4a16 для визуальной и языковой частей и контекст до 8192 токенов. Доступны варианты с разрешением изображения 448×448 и 1036×1036, причём второй рассчитан только на RK1828. Модель подходит для встраивания распознавания документов в приложения на совместимых устройствах RK182x. Она принимает изображение и текстовый запрос и формирует текстовый ответ. Для работы нужны соответствующие RKNN Runtime и драйвер, а для обработки PDF приложению необходимо самостоятельно реализовать полный конвейер разбора. Лицензия исходных весов — Apache License 2.0.

3800сент. 2026
textimageapache-2.0hugging-face
Madras1
sbert-quality-filter-ptbr-v1

Madras1/sbert-quality-filter-ptbr-v1 — модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство между текстами оценивается косинусной мерой. В README указана архитектура BERT с усреднением токеновых представлений и максимальная длина последовательности 128 токенов; метаданные указывают 124,3 млн параметров и контекст 512 токенов. Модель предназначена для семантического сравнения текстов и может применяться для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Название репозитория указывает на фильтрацию качества для бразильского португальского, но README не уточняет, как именно это реализовано; явные сведения о языке обучения отсутствуют. Для работы подходит библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

1020дек. 2025ctx512
textembeddinghugging-face
AHDMK
Sentence-MNR-BioBert-snli-mnli

AHDMK/Sentence-MNR-BioBert-snli-mnli — модель Sentence Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически похожих текстов. В метаданных указано 135,5 млн параметров, максимальная длина контекста — 512 токенов; веса доступны в формате Safetensors. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством. Её можно применять для семантического поиска и кластеризации текстов; эмбеддинги также подходят как представления для последующей обработки. README не уточняет языки обучения и использования, поэтому языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.

1260март 2024ctx512
textembeddinghugging-face
frozi
setfit-ethos-multilabel-example

Модель frozi/setfit-ethos-multilabel-example — модель Sentence-Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Её можно применять для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления. В карточке указано обучение с CosineSimilarityLoss; репозиторий содержит веса PyTorch. Для работы доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Лицензия и целевые языки в предоставленных данных не описаны.

960нояб. 2022ctx514
textembeddinghugging-face
Muennighoff
SGPT-1.3B-mean-nli

Muennighoff/SGPT-1.3B-mean-nli — модель преобразования предложений в эмбеддинги на основе GPT-Neo, представленная в виде sentence-transformers. Она обучалась с MultipleNegativesRankingLoss на косинусном сходстве, что позволяет использовать её для поиска семантически близких предложений и сравнения текстов. Модель содержит 1,5 млрд параметров и принимает последовательности длиной до 2048 токенов. Модель предназначена для получения векторных представлений предложений, семантического поиска и задач сопоставления текста. README отсылает за инструкциями по применению и результатами оценки к коду проекта и статье; лицензия в доступных данных не указана.

891март 2022ctx2K
textembeddinghugging-face
Atipico1
simcse-2000

Atipico1/simcse-2000 — модель Sentence Transformers, созданная дообучением BM-K/KoSimCSE-bert-multitask. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смыслового сходства текстов, семантического поиска и других задач, основанных на эмбеддингах. В архитектуре используются BERT и усреднение токенных представлений; сходство рекомендуется оценивать косинусной мерой. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Базовая модель ориентирована на корейские предложения; в карточке приведена оценка cosine_accuracy 0,9314 на наборе TripletEvaluator. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

660авг. 2024ctx512
textembeddinghugging-face
llmware
slim-tags

SLIM-TAGS — небольшая специализированная авторегрессионная модель серии SLIM от llmware, дообученная для генерации вызовов функций, которые автоматически подбирают релевантные теги и точки интереса по тексту. Модель выдаёт структурированный результат в виде словаря Python с полем tags; такой вывод можно использовать в программных и многошаговых LLM-сценариях автоматизации. Модель построена на архитектуре Llama и содержит 1 млрд параметров. Она принимает текст и генерирует текстовый структурированный результат; максимальный родной контекст составляет 2048 токенов. В README приведён пример классификации финансовой новости и интеграции через Transformers или LLMWare. Лицензия — Apache-2.0.

265февр. 2024ctx2K
textapache-2.0hugging-face
Snowflake
snowflake-arctic-embed-l-v2.0

Snowflake Arctic Embed L v2.0 — мультиязычная модель эмбеддингов от Snowflake для семантического поиска и извлечения релевантных текстов. Она основана на архитектуре XLM-RoBERTa и использует представление текста в виде векторов; в метаданных указано 658,7 млн параметров, а контекст составляет до 8194 токенов. Модель принимает текст и выдаёт эмбеддинги, предназначенные для сравнения запросов и документов по смысловой близости. Модель рассчитана на поиск на английском и многих других языках, включая арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. README сообщает о поддержке векторов размерностью 1024 и Matryoshka Representation Learning для сокращения до 256 измерений; вместе с 4-битным квантованием это позволяет хранить вектор примерно в 128 байтах. Указаны результаты оценки на наборах BEIR, MIRACL и CLEF, а также возможность использовать модель как замену BAAI/bge-m3-retromae в системах вывода. Лицензия Apache 2.0 допускает свободное использование в том числе в коммерческих приложениях. Модель предназначена для многоязычного семантического поиска, извлечения документов и построения систем поиска с векторным индексом. Сокращение и квантование эмбеддингов снижают требования к хранению, но могут уменьшить качество поиска; README отмечает небольшое снижение показателей при сокращении размерности до 256. Русский язык не указан среди языков карточки и метаданных, поэтому его поддержку нельзя подтвердить.

1.7M262нояб. 2024ctx8.2K
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей