/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 181–9 210 из 23 488
codefuse-ai
F2LLM-v2-1.7B

F2LLM-v2-1.7B — многоязычная модель эмбеддингов из семейства F2LLM-v2, разработанная CodeFuse AI. Она основана на плотной архитектуре Qwen3 и дообучена на базе codefuse-ai/F2LLM-v2-1.7B-Preview. Модель содержит 1,7 млрд параметров, принимает текст и формирует векторные представления; контекст — до 40 960 токенов. Модель предназначена для поиска по смыслу, ранжирования документов и запросов, оценки семантического сходства, кластеризации и поиска параллельных текстов. Она поддерживает более 200 языков, особенно ориентирована на языки с ограниченными обучающими ресурсами. Поддержка Matryoshka Representation Learning позволяет сокращать размер эмбеддингов для ускорения векторного поиска и экономии памяти. README сообщает о высоких результатах семейства на широком наборе тестов MTEB. Модель распространяется под лицензией Apache-2.0. Для поиска и ранжирования README рекомендует добавлять инструкцию к запросу, но не к документам; для сокращённых эмбеддингов нормализацию следует выполнять после усечения. Модель выдаёт эмбеддинги, а не готовые ответы на запросы.

9.2K12март 2026ctx41K
textembeddingapache-2.0hugging-face
FireRedTeam
FireRed-OCR

FireRed-OCR — специализированная модель для распознавания текста и структурного разбора документов по изображениям, разработанная FireRedTeam на базе Qwen3-VL-2B-Instruct. Модель преобразует страницы документов в структурированный Markdown и нацелена на сохранение порядка строк, таблиц, формул и иерархии разделов. Модель дообучена поэтапно: для пространственного выравнивания, специализированного формирования Markdown и оптимизации формата с помощью GRPO. В README заявлен результат 92,94% на OmniDocBench v1.5 и устойчивость к сложным и нестандартным макетам. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. FireRed-OCR предназначена для оцифровки документов и извлечения их структуры. Карточка не сообщает поддерживаемые естественные языки или длину контекста. Авторы запрещают использовать проект для обработки незаконного, порнографического, вредоносного, порочащего или нарушающего приватность контента.

15K167февр. 2026ctx262.1K
textimageapache-2.0hugging-face
unsloth
GLM-4.6

GLM-4.6 от Zhipu AI представлен в репозитории Unsloth с исправлениями шаблона чата. Это диалоговая языковая модель семейства GLM-4 MoE с 23,4 млрд параметров, предназначенная для генерации текста и кода, рассуждений и агентных сценариев с вызовом инструментов. Модель принимает контекст до 202 752 токенов и поддерживает английский и китайский языки. По сравнению с GLM-4.5 в карточке отмечены улучшения в программировании, рассуждениях, работе с инструментами и поисковыми агентами, а также более естественный стиль письма. Репозиторий содержит веса safetensors; для запуска через llama.cpp README рекомендует использовать параметр --jinja. Лицензия — MIT.

777сент. 2025ctx202.8K
textmithugging-face
barisaydin
gte-base

gte-base — модель для получения векторных представлений текста из семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy. Она основана на архитектуре BERT и обучена на большом корпусе пар текстов с разметкой релевантности с использованием многоэтапного контрастивного обучения. Модель предназначена для поиска информации, оценки семантического сходства предложений и ранжирования текстов; её также можно применять для кластеризации и классификации текстов. Модель содержит 136,7 млн параметров, формирует эмбеддинги размерности 768 и обрабатывает последовательности длиной до 512 токенов. Доступны форматы PyTorch и ONNX. В сравнении на бенчмарке MTEB модель показала средний результат 62,39 по 56 задачам согласно карточке модели. Поддерживается английский язык; более длинные тексты обрезаются до 512 токенов. Лицензия — MIT.

950сент. 2023ctx512
textembeddingmithugging-face
IQuestLab
IQuest-Coder-V1-40B-Instruct

IQuest-Coder-V1-40B-Instruct — инструктивная модель для программирования из семейства IQuest-Coder-V1, разработанного IQuestLab. Она предназначена для помощи в разработке программного обеспечения: генерации и изменения кода, ответов на вопросы о коде и работы с инструментами в диалоговом режиме. Модель содержит 39,4 млрд параметров и использует плотную архитектуру IQuestCoderForCausalLM с Grouped Query Attention. Она поддерживает контекст до 131 072 токенов и представлена в формате safetensors для Transformers. Семейство обучалось по многоэтапной парадигме code-flow на данных об изменениях репозиториев и преобразованиях кода. В README приведены результаты семейства на SWE-Bench Verified, BigCodeBench и LiveCodeBench; эти показатели не следует считать отдельной оценкой именно данного чекпойнта. Модель ориентирована на код, а метаданные карточки указывают английский язык. Она генерирует код, но не исполняет его; результат может быть ошибочным, особенно для узкоспециализированных или проприетарных технологий, поэтому его следует проверять. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

2.6K298дек. 2025ctx131.1K
textotherhugging-face
Bheri
ithasa-mmbert

Bheri/ithasa-mmbert — модель Sentence Transformers, дообученная на базе jhu-clsp/mmBERT-base для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерностью 768 и сравнивает их косинусным сходством; архитектура включает ModernBERT и усредняющий пулинг токенов. Максимальная длина последовательности — 8192 токена. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. В карточке приведён обучающий набор из 256 886 триплетов anchor-positive-negative. Примеры включают английский и санскритский текст; базовая модель описана как многоязычная. Файлы весов представлены в формате Safetensors. Лицензия в предоставленных данных не указана.

980дек. 2025ctx8.2K
textembeddinghugging-face
jinaai
jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small — мультимодальная embedding-модель Jina AI на архитектуре Jina Embeddings V5 Omni. Она принимает текст, изображения, видео и аудио и отображает их в общее векторное пространство, согласованное с jinaai/jina-embeddings-v5-text-small. Модель содержит около 1,74 млрд параметров, формирует эмбеддинги размерности 1024 и поддерживает задачи поиска, классификации, кластеризации и сопоставления текстов. Базовый репозиторий включает адаптеры для этих четырёх задач. Модель подходит для мультимодального семантического поиска и RAG, классификации по сходству эмбеддингов, группировки похожих материалов, поиска дубликатов и сравнения текстов. Видео представляется кадрами; звуковая дорожка видео автоматически не обрабатывается, поэтому аудио нужно передавать отдельно. Можно загружать только нужные модальные компоненты и сокращать размерность эмбеддингов с нормализацией. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Для работы требуются совместимые версии Transformers и PyTorch; README также описывает использование через Sentence Transformers и vLLM.

1.0M170апр. 2026ctx131.1K
textembeddingcc-by-nc-4.0hugging-face
HIT-TMG
KaLM-embedding-multilingual-mini-instruct-v2

KaLM-embedding-multilingual-mini-instruct-v2 — компактная мультиязычная модель для получения текстовых эмбеддингов, разработанная HIT-TMG и дообученная на базе Qwen/Qwen2-0.5B. Она использует двунаправленное внимание и многоэтапное обучение с предварительной и контролируемой настройкой на наборах данных для разных задач представления текста. Размер модели — около 0,5 млрд параметров, размерность эмбеддинга — 896, поддерживаются варианты размерности 512, 256, 128 и 64. README указывает максимум 32 тыс. токенов на вход, а метаданные — нативный контекст 131 072 токена. Модель предназначена для поиска и сопоставления текстов, семантического сходства, классификации и кластеризации; для асимметричных задач и симметричного сравнения предусмотрены инструкции к запросам и текстовым фрагментам. В карточке и метаданных отмечены английский и китайский языки. Модель распространяется по лицензии MIT. Метрики качества для конкретных языков и сценариев в предоставленных данных не приведены.

44734июнь 2025ctx131.1K
textembeddingmithugging-face
KaLM-Embedding
KaLM-embedding-multilingual-mini-instruct-v2.5

KaLM-Embedding-V2.5 — компактная мультиязычная модель эмбеддингов семейства KaLM, разработанная командой HITsz-TMG. Она предназначена для преобразования текстов в векторы и поддерживает поиск и извлечение документов, ранжирование, классификацию, кластеризацию, оценку семантического сходства и классификацию пар текстов. Для асимметричного поиска предусмотрены инструкции для запросов и документов; в sentence-transformers доступны encode_query и encode_document с шаблоном запроса по умолчанию. Модель построена на плотной архитектуре Qwen2 с двунаправленным вниманием и mean pooling. Размер — 494 млн параметров, размерность эмбеддингов — 896; поддерживаются сокращённые размерности 512, 256, 128 и 64. README указывает максимум 32 тыс. входных токенов, а метаданные — контекстное окно 131 072 токена. Обучение включало слабоконтролируемое предобучение, контролируемое дообучение и контрастивную дистилляцию. Указаны английский и китайский языки. Лицензия — Apache-2.0. Модель ориентирована на построение компактных векторных представлений и заявлена авторами как конкурентоспособная с более крупными моделями сопоставимого назначения. Метаданные связывают её с базовыми репозиториями HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v2 и Qwen/Qwen2.5-0.5B. Для использования с Transformers требуется версия 4.37.0 или новее; README также описывает поддержку sentence-transformers и vLLM.

3.3K68сент. 2025ctx131.1K
textembeddingapache-2.0hugging-face
Kerneld
klue-roberta-base-klue-sts

Карточка модели Kerneld/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

700окт. 2024ctx514
textembeddinghugging-face
choiwonjin
klue-roberta-base-klue-sts-mrc

Карточка модели choiwonjin/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

1180сент. 2024ctx514
textembeddinghugging-face
v000000
Llama-3-Instruct-15B-SPPO-Iter3-SH

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

170июль 2024ctx8.2K
texthugging-face
nthakur
mcontriever-base-msmarco

mcontriever-base-msmarco — модель для получения плотных векторных представлений предложений и абзацев, преобразованная в формат Sentence-Transformers из facebook/mcontriever-msmarco. Она основана на архитектуре BERT и содержит около 205,1 млн параметров; выход модели — векторы размерности 768. Модель предназначена для семантического поиска, сравнения текстов и кластеризации, а также может служить компонентом систем поиска информации. Модель принимает текст и выдаёт эмбеддинги. Её контекст ограничен 512 токенами. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В README указана публикация «Unsupervised Dense Information Retrieval with Contrastive Learning» как связанная работа. Лицензия в предоставленных данных не указана.

697июнь 2022ctx512
textembeddinghugging-face
openbmb
MiniCPM-SALA

MiniCPM-SALA — языковая модель OpenBMB с 7,9 млрд параметров для генерации текста и диалогов. Она использует гибридную архитектуру: 25% слоёв со sparse attention InfLLM-v2 и 75% с linear attention Lightning Attention. Модель рассчитана на обработку очень длинного контекста: в карточке заявлена длина 524 288 токенов, а README описывает поддержку до миллиона токенов. Модель подходит для диалогов и задач, требующих анализа длинных документов или больших контекстов; заявлены сохранение общих способностей, включая знания, математику и программирование. Для работы через Transformers требуется CUDA 12 или новее и компиляция зависимостей. Модель распространяется по лицензии Apache-2.0. Ответы следует проверять самостоятельно.

3.8K685февр. 2026ctx524.3K
textapache-2.0hugging-face
NostraEmpire
mirror-qwen2.5-coder-7b-instruct

Карточка модели NostraEmpire/mirror-qwen2.5-coder-7b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

770авг. 2026ctx32.8K
textapache-2.0hugging-face
dhyay
MistralCode-7B-Instruct-v0.2-slerp

MistralCode-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit из mistralai/Mistral-7B-Instruct-v0.2 и dhyay/mistral_codev2_3k. Веса объединены методом SLERP; модель содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате, включая задачи программирования, на которые ориентирована одна из исходных моделей. Может использоваться для помощи с кодом и обычных текстовых запросов. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.

223март 2024ctx32.8K
texthugging-face
avsolatorio
MixEmbedBert-base-20240115163419-latest

MixEmbedBert-base-20240115163419-latest — компактная модель эмбеддингов на базе BERT для представления предложений и абзацев в виде плотных векторов размерности 384. Карточка описывает её как дистилляцию bge-small-en-v1.5; число параметров составляет 18,8 млн, контекст — до 512 токенов. Модель предназначена для семантического поиска, кластеризации и сравнения текстов. Она выдаёт текстовые эмбеддинги и поддерживает задачи извлечения признаков и оценки сходства предложений. В README заявлено, что модель содержит в четыре раза меньше неэмбеддинговых параметров, чем bge-small-en-v1.5, и имеет примерно вдвое меньше параметров, чем all-MiniLM-L6-v2, при сопоставимом качестве. Указанные семейство и учебная база ориентированы на английский язык. Для использования доступны варианты Sentence-Transformers и Transformers; при работе через Transformers необходимо применить подходящий pooling к контекстным представлениям токенов. В карточке не указана лицензия, поэтому условия использования по ней определить нельзя.

1210янв. 2024ctx512
textembeddinghugging-face
EmaRimoldi
MNLP_M2_document_encoder

EmaRimoldi/MNLP_M2_document_encoder — текстовый энкодер предложений и коротких абзацев на архитектуре BERT, разработанный на основе all-MiniLM-L12-v2. Модель преобразует текст в плотный вектор размерности 384 для поиска по смыслу, оценки сходства и кластеризации. В README описано контрастивное дообучение на корпусе более чем из миллиарда пар предложений; метаданные указывают 40 млн параметров, контекст до 512 токенов и библиотеку Sentence Transformers. README предупреждает, что вход длиннее 256 word pieces обрезается. Модель подходит для семантического поиска и извлечения эмбеддингов из англоязычных текстов. В метаданных указаны английский язык и лицензия Apache-2.0. Векторные представления можно использовать как основу для поиска, группировки и сопоставления текстов; сама модель не генерирует ответы.

1030май 2025ctx512
textembeddingapache-2.0hugging-face
OmarIDK
MNLP_M2_document_encoder

Карточка модели OmarIDK/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1050май 2025ctx512
textembeddingapache-2.0hugging-face
raduv98
MNLP_M3_document_encoder

Карточка модели raduv98/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1170май 2025ctx512
textembeddingapache-2.0hugging-face
novelcore
model13

Карточка модели novelcore/model13 на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1360май 2026ctx512
textembeddingmithugging-face
novelcore
model16

Карточка модели novelcore/model16 на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.

1470май 2026ctx512
textembeddingmithugging-face
novelcore
model7

Карточка модели novelcore/model7 на Hugging Face совпадает с карточкой sentence-transformers/all-distilroberta-v1, поэтому описание составлено по ней. all-distilroberta-v1 — модель Sentence Transformers на архитектуре DistilRoBERTa, разработанная в рамках Hugging Face Community Week для проекта по обучению эмбеддингов предложений на большом наборе пар. Модель дообучена на базе distilroberta-base контрастивным обучением на более чем 1 млрд пар предложений. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, оценки сходства и кластеризации текста. Модель принимает текст и выдаёт векторные представления. В README указано усечение входа длиннее 128 word pieces; метаданные сообщают контекстное окно 514 токенов. В карточке отмечен английский язык. Репозиторий содержит веса PyTorch и варианты ONNX, OpenVINO и safetensors. Модель распространяется по лицензии Apache-2.0. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Она не предназначена для генерации ответов; качество зависит от соответствия языка и предметной области обучающим данным, а длинные входы ограничиваются усечением.

1340май 2026ctx514
textembeddingapache-2.0hugging-face
estrogen
ModernBERT-base-nli-v3

estrogen/ModernBERT-base-nli-v3 — англоязычная модель Sentence Transformers, дообученная на наборе all-nli для получения эмбеддингов предложений и абзацев. В основе лежит encoder-модель ModernBERT-base; архитектура использует ModernBertModel и mean pooling. Модель содержит 149 млн параметров, выдаёт плотные векторы размерностью 768 и поддерживает последовательности до 8192 токенов. Векторы предназначены для сравнения текстов по косинусному сходству и подходят для семантического поиска, поиска перефразирований, кластеризации и классификации текста. Обучение с MatryoshkaLoss поддерживает также укороченные представления размерностью 512, 256, 128 и 64. Для оценки сходства в README приведены результаты на STS-dev и STS-test. Лицензия в предоставленных данных не указана.

1226дек. 2024ctx8.2K
textembeddinghugging-face
nomic-ai
modernbert-embed-base

ModernBERT Embed Base — англоязычная модель эмбеддингов от Nomic AI, созданная на основе ModernBERT-base и обученная на слабонаблюдаемых и размеченных данных Nomic Embed. Она преобразует текст в векторы для семантического поиска, сравнения предложений, классификации и кластеризации. Модель имеет архитектуру ModernBERT, около 149 млн параметров и контекст до 8192 токенов; стандартная размерность эмбеддинга — 768. Поддерживается Matryoshka Representation Learning: вектор можно сократить до 256 измерений с небольшими потерями качества и меньшим расходом памяти. Модель подходит для поиска по документам и запросам, оценки смысловой близости текстов и других задач, использующих текстовые представления. Доступны веса Safetensors и ONNX, а README описывает использование через Transformers, Sentence Transformers и Transformers.js. Карточка приводит результаты на бенчмарках MTEB и сообщает о многоэтапном обучении с контрастивным предобучением и последующей настройкой на поисковых данных. Лицензия — Apache-2.0. По данным карточки, модель рассчитана на английский язык.

134K234дек. 2024ctx8.2K
textembeddingapache-2.0hugging-face
hlyu
mpnet_14710

hlyu/mpnet_14710 — модель на основе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 61,2 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Векторы можно использовать для поиска похожих текстов и группировки семантически близких предложений. Для работы предусмотрены Sentence-Transformers и Hugging Face Transformers; при использовании Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. Модель опубликована под идентификатором hlyu/mpnet_14710; сведения о лицензии в доступных данных отсутствуют.

1160апр. 2023ctx514
textembeddinghugging-face
harcor
mpnet-base-all-nli-triplet

harcor/mpnet-base-all-nli-triplet — текстовая модель Sentence Transformers, дообученная разработчиком репозитория на базе microsoft/mpnet-base на триплетах набора AllNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать по косинусной мере. Модель рассчитана прежде всего на англоязычный текст, максимальная длина последовательности — 512 токенов. Её применяют для семантического поиска, оценки смыслового сходства, поиска перефразировок, кластеризации и получения признаков для классификации текста. В README приведена точность cosine_accuracy 0,9116 на all-nli-dev и 0,9248 на all-nli-test при оценке TripletEvaluator. Модель принимает текст и выдаёт векторы, а не готовые текстовые ответы. Модель содержит 136,7 млн параметров, использует архитектуру MPNet с усреднением токеновых представлений и опубликована в формате safetensors. Лицензия — Apache-2.0.

1300июль 2025ctx514
textembeddingapache-2.0hugging-face
lizchu414
mpnet-base-all-nli-triplet

lizchu414/mpnet-base-all-nli-triplet — модель Sentence Transformers на базе MPNet, дообученная на наборе all-nli. Она кодирует предложения и абзацы на английском языке в плотные векторы размерности 768, нормализованные для сравнения косинусным сходством. Модель содержит 136,7 млн параметров и рассчитана на последовательности до 514 токенов по метаданным; в README указана максимальная длина 384 токена. Её применяют для семантического поиска, оценки сходства и поиска перефразировок, кластеризации текстов и извлечения признаков для классификации. README приводит результаты оценки на all-nli с точностью cosine около 0,925. Лицензия в предоставленных данных не указана.

1120окт. 2024ctx514
textembeddinghugging-face
sangmini
msmarco-dotv5-MiniLM-L12_en-ko-ja

sangmini/msmarco-dotv5-MiniLM-L12_en-ko-ja — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель основана на архитектуре BERT; в репозитории указано 124,3 млн параметров, максимальная длина контекста — 512 токенов, формат весов — PyTorch. По названию модели она рассчитана на английский, корейский и японский языки. Её можно применять для создания векторного поиска и группировки похожих текстов; полученные эмбеддинги также подходят для вычисления семантической близости. В карточке не приведены конкретные результаты оценки качества. Лицензия в предоставленных данных не указана.

1060март 2023ctx512
textembeddinghugging-face
IoannisKat1
multilingual-e5-large-ft-new

IoannisKat1/multilingual-e5-large-ft-new — это дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-large, разработанная автором репозитория IoannisKat1. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024 для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; сходство векторов можно измерять косинусной близостью. Максимальная длина последовательности — 512 токенов. Карточка указывает английский язык. Модель подходит для построения векторного поиска и других систем, где требуется сопоставлять тексты по смыслу; опубликованные результаты оценки поиска приведены для нескольких размерностей эмбеддингов. Лицензия — Apache-2.0. README описывает дообучение на 1 627 парах anchor-positive, поэтому качество за пределами указанных задач и данных может отличаться; более конкретные сведения о составе обучающих данных не приведены.

1040нояб. 2025ctx514
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей