/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
14 881–14 910 из 23 488
mlx-community
Kimi-K2.7-Code-mlx-DQ3_K_M-q8

MLX-форматная квантизированная версия модели Kimi-K2.7-Code, разработанной Moonshot AI и преобразованной сообществом mlx-community с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и прежде всего для задач, связанных с написанием и обработкой кода. Она рассчитана на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что размер модели позволяет сохранить ресурсы для полезного контекстного окна. Модель текстовая и не поддерживает обработку изображений или других модальностей. Квантизация DQ3_K_M использует смешанный подход: тензоры экспертных блоков квантизуются с разрядностью 3–4 бита, а остальные тензоры сохраняются в 8-битном представлении. Такой подход призван обеспечить качество, близкое к 4-битной квантизации, при меньшем размере, хотя скорость генерации может быть немного ниже из-за 8-битной маршрутизации. Точный размер модели, архитектура, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Для запуска требуется библиотека mlx-lm и параметр --trust-remote-code, поскольку он необходим исходной моделью. Лицензия указана как modified-MIT с типом other; дополнительные условия в README не раскрыты.

9505июнь 2026
textotherhugging-face
lightblue
kurage-multilingual

Kurage — многоцелевая модель Lightblue для генерации текста и сценариев RAG, дообученная на базе Qwen/Qwen2-7B-Instruct. Это плотная причинно-языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель умеет отвечать на вопросы по одному или нескольким фрагментам контекста, указывать релевантные фрагменты, расширять краткий ответ и генерировать пары вопросов и ответов из текста для предварительной индексации. Заявлена поддержка RAG на 44 языках, в том числе с контекстом на одном языке и вопросом на другом; метаданные отдельно перечисляют языки карточки модели.

3028сент. 2024ctx32.8K
textapache-2.0hugging-face
sahilchachra
LFM2.5-Embedding-350M-int8

LFM2.5-Embedding-350M-int8 — 8-битная квантованная версия мультиязычного двунаправленного би-энкодера Liquid AI LFM2.5-Embedding-350M, опубликованная sahilchachra для запуска на Apple Silicon через MLX. Модель кодирует запросы и документы в векторы размерности 1024 с CLS-пулингом; для входов требуются префиксы «query: » и «document: », а близость оценивается косинусным сходством. Контекст составляет до 128 000 токенов. Модель предназначена для семантического и кросс-языкового поиска и извлечения релевантных документов. В README приведено сравнение на английском подмножестве NanoBEIR: средний NDCG@10 после квантования практически совпал с fp16. Указана лицензия other; перед использованием следует проверить условия лицензии базовой модели и репозитория. Для корректного получения эмбеддингов нужен двунаправленный энкодер с CLS-пулингом: обычные причинные загрузчики LFM2 дают неверные результаты.

150июнь 2026ctx128K
textotherhugging-face
OpenIntelligenceNet
LFM-2.6B-Claude4.8-GPT-5.6-Sol-Grok-4.6_Fable5-Distilled

OpenIntelligenceNet заявляет, что это плотная инструктивная языковая модель семейства LFM2 примерно с 2,4 млрд параметров. Она дообучена на базе huihui-ai/Huihui-LFM2-2.6B-Exp-abliterated на синтетических диалоговых данных; в карточке указаны направления обучения: программирование и системные задачи, рассуждения и кибербезопасность. Модель предназначена для генерации текста и диалогов, в том числе для технических вопросов и работы на устройствах с ограниченными ресурсами. Метаданные указывают контекст до 128 000 токенов, формат весов safetensors и интерфейс чата с поддержкой вызова инструментов. README приводит иное значение контекста — 2 048 токенов — и описывает обучение на 200 000 примерах, но не раскрывает данные полностью. В тегах указан английский язык. Модель распространяется по лицензии Apache-2.0. README сообщает об удалении отказов и защитных шаблонов, поэтому модель может отвечать на запросы, от которых другие модели отказываются; это также означает, что она не подходит для сценариев, требующих надёжных встроенных ограничений безопасности.

1721сент. 2026ctx128K
textapache-2.0hugging-face
WatsonNT
Ling-3.0-tiny

Ling-3.0-tiny — компактная гибридная языковая модель для диалогов, рассуждений и агентных задач; разработчик в предоставленной карточке не назван. Модель использует архитектуру MoE с чередованием слоёв KDA и MLA: на каждый токен активируется часть экспертов. README сообщает о 7,9 млрд параметров всего и 1,3 млрд активных на токен, тогда как метаданные Hugging Face указывают 977,5 млн параметров, поэтому размер модели в источниках расходится. Метаданные указывают контекст 131 072 токена и формат safetensors; карточка также описывает варианты весов BF16, FP8 и INT4. Модель предназначена для локального и ресурсно-ограниченного запуска, ответов на инструкции, программирования, математических и научных рассуждений, понимания длинного контекста и агентных сценариев. Режим пошагового рассуждения можно включать для сложных запросов. README приводит результаты собственных оценок и примеры запуска на отдельных устройствах, но они не гарантируют такую же скорость или качество на другом оборудовании. Лицензия по метаданным — MIT.

450авг. 2026ctx131.1K
textmithugging-face
inclusionAI
Ling-lite-1.5-2507

Ling-lite-1.5-2507 — разговорная языковая модель серии Ling-lite, разработанная inclusionAI. Она предназначена для генерации ответов в диалоге, рассуждений, работы с профессиональными знаниями и задачами программирования. Карточка разработчика сообщает о 16,8 млрд параметров и 2,75 млрд активируемых параметров; метаданные каталога указывают архитектуру Bailing MoE и 794,8 млн параметров. Эти оценки размера расходятся, поэтому точное число параметров требует проверки. Модель использует Transformers, веса опубликованы в формате safetensors, контекст составляет 32 768 токенов. Модель стремится давать краткие ответы на простые запросы и развёрнуто разбирать сложные задачи; заявлены улучшения в логическом рассуждении, профессиональных знаниях, программировании и субъективных открытых вопросах. Подходит для диалоговых помощников, объяснений и решения задач. Опубликована по лицензии MIT. README не приводит перечень поддерживаемых языков или подробные результаты оценок, поэтому качество в конкретных сценариях следует проверять отдельно.

17177авг. 2025ctx32.8K
textmithugging-face
BAAI
llm-embedder

BAAI/llm-embedder — англоязычная модель эмбеддингов, выпущенная BAAI в рамках проекта FlagEmbedding. Она преобразует текст в плотные векторы для поиска и других задач, где нужно сопоставлять тексты по смыслу. Модель предназначена, в частности, для разных сценариев retrieval augmentation в системах на базе больших языковых моделей и может использоваться с векторными базами данных. Это плотная модель архитектуры BERT с 136,7 млн параметров и контекстом до 512 токенов. Векторы подходят для семантического поиска, извлечения документов, классификации и кластеризации. Для коротких поисковых запросов, используемых для нахождения длинных документов, авторы рекомендуют добавлять к запросу инструкцию; необходимость этого зависит от конкретной задачи. Модель не является переранжировщиком: она строит векторные представления, а не оценивает напрямую пару «запрос — документ». Значения сходства могут быть высокими даже для несвязанных текстов, поэтому порог нужно подбирать на данных конкретного применения, а для ранжирования кандидатов можно использовать отдельный reranker. Лицензия — MIT.

53K129окт. 2023ctx512
textembeddingmithugging-face
XiaSheng
Lore-Qwen3-embedding-0.6B

Lore-Qwen3-embedding-0.6B — плотная модель эмбеддингов на основе Qwen3, дообученная методом LORE (Logic-ORiented Retriever Enhancement). Она предназначена для поиска по тексту, особенно для запросов со сложными логическими выражениями, и для различения релевантных документов и отвлекающих фрагментов. В обучении использовалось контрастивное разделение примеров на положительные, близкие отвлекающие и отрицательные; применялась архитектура с замороженным энкодером документов и обучаемым энкодером запросов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Лицензия — Apache-2.0. Модель рассчитана на создание векторных представлений текста для семантического поиска и retrieval-систем. По карточке, LORE улучшает обработку логически сложных запросов и сохраняет вычислительную эффективность базовой модели. В основе указан Qwen/Qwen3-0.6B-Base; README при этом называет Qwen/Qwen3-Embedding-0.6B исходной моделью для дообучения.

1440окт. 2025ctx32.8K
textembeddingapache-2.0hugging-face
moka-ai
m3e-base

M3E-base — двуязычная модель эмбеддингов текста, разработанная и обученная MokaAI. Она кодирует тексты в плотные векторы размерности 768 для поиска семантически близких предложений и извлечения подходящих фрагментов или документов по запросу. Модель основана на архитектуре BERT; карточка указывает около 129,5 млн параметров и контекст до 512 токенов. Для использования предусмотрена библиотека sentence-transformers. Модель обучалась контрастивным обучением на парах китайских предложений, английских триплетах MEDI и наборах инструкций. Она ориентирована прежде всего на китайские сценарии, также поддерживает английский язык. Подходит для семантического поиска, сравнения текстов, поиска повторяющихся вопросов и получения эмбеддингов для классификационных конвейеров. В README приведены результаты оценки на китайских наборах классификации и поиска; это результаты авторских экспериментов и они зависят от данных и настройки. В README указано, что модели M3E открыты, однако конкретная лицензия для этой версии в предоставленных данных не приведена. Заявленная поддержка китайского и английского не означает одинакового качества для любых языков и задач; модель не предназначена для поиска по коду.

190K995июнь 2023ctx512
textembeddinghugging-face
developerjeremylive
MiniCPM5-2B-etheroi

MiniCPM5-2B-etheroi — компактная языковая модель из серии MiniCPM5, представленная в карточке MiniCPM5-2B. Это плотная причинная Transformer-модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров. Она предназначена для локальных помощников, программных агентов и сценариев, где важны небольшие требования к ресурсам и длинный контекст. Модель генерирует текст и поддерживает контекст до 131 072 токенов. В карточке отмечены навыки программирования, математики, понимания длинного контекста, следования инструкциям и работы с инструментами; метаданные также указывают разговорный сценарий. Модель рассчитана на английский и китайский языки и доступна в формате safetensors для Transformers; README описывает локальный запуск на GPU и CPU и серверный запуск через vLLM и SGLang. Модель выпущена под лицензией Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не проверены экспертами и не являются профессиональной консультацией. README не указывает отдельную базовую модель для этой версии.

480сент. 2026ctx131.1K
textapache-2.0hugging-face
openbmb
MiniCPM5-2B-GPTQ

MiniCPM5-2B-GPTQ — GPTQ-квантованная версия MiniCPM5-2B, разработанная OpenBMB. Это плотная Transformer-модель на 2 млрд параметров для генерации текста, локального и on-device-развертывания, а также сценариев с ограниченными ресурсами. Модель ориентирована на английский и китайский языки и интегрируется с библиотекой Transformers. Модель предназначена для следования инструкциям, программирования, математических рассуждений, работы с длинным контекстом, использования инструментов и агентских задач. Заявлена конкурентоспособность с моделями класса 4B, а среди моделей сопоставимого размера отмечаются сильные результаты в коде, математике, long-context, tool use и agentic-сценариях. Поддерживаемая модальность — текст; максимальный размер контекста в предоставленных данных не указан. Ключевое преимущество — сочетание компактного размера, возможностей для локального запуска и высокой производительности в ряде прикладных задач. Ограничения включают меньший размер по сравнению с крупными моделями и отсутствие сведений о точных требованиях к памяти, форматах квантования и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

2.4K22сент. 2026ctx131.1K
textapache-2.0hugging-face
rethem-expeditecommerce
MiniLM-L6-GPL

Карточка модели rethem-expeditecommerce/MiniLM-L6-GPL на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

1220май 2023ctx512
textembeddingapache-2.0hugging-face
LamaDiab
MiniLM-V10Data-128BATCH-SemanticEngine

LamaDiab разработал дообученную модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Это компактный BERT-энкодер с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README указана максимальная длина последовательности 256 токенов; метаданные каталога задают native context 512 токенов. В оценке TripletEvaluator приведена cosine accuracy 0,9631. Данных о поддержке языков в карточке нет, а базовая модель описана как англоязычная, поэтому её применение к другим языкам не подтверждено. Модель доступна в формате safetensors; лицензия в предоставленных сведениях не указана.

620нояб. 2025ctx512
textembeddinghugging-face
atrytone
MIReAD-Neuro-Contrastive

MIReAD-Neuro-Contrastive — модель семейства Sentence Transformers, опубликованная пользователем atrytone. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости, кластеризации и семантического поиска. По метаданным, модель основана на архитектуре BERT, содержит 137,1 млн параметров и обрабатывает до 512 токенов контекста. Обучение проводилось с TripletLoss и евклидовой метрикой расстояния. Модель подходит для построения эмбеддингов текстов, поиска похожих фрагментов и группировки текстов по смыслу. В карточке не указаны поддерживаемые языки и специализированные области применения. Лицензия в предоставленных данных не указана.

1040июль 2023ctx512
textembeddinghugging-face
NostraEmpire
mirror-phi-4

Карточка модели NostraEmpire/mirror-phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

520авг. 2026ctx16.4K
textmithugging-face
aimarsg
mle5_parl_contrastive

aimarsg/mle5_parl_contrastive — Sentence Transformer, дообученный разработчиком на базе intfloat/multilingual-e5-large для сопоставления предложений и абзацев. Модель преобразует текст в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Архитектура включает XLM-RoBERTa, mean pooling и нормализацию. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. В карточке указано дообучение на 8700 парах anchor-positive и результат cosine accuracy 0,9116 на оценке TripletEvaluator; эти показатели относятся к описанному набору данных. Примеры в карточке на баскском языке связаны с парламентскими вопросами, но заявленная базовая модель многоязычная. Лицензия в предоставленных данных не указана.

1150июль 2025ctx514
textembeddinghugging-face
emilecornamusaz
MNLP_M2_document_encoder

Карточка модели emilecornamusaz/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

1440июнь 2025ctx512
textembeddingmithugging-face
julpiro
MNLP_M3_document_encoder

Карточка модели julpiro/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой intfloat/e5-base-v2, поэтому описание составлено по ней. E5-base-v2 — англоязычная модель эмбеддингов текста, разработанная Liang Wang, Nan Yang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 12 слоёв, размерность эмбеддинга 768, около 136,7 млн параметров. Модель принимает текст и выдаёт векторные представления для сравнения предложений и поиска по смыслу. Модель подходит для семантического сходства, поиска документов и пассажей, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Для асимметричного поиска рекомендуется добавлять к запросам префикс «query: », а к документам — «passage: »; для сходства и других симметричных задач используется префикс «query: ». Контекст ограничен 512 токенами, длинные тексты обрезаются; модель предназначена только для английского языка. Лицензия — MIT.

1450июнь 2025ctx512
textembeddingmithugging-face
Akryl
modernbert-embed-base-akryl-matryoshka

Akryl/modernbert-embed-base-akryl-matryoshka — англоязычная Sentence Transformers модель, дообученная разработчиком Akryl на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 с нормализацией; близость текстов можно оценивать косинусным сходством. Архитектура включает ModernBertModel, усреднение токенных представлений и нормализацию. Модель принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. Matryoshka-обучение позволяет использовать укороченные представления, в том числе размерностью 512 и 256; в карточке приведены результаты поиска для этих размерностей и исходных 768 на наборе dim_768. Лицензия — Apache-2.0. Оценки в карточке относятся к небольшому набору из 402 примеров и не гарантируют такое же качество на других данных.

1040сент. 2025ctx8.2K
textembeddingapache-2.0hugging-face
korruz
mpnet-base-all-nli-triplet

korruz/mpnet-base-all-nli-triplet — англоязычная модель Sentence Transformers, дообученная на наборе sentence-transformers/all-nli из microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из MPNetModel и слоя среднего объединения токенных представлений; сходство обычно оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для извлечения эмбеддингов английского текста и построения систем поиска или группировки по смыслу. В README приведены результаты TripletEvaluator на AllNLI: точность по cosine составила 0,906 на dev и 0,9186 на test. Лицензия — Apache-2.0. Она предназначена для английского языка; качество на других языках не подтверждено, а входы длиннее лимита последовательности потребуют усечения или разбиения.

1090сент. 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-gooaq-qat-nanobeir

Это англоязычная модель Sentence Transformer, разработанная tomaarsen и дообученная на базе microsoft/mpnet-base на наборе вопросов и ответов GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые можно сравнивать по косинусному сходству; архитектура включает MPNet и mean pooling. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений и поиска перефразировок. Векторы также подходят для кластеризации и классификации текста в составе внешнего конвейера. Обучение с QuantizationAwareLoss и MultipleNegativesRankingLoss ориентировано на поиск и сохраняет пригодность представлений для квантованных вариантов. Лицензия — Apache-2.0.

1090февр. 2026ctx514
textembeddingapache-2.0hugging-face
din0s
mpnet-base-nq-prompts-baseline

din0s/mpnet-base-nq-prompts-baseline — текстовая модель Sentence Transformers, дообученная на наборе Natural Questions на базе microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством; модель предназначена для семантического поиска и сопоставления текстов. Архитектура состоит из MPNetModel и слоя mean pooling, максимальная длина входа — 512 токенов. Модель рассчитана на английский язык и выпущена под лицензией Apache-2.0. Её можно применять для поиска релевантных ответов на вопросы, оценки семантической близости предложений, поиска перефразировок, кластеризации и классификации текстов. Карточка приводит результаты на наборах для информационного поиска и NanoBEIR, но качество может различаться на данных других тематик и языков; это модель эмбеддингов, а не генератор ответов.

1090февр. 2025ctx514
textembeddingapache-2.0hugging-face
din0s
mpnet-base-nq-prompts-noschedule-lr1e-5

din0s/mpnet-base-nq-prompts-noschedule-lr1e-5 — текстовая модель Sentence Transformers, дообученная автором на базе microsoft/mpnet-base на датасете Natural Questions. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; архитектура включает MPNet и усреднение токенных представлений. Модель рассчитана на английский язык, принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты оценки на наборах NanoBEIR и отдельных задачах информационного поиска, но качество зависит от данных и сценария применения. Лицензия — Apache-2.0.

1290февр. 2025ctx514
textembeddingapache-2.0hugging-face
intfloat
multilingual-e5-large-instruct

Multilingual-E5-large-instruct — текстовая модель эмбеддингов из семейства E5, представленная авторами технического отчёта Multilingual E5 Text Embeddings. Она основана на XLM-RoBERTa-large и использует архитектуру XLM-RoBERTa с 24 слоями; размер эмбеддинга — 1024, всего 658,7 млн параметров. Модель принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Репозиторий содержит веса в форматах Safetensors и ONNX. Модель предназначена для семантического поиска, сопоставления запросов с документами и оценки сходства текстов на многих языках. Для запроса необходимо добавлять одно предложение-инструкцию, описывающее задачу; документам инструкция не нужна. Модель обучалась на смеси многоязычных наборов данных и поддерживает 100 языков XLM-RoBERTa, включая русский. Длина контекста ограничена 512 токенами: более длинный текст обрезается. На низкоресурсных языках качество может быть ниже. Абсолютные значения косинусного сходства не следует трактовать как уверенность — для задач поиска важнее относительный порядок оценок. Лицензия — MIT.

1.7M651февр. 2024ctx514
textembeddingmithugging-face
akdeniz27
multilingual-e5-large-rag-instruct-turkish

akdeniz27/multilingual-e5-large-rag-instruct-turkish — модель Sentence Transformers, дообученная автором на наборе akdeniz27/rag_instruct_turkish от intfloat/multilingual-e5-large. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024; архитектура включает XLM-RoBERTa, усреднение токенов и нормализацию. Модель предназначена для семантического поиска, сравнения текстов и извлечения релевантных фрагментов в системах RAG, особенно для запросов и документов на турецком языке. Эмбеддинги можно применять для поиска похожих текстов, поиска перефразирований, кластеризации и классификации текста. Для оценки поиска в карточке приведены метрики cosine_accuracy@k на сокращённых вариантах эмбеддингов. Модель принимает текст и выдаёт векторы; максимальная длина последовательности — 514 токенов по метаданным. Лицензия — Apache-2.0.

1220февр. 2025ctx514
textembeddingapache-2.0hugging-face
mihaylovnikitos
multilingual-e5-small-softenginer

Карточка модели mihaylovnikitos/multilingual-e5-small-softenginer на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

2490март 2025ctx512
textembeddingmithugging-face
Hisham480
multilingual-r2

Карточка модели Hisham480/multilingual-r2 на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-97m-multilingual-r2, поэтому описание составлено по ней. Granite Embedding 97M Multilingual R2 — текстовая модель эмбеддингов, разработанная командой Granite Embedding в IBM. Она использует архитектуру bi-encoder на базе ModernBERT и преобразует запросы, документы, фрагменты текста и код в векторы размерностью 384 для сравнения по косинусному сходству и поиска похожего содержимого. Модель предназначена для многоязычного семантического поиска, сопоставления запросов с документами и поиска по коду. Она содержит 97,4 млн параметров, 12 слоёв и поддерживает контекст до 32 768 токенов. Улучшенное обучение данными для поиска заявлено для 52 естественных языков и кода; энкодер предварительно обучен на текстах более чем 200 языков. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия — Apache 2.0. Компактный размер позволяет использовать модель при меньших требованиях к ресурсам, чем у более крупной версии Granite Embedding. Компромисс — возможное снижение точности, особенно для языков с малым объёмом ресурсов; качество токенизации также может различаться между языками, а тексты длиннее контекстного окна усекаются.

1170июнь 2026ctx32.8K
textembeddingapache-2.0hugging-face
Vasanth
multi-qa-MiniLM-L6-cos-v1-qa-squad2-retriever

Vasanth/multi-qa-MiniLM-L6-cos-v1-qa-squad2-retriever — модель встраивания предложений на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусной мерой сходства. Векторы подходят для семантического поиска и других задач, где нужно сопоставлять тексты по смыслу. Карточка не сообщает о специализированной поддержке языков или прикладных областях. Лицензия в предоставленных данных не указана.

1022март 2022ctx512
textembeddinghugging-face
checkiejan
multi-qa-mpnet-base-dot-v1-covidqa-search-test

checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-test — модель Sentence-Transformers на базе MPNet, разработчик которой не указан в доступной карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст; максимальная длина контекста составляет 514 токенов. В README указано обучение с TripletLoss и евклидовой метрикой расстояния. Веса доступны в формате PyTorch; лицензия и целевые языки в предоставленных данных не определены. Суффикс covidqa-search-test в имени не подтверждён описанием как специализированное назначение модели.

1210сент. 2023ctx514
textembeddinghugging-face
chenqinyuluguan
NeoHorse-1-4B

Карточка модели chenqinyuluguan/NeoHorse-1-4B на Hugging Face совпадает с карточкой TokenRhythm/NeoHorse-1-4B, поэтому описание составлено по ней. NeoHorse-1-4B — плотная причинно-языковая модель примерно на 3,4 млрд параметров, разработанная TokenRhythm дообучением Qwen/Qwen3.5-4B. Это прототип для текстовых агентных сценариев: диалогов, вызова инструментов, программирования, рассуждений и следования инструкциям. Модель распространяется в формате Safetensors; карточка указывает контекст до 262 144 токенов и совместимость с Transformers, а README описывает локальный запуск через SGLang и vLLM с OpenAI-совместимым API. В README заявлен прирост среднего результата на десяти бенчмарках относительно исходной Qwen3.5-4B. Выпуск содержит только языковые веса: визуальные веса отсутствуют, поэтому этот репозиторий предназначен для текстового вывода, даже несмотря на мультимодальные возможности базовой модели. Фактическая длина контекста при обслуживании зависит от памяти GPU и настроек сервера. Лицензия — Apache-2.0.

1680сент. 2026ctx262.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей