/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
3 361–3 390 из 13 467
sankalpakc
NepaliKD-SentenceTransformers-paraphrase-multilingual-MiniLM-L12-v2

NepaliKD-SentenceTransformers-paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence Transformers на базе архитектуры BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 384. Она разработана для семантического поиска по данным на английском и непальском языках, а также подходит для кластеризации и сравнения смысловой близости текстов. Модель содержит 124,3 млн параметров, принимает текст и возвращает векторные представления. Максимальная длина контекста составляет 512 токенов. Для использования доступны веса PyTorch и совместимость с библиотеками Sentence Transformers и Transformers; при использовании Transformers требуется применить подходящую операцию pooling к выходам модели. Лицензия в предоставленных данных не указана.

1401янв. 2024ctx512
textembeddinghugging-face
Nerdofdot
Nerdofdot_nickprock_sentence-bert-base-italian-uncased_TM_FTM

Карточка модели Nerdofdot/Nerdofdot_nickprock_sentence-bert-base-italian-uncased_TM_FTM на Hugging Face совпадает с карточкой Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM, поэтому описание составлено по ней. Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM — модель на базе BERT, подготовленная в формате Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов и может применяться для кластеризации и семантического поиска. Обучение использовало TripletLoss с евклидовой метрикой и отступом 0,4; объём модели составляет 137,1 млн параметров, максимальный контекст — 512 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать для оценки сходства. Название указывает на итальянскую uncased-версию mMARCO-BERT, однако README не приводит явного подтверждения базовой модели или поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Условия лицензии в доступных данных не приведены.

1030янв. 2024ctx512
textembeddinghugging-face
codersan
newfa_e5small_7

codersan/newfa_e5small_7 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, разработанная автором репозитория codersan. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 384 для сравнения семантической близости, семантического поиска, поиска перефразирований, классификации и кластеризации текста. Архитектура включает трансформер BERT, усреднение токенных представлений и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель обучена на парах anchor-positive с помощью MultipleNegativesRankingLoss. Максимальная длина последовательности — 512 токенов. Базовая модель многоязычная, а примеры обучающих данных включают персидский и английский языки. Для работы с моделью используется библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.

1100июль 2025ctx512
textembeddinghugging-face
prakrati123
nli-distilroberta-base-v2

prakrati123/nli-distilroberta-base-v2 — дообученная модель Sentence Transformers на базе sentence-transformers/nli-distilroberta-base-v2. Она преобразует текстовые предложения в плотные 768-мерные векторы; архитектура включает RoBERTa и усредняющий pooling, а сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического сравнения предложений, поиска и кластеризации текстов, поиска перефразировок и извлечения признаков. README указывает максимальную длину последовательности 75 токенов; метаданные каталога приводят контекст до 514 токенов. Модель принимает текст и возвращает эмбеддинги. В карточке описано дообучение на 6 411 парах предложений с оценками сходства и функцией CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

950авг. 2026ctx514
textembeddinghugging-face
mlx-community
nomicai-modernbert-embed-base-4bit

mlx-community/nomicai-modernbert-embed-base-4bit — англоязычная модель эмбеддингов на базе ModernBERT, опубликованная mlx-community. Репозиторий содержит версию для MLX, преобразованную из nomic-ai/modernbert-embed-base; модель предназначена для получения векторных представлений текста и оценки сходства предложений. Она основана на архитектуре ModernBERT, имеет 149 млн параметров и контекст до 8192 токенов. README предлагает использовать её через библиотеку mlx-embeddings. Модель подходит для семантического поиска, сопоставления предложений и построения систем поиска по текстам. Указана лицензия Apache-2.0. README подтверждает преобразование в формат MLX, тогда как метаданные связывают модель с answerdotai/ModernBERT-base и nomic-ai/modernbert-embed-unsupervised через merge и finetune; точная последовательность происхождения в источниках не согласована.

4560апр. 2025ctx8.2K
textembeddingapache-2.0hugging-face
mlx-community
nomicai-modernbert-embed-base-6bit

Англоязычная модель эмбеддингов на базе ModernBERT, подготовленная mlx-community для запуска в формате MLX. Репозиторий описывает конвертацию модели nomic-ai/modernbert-embed-base; метаданные связывают её с answerdotai/ModernBERT-base и nomic-ai/modernbert-embed-unsupervised. Модель содержит 149 млн параметров и рассчитана на входной контекст до 8192 токенов. Она предназначена для получения векторных представлений текста, вычисления сходства предложений и семантического поиска. Её можно использовать для поиска похожих фрагментов, группировки текстов и построения retrieval-компонентов. Указанная лицензия — Apache-2.0. README подтверждает конвертацию в MLX, но не уточняет, каким способом получена 6-битная точность.

2580апр. 2025ctx8.2K
textembeddingapache-2.0hugging-face
mlx-community
nomicai-modernbert-embed-base-bf16

mlx-community/nomicai-modernbert-embed-base-bf16 — преобразованная в формат MLX модель эмбеддингов, опубликованная mlx-community. Она основана на nomic-ai/modernbert-embed-base и использует архитектуру ModernBERT-base; в метаданных указано 149 млн параметров и контекст до 8192 токенов. Модель предназначена для получения текстовых эмбеддингов и оценки сходства предложений, например для семантического поиска и сравнения текстов. Карточка указывает на английский язык; формат MLX позволяет использовать модель через mlx-embeddings на совместимом оборудовании Apple. Лицензия — Apache-2.0.

11K1апр. 2025ctx8.2K
textembeddingapache-2.0hugging-face
ggml-org
Nomic-Embed-Text-V2-GGUF

ggml-org/Nomic-Embed-Text-V2-GGUF — это версия модели nomic-ai/nomic-embed-text-v2-moe, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Модель предназначена для создания векторных представлений текста и задач семантического сходства, включая поиск, сравнение и извлечение признаков; использовать её можно с инструментами и библиотеками, поддерживающими GGUF, в частности llama.cpp. В карточке указана интеграция с sentence-transformers и широкий набор поддерживаемых языков, включая английский, русский, китайский, японский, арабский, испанский, немецкий, французский и многие другие. Архитектура, количество параметров, размер контекста, размерность эмбеддингов и точные характеристики базовой модели в README не приведены, поэтому оценить производительность и ограничения по длине входа по этим данным нельзя. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

2.2K18апр. 2025
textembeddingapache-2.0hugging-face
thivy
norbert4-base-scandinavian-embedding

thivy/norbert4-base-scandinavian-embedding — модель эмбеддингов на базе ltg/norbert4-base, разработанная для норвежского букмола и нюнорска, датского и шведского языков. Она обучена на смеси наборов данных для семантического сходства, поиска по вопросам и документам, а также общего поиска; обучение включало 1,6 млн примеров с попарными данными и триплетами. Модель предназначена для преобразования текстов в векторы размерностью 640, чтобы выполнять семантический поиск, извлечение документов по запросу, сравнение предложений, кластеризацию и классификацию. Максимальная длина последовательности — 256 токенов. В приведённых бенчмарках MTEB модель улучшает показатели поиска относительно вариантов, обученных только на данных QA или NLI. Модель распространяется по лицензии MIT. Она оптимизирована для скандинавских языков и лучше всего подходит для задач поиска; тексты длиннее 256 токенов обрезаются, а модель не предназначена для следования инструкциям.

6.9K0янв. 2026ctx256
textembeddingmithugging-face
larsksy
norbert4-large-scandinavian-embedding

larsksy/norbert4-large-scandinavian-embedding — модель Sentence Transformer, дообученная на базе ltg/norbert4-large для получения эмбеддингов предложений и абзацев на норвежском, датском и шведском языках. Модель насчитывает 358,8 млн параметров и строит плотные векторы размерности 960; для сравнения текстов используется косинусное сходство. Максимальная длина входной последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучение проводилось на данных NLI, group-b-qa и DDSC. Доступна в формате safetensors и предназначена для использования с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.

5610февр. 2026
textembeddinghugging-face
DrSebastianK
ogyeibedding

DrSebastianK/ogyeibedding — модель на базе XLM-RoBERTa, обученная для преобразования предложений и абзацев в плотные эмбеддинги размерностью 1024. Её можно применять для семантического поиска и кластеризации текстов, а также сравнивать близость предложений по векторам. В карточке указано обучение с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Модель содержит около 658,7 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт векторы. Метаданные не уточняют поддерживаемые естественные языки. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

1000янв. 2024ctx514
textembeddinghugging-face
swardiantara
one-cdk0-m0.5-e5-b128-L6

swardiantara/one-cdk0-m0.5-e5-b128-L6 — модель Sentence-Transformers на базе BERT, разработанная пользователем swardiantara. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 25,9 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Модель подходит для построения эмбеддингов и поиска семантически близких фрагментов; README не приводит результаты оценки качества. Лицензия в предоставленных данных не указана.

1120апр. 2025ctx512
textembeddinghugging-face
swardiantara
one-cdk10-m0.5-e5-b16-v1

swardiantara/one-cdk10-m0.5-e5-b16-v1 — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние и margin 0,5; размер составляет 95,2 млн параметров, максимальная длина контекста — 514 токенов. Модель подходит для построения эмбеддингов текстов и поиска похожих фрагментов. Метаданные указывают поддержку извлечения признаков и сравнения предложений. Для использования предусмотрена библиотека Sentence-Transformers; веса доступны в формате safetensors. Языки обучения или приоритетные языки в предоставленных данных не описаны. Лицензия в предоставленных данных отсутствует.

1110апр. 2025ctx514
textembeddinghugging-face
swardiantara
one-crk5-m0.5-e5-b128-L6

Карточка модели swardiantara/one-crk5-m0.5-e5-b128-L6 на Hugging Face совпадает с карточкой swardiantara/one-cdk5-m0.5-e5-b128-L6, поэтому описание составлено по ней. swardiantara/one-cdk5-m0.5-e5-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Веса опубликованы в формате Safetensors. Карточка не сообщает о специализированной предметной области или лицензии; язык обучения и работы явно не указан.

1080апр. 2025ctx512
textembeddinghugging-face
swardiantara
one-stage-k3-MiniLM-L12-v2

swardiantara/one-stage-k3-MiniLM-L12-v2 — модель sentence-transformers на архитектуре BERT, разработчик обучил её для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов; метаданные также указывают возможность извлечения признаков. Модель содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Это подходит для сравнения смысловой близости текстов и построения векторного поиска. README не сообщает обучающие данные, поддерживаемые языки или лицензию, поэтому нельзя оценить языковой охват и условия коммерческого использования.

1120апр. 2025ctx512
textembeddinghugging-face
DataikuNLP
paraphrase-MiniLM-L6-v2

DataikuNLP/paraphrase-MiniLM-L6-v2 — копия модели sentence-transformers, обученной командой Sentence Transformers. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384. Модель предназначена для вычисления сходства предложений и получения эмбеддингов для семантического поиска и кластеризации. Её можно применять для поиска фрагментов текста по смыслу, группировки похожих высказываний и сравнения формулировок. В README показаны варианты использования через Sentence-Transformers и Transformers; для Transformers требуется подходящая операция pooling поверх контекстных представлений токенов. Максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторы; язык в карточке явно не указан. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Это копия модели sentence-transformers/paraphrase-MiniLM-L6-v2, а не отдельное дообучение Dataiku.

710март 2022ctx512
textembeddingapache-2.0hugging-face
legalvn
paraphrase-multilingual-MiniLM-L12-v2-500

Это дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, опубликованная под именем legalvn/paraphrase-multilingual-MiniLM-L12-v2-500. Архитектура основана на BERT с усреднением токенных представлений; модель содержит 124,3 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384. Метаданные указывают на контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 128 токенов. Модель предназначена для вычисления семантического сходства по косинусной близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Примеры обучающего набора и многоязычная базовая модель указывают на поддержку вьетнамского и других языков; конкретный полный перечень языков в карточке не приведён. Лицензия в предоставленных данных не указана.

920дек. 2024ctx512
textembeddinghugging-face
KholodovAV
paraphrase-multilingual-MiniLM-L12-v2_CMNRL_e20

KholodovAV разработал дообученную модель Sentence-Transformers на основе paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения текстов и кластеризации. Модель использует архитектуру BERT, содержит 124,3 млн параметров и принимает текст с контекстом до 512 токенов. Обучение проводилось с CachedMultipleNegativesRankingLoss и косинусным сходством. Модель подходит для построения семантического поиска, группировки похожих текстов и получения эмбеддингов для downstream-систем. В метаданных указана задача sentence-similarity, а формат весов — safetensors. Карточка не сообщает лицензию и языковой состав дообучения; название базовой модели указывает на мультиязычное назначение, но конкретные поддерживаемые языки следует проверять отдельно.

620февр. 2024ctx512
textembeddinghugging-face
Sprylab
paraphrase-multilingual-MiniLM-L12-v2-fine-tuned-3

Sprylab/paraphrase-multilingual-MiniLM-L12-v2-fine-tuned-3 — модель для получения эмбеддингов предложений и абзацев, разработанная Sprylab на базе multilingual MiniLM. Она кодирует текст в плотные векторы размерностью 384 и предназначена для поиска семантически похожих текстов, кластеризации и сравнения предложений. Модель использует архитектуру BERT; в репозитории представлены веса PyTorch. Контекст ограничен 512 токенами. Модель подходит для построения семантического поиска и группировки текстов на нескольких языках. Карточка указывает обучение с MegaBatchMarginLoss, но не приводит список языков, обучающие данные или результаты оценки. Лицензия в предоставленных сведениях не указана.

1280июнь 2023ctx512
textembeddinghugging-face
Qdrant
paraphrase-multilingual-MiniLM-L12-v2-onnx-Q

Qdrant подготовила ONNX-порт модели sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 с квантизацией. Это плотная модель на архитектуре BERT с 124,3 млн параметров, предназначенная для получения эмбеддингов предложений, поиска семантически близких текстов и текстовой классификации. Репозиторий предлагает запуск через FastEmbed. Модель поддерживает многоязычные сценарии, включая поиск сходства между предложениями; максимальная длина контекста — 512 токенов. Лицензия — Apache-2.0. Квантизированный ONNX-формат предназначен для эффективного инференса, но качество на задачах классификации зависит от используемого метода и данных.

328K8янв. 2024ctx512
textapache-2.0hugging-face
legalvn
paraphrase-multilingual-MiniLM-L12-v2-vn-172500

Это многоязычная модель Sentence Transformers, дообученная legalvn на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерностью 384, а сходство между текстами оценивается косинусной мерой. Архитектура состоит из BERT-трансформера и слоя усреднения токенов; README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Примеры обучающих данных на вьетнамском языке посвящены нормативным документам и образовательным программам, что делает её полезной для сопоставления вьетнамских запросов с фрагментами документов. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.

900дек. 2024ctx512
textembeddinghugging-face
dmedhi
PawanEmbd-68M

PawanEmbd-68M — модель эмбеддингов предложений на основе Transformer-энкодера с проекционным слоем, разработанная dmedhi. Модель содержит 67,7 млн параметров, выдаёт векторы размерностью 768 и обрабатывает последовательности длиной до 512 токенов. Она создана методом дистилляции знаний из IBM Granite-278M Multilingual Embedding; репозиторий содержит веса в формате safetensors. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации текстов, выявления дубликатов, подбора похожих объектов и извлечения релевантных фрагментов для систем вопросно-ответного поиска. В README автор приводит сравнение, согласно которому студенческая модель существенно меньше и быстрее учительской на CPU. В метаданных указан английский язык и набор данных all-nli. Лицензия — Apache-2.0. Максимальная длина последовательности составляет 512 токенов, поэтому более длинные тексты потребуется обрезать или обрабатывать частями.

3660дек. 2025ctx512
textembeddingapache-2.0hugging-face
dbourget
pb-small-10e-tsdae6e-philsim-cosine-6e-beatai-cosine-50e

Это модель Sentence Transformer на базе BERT, дообученная dbourget от dbourget/pb-small-10e-tsdae6e-philsim-cosine-3e-pt1. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для поиска семантически близких текстов, оценки сходства и других задач сравнения предложений. Модель можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT и пулинг по CLS-токену; максимальная длина входа — 512 токенов. Для сравнения векторов рекомендуется косинусное сходство. В README приведена оценка cosine_accuracy 0,7929 на наборе beatai-dev при оценке TripletEvaluator. Языковая специализация и лицензия в доступных данных не установлены.

680окт. 2024ctx512
textembeddinghugging-face
OPI-PIB
PolDense-17M

PolDense-17M — компактная польская модель эмбеддингов из семейства PolDense, разработанного для поиска и извлечения релевантных текстов. Она основана на энкодере ettin-encoders с архитектурой ModernBERT и содержит 16,8 млн параметров. Модель формирует плотные векторные представления текста и рассчитана на низкую задержку при поиске, семантическом сравнении и построении RAG-систем на польском языке. Обучение включало два этапа дистилляции знаний от BGE-Multilingual-Gemma2 и финальную настройку для поиска с использованием данных, подготовленных с помощью BGE-Reranker-v2.5-Gemma2-Lightweight. Карточка сообщает о проверке семейства на польском бенчмарке PIRB и о сильных результатах моделей разных размеров; отдельные показатели PolDense-17M не приведены. Для поиска запросу нужен префикс «[query]: », а для сравнения предложений — «[sts]: ». Модель поддерживает контекст до 7 999 токенов. Лицензия репозитория указана как Gemma; перед использованием следует проверить её условия.

6220июль 2026ctx8K
textembeddinggemmahugging-face
radlab
polish-bi-encoder-mean

radlab/polish-bi-encoder-mean — модель Sentence-Transformers для кодирования польских предложений и абзацев в плотные векторы размерностью 1024. Она основана на sdadas/polish-roberta-large-v2 и дообучена на датасете radlab/polish-sts-dataset с функцией потерь CosineSimilarityLoss. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов; её можно применять в системах поиска и группировки польских документов. Архитектура — RoBERTa, размер составляет 533,7 млн параметров, контекст — до 514 токенов. Используйте библиотеку sentence-transformers либо трансформерную модель с подходящей операцией pooling. Лицензия — CC BY-SA 4.0.

1321дек. 2023ctx514
textembeddingcc-by-sa-4.0hugging-face
777Radik
potion-multilingual-128M-int8

777Radik/potion-multilingual-128M-int8 — компактная версия мультиязычной модели статических эмбеддингов Model2Vec на основе minishlab/potion-multilingual-128M. Она преобразует текст векторовым поиском по таблице токенов, усредняет и нормализует векторы; нейросетевой инференс и GPU не требуются. Модель поддерживает 101 язык, включая кириллицу, и подходит для запуска в Python, Rust и браузере через WASM. Модель предназначена для семантического поиска, сравнения предложений и ранжирования текстовых фрагментов по косинусному сходству, в том числе между языками и письменностями. В репозитории заявлены квантизация Int8 и снижение размерности с 256 до 128 компонент методом PCA; размер составляет около 64 МБ. В испытаниях на трёх наборах данных результаты различались: модель выигрывала у BM25 на MuSiQue и QASPER, но уступала на HotpotQA. Лицензия — MIT.

745май 2026ctx1M
textmithugging-face
DejanX13
Poverenik_embedding_doc_2000

DejanX13/Poverenik_embedding_doc_2000 — модель на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она предназначена для семантического поиска, сравнения текстов и кластеризации с использованием Sentence-Transformers. Модель содержит 658,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Лицензия в предоставленных данных не указана.

6681сент. 2024ctx514
textembeddinghugging-face
perplexity-ai
pplx-embed-context-v1-0.6b

pplx-embed-context-v1-0.6b — мультиязычная модель контекстных текстовых эмбеддингов, разработанная Perplexity AI. Она предназначена для векторизации фрагментов документов в RAG-системах, где для представления фрагмента учитывается окружающий контекст, а также для поиска по крупным коллекциям текстов. Модель построена на diffusion continued pre-training Qwen3 и имеет плотную архитектуру с 507,9 млн параметров. Она выдаёт эмбеддинги размерностью 1024, поддерживает контекст до 32 768 токенов и не требует добавлять инструкцию к тексту перед векторизацией. Представления формируются с mean pooling; заявлена поддержка MRL и вариантов INT8/BINARY. Выходные эмбеддинги по умолчанию не нормализованы, поэтому для сравнения README рекомендует косинусное сходство. Репозиторий содержит форматы Safetensors и ONNX; лицензия — MIT.

9.5K56янв. 2026ctx32.8K
textembeddingmithugging-face
liddlefish
privacy_embedding_rag_10k_base_12_final

Карточка модели liddlefish/privacy_embedding_rag_10k_base_12_final на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.

1060июнь 2024ctx512
textembeddingmithugging-face
liddlefish
privacy_embedding_rag_10k_base_15_final

Карточка модели liddlefish/privacy_embedding_rag_10k_base_15_final на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.

1400июнь 2024ctx512
textembeddingmithugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей