/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
2 941–2 970 из 13 467
YKYSpatz
ragproject

YKYSpatz/ragproject — дообученная модель Sentence Transformers на базе BAAI/bge-small-en, разработанная автором репозитория YKYSpatz. Она кодирует предложения и абзацы в плотные текстовые векторы размерностью 384 для семантического поиска, сравнения сходства, поиска перефразировок, кластеризации и классификации текстов. Модель использует архитектуру BERT с CLS-пулингом и нормализацией векторов; максимальная длина входа — 512 токенов, близость оценивается косинусным сходством. Модель предназначена для построения эмбеддингов и поиска по текстовым корпусам, в том числе в RAG-системах. Базовая модель BGE ориентирована на английский язык. Репозиторий указывает обучение на 254 450 примерах с TripletLoss и хранит веса в формате safetensors. Условия лицензирования в доступных данных не приведены.

1110июнь 2025ctx512
textembeddinghugging-face
jirawan-chro
RAG-thai

Карточка модели jirawan-chro/RAG-thai на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

1210май 2025ctx512
textembeddingapache-2.0hugging-face
GorankLabs
Rank-Embed-1B

Rank-Embed-1B — модель для получения плотных текстовых эмбеддингов, разработанная GorankLabs на основе google/gemma-3-1b-pt. Это биэнкодер с архитектурой Gemma 3 Text и примерно 1,24 млрд параметров: он кодирует запросы, документы и фрагменты текста в векторы, используя mean pooling по последним скрытым состояниям. Для запросов, документов и коротких фрагментов предусмотрены разные специальные префиксы. Модель предназначена для семантического и сложного поиска, извлечения релевантных документов, ранжирования, RAG, кластеризации и поиска дубликатов. Она ориентирована на эффективное применение в поисковых конвейерах; базовые метаданные указывают контекст до 32 768 токенов, тогда как README заявляет поддержку до 131 072 токенов. Лицензия — Apache-2.0. Rank-Embed-1B возвращает векторы, а не готовые ответы. Для загрузки используются пользовательские классы модели и токенизатора; README требует включить trust_remote_code=True и рекомендует предварительно проверить код репозитория перед развёртыванием. Заявленные качества поиска не сопровождаются в предоставленных материалах численными результатами оценки.

1073апр. 2026ctx32.8K
textembeddingapache-2.0hugging-face
ibm-research
re2g-reranker-trex

Модель ibm-research/re2g-reranker-trex разработана IBM и предназначена для повторного ранжирования найденных текстовых фрагментов по запросу или вопросу. Она помогает отбирать наиболее релевантные материалы из результатов первичного поиска и объединять выдачу разных систем, например BM25 и нейронного ретривера, чьи исходные оценки напрямую несопоставимы. Модель представляет собой BERT для классификации последовательностей, содержит 136,7 млн параметров и обрабатывает до 512 токенов. В карточке указана поддержка английского языка и базовая модель BERT-base, обученная на MS MARCO. Репозиторий содержит веса PyTorch. Реранкер можно применять в поисковых системах и RAG-конвейерах перед передачей найденных фрагментов генеративной модели. Лицензия Apache 2.0 разрешает использование и модификацию на её условиях. Модель оценивает релевантность пар запроса и фрагмента, но сама не выполняет генерацию ответов и наследует ограничение контекста в 512 токенов.

367июль 2022ctx512
textapache-2.0hugging-face
kagikush
REmatch-BGE-Finetuned

REmatch-BGE-Finetuned — англоязычная модель Sentence Transformer, дообученная kagikush на BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Модель построена на BERT и использует pooling по CLS-токену с нормализацией выходных векторов. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Для обучения применялись пары anchor, positive и negative с TripletLoss; на валидационном наборе rematch-validation указана cosine accuracy 0,9068. Лицензия в предоставленных данных не указана.

190авг. 2026ctx512
textembeddinghugging-face
IoannisKat1
reranker-bge-reranker-v2-m3-dev

Это дообученный многоязычный переранжировщик IoannisKat1 на основе BAAI/bge-reranker-v2-m3, созданный с помощью Sentence Transformers для оценки релевантности пары «запрос — документ». Модель использует архитектуру Cross-Encoder на базе XLM-RoBERTa и выдаёт один числовой балл для каждой пары текстов; её можно применять для повторной сортировки результатов поиска и семантического поиска, в том числе в чат-ботах. Модель рассчитана прежде всего на греческий язык. Максимальная длина последовательности — 8192 токена. В README приведены результаты оценки на нескольких наборах данных для переранжирования, включая bge-dev и наборы NanoBEIR. Модель принимает и выдаёт текстовые данные со score релевантности. Лицензия — Apache-2.0.

160июль 2026ctx8.2K
textapache-2.0hugging-face
kwondw
reranker-ModernBERT-base-gooaq-bce-50k

Англоязычный кросс-энкодер kwondw/reranker-ModernBERT-base-gooaq-bce-50k разработан на базе answerdotai/ModernBERT-base и дообучен на данных GooAQ с помощью Sentence Transformers. Модель совместно анализирует пару текстов и выдаёт оценку релевантности, подходящую для повторного ранжирования результатов поиска и семантического поиска. Модель содержит 149 млн параметров, использует архитектуру ModernBertForSequenceClassification и обрабатывает текстовые входы с контекстом до 8192 токенов. В карточке приведены результаты оценки на GooAQ и наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; показатели различаются между наборами, поэтому качество зависит от данных и сценария применения. Лицензия — Apache-2.0. Это кросс-энкодер, который оценивает пары текстов; его можно применять для ранжирования уже отобранных кандидатов, но карточка не заявляет генерацию текста.

260сент. 2026ctx8.2K
textapache-2.0hugging-face
tomaarsen
reranker-msmarco-MiniLM-L12-H384-uncased-lambdaloss

Это англоязычный Cross-Encoder, разработанный tomaarsen и дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой sentence-transformers и функцией потерь LambdaLoss. Модель оценивает пары запроса и документа одним числовым баллом, чтобы упорядочивать найденные документы по релевантности для семантического поиска и повторного ранжирования. Модель содержит около 40 млн параметров, принимает текстовые пары и поддерживает последовательности длиной до 512 токенов. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, а также агрегированная оценка NanoBEIR. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

173март 2025ctx512
textapache-2.0hugging-face
kwondw
reranker-msmarco-v1.1-MiniLM-L12-H384-uncased-lambdaloss-hard-neg

kwondw/reranker-msmarco-v1.1-MiniLM-L12-H384-uncased-lambdaloss-hard-neg — англоязычный Cross-Encoder, дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой Sentence Transformers. Модель совместно обрабатывает запрос и текст документа и выдаёт оценку релевантности для ранжирования результатов поиска. Её можно использовать для повторного ранжирования кандидатов и семантического поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification, содержит около 40 млн параметров и принимает текстовые пары с максимальной длиной последовательности 512 токенов. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; результаты различаются между наборами, поэтому качество следует проверять на данных целевого поиска. Лицензия в предоставленных данных не указана.

130сент. 2026ctx512
texthugging-face
yjoonjang
reviewsearch-dense

yjoonjang/reviewsearch-dense — текстовая модель Sentence Transformer для поиска и сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и сравнивает их по косинусному сходству. Модель построена на архитектуре Gemma 3 Text и содержит 302,8 млн параметров; максимальная длина последовательности — 2048 токенов. Модель обучена на данных reviewsearch и предназначена для извлечения релевантных документов по запросу. В README приведена оценка поиска на reviewsearch с cosine_accuracy@1 0,3588 и cosine_accuracy@10 0,775. Доступны файлы в форматах Safetensors и ONNX, использовать модель можно через библиотеку Sentence Transformers. Язык данных в карточке не установлен, поэтому языковую специализацию определить нельзя. Условия лицензии в предоставленных данных не указаны.

950июль 2026ctx2K
textembeddinghugging-face
thebajajra
RexBERT-base-embed-pf-v0.4

RexBERT-base-embed-pf-v0.4 — модель Sentence Transformers, дообученная thebajajra на базе thebajajra/RexBERT-base-embed-pf-v0.1 на наборе nomic-embed-supervised-data. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Архитектура включает ModernBERT и mean pooling; модель рассчитана на последовательности до 1024 токенов по README, а метаданные указывают контекст до 7999 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также для поиска перефразировок, кластеризации и подготовки признаков для классификации. Данные не указывают на специализацию по языку или прикладной области. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

980окт. 2025ctx8K
textembeddinghugging-face
thebajajra
RexBERT-large-embed-pf-v0.2

RexBERT-large-embed-pf-v0.2 — англоязычная модель эмбеддингов на базе Sentence Transformers, разработанная дообучением thebajajra/RexBERT-large на корпусе nomic-embed-unsupervised-data. Архитектура ModernBERT с mean pooling преобразует предложения и абзацы в плотные векторы размерности 1024; для оценки сходства используется косинусная мера. Модель содержит 394,7 млн параметров, принимает текстовые последовательности длиной до 7999 токенов по метаданным Hugging Face. Модель предназначена для семантического поиска, сравнения смысловой близости текстов, поиска перефразирований, кластеризации и классификации текста. Обучающие примеры включали пары запросов и документов; язык модели — английский. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

930окт. 2025ctx8K
textembeddinghugging-face
sobamchan
roberta-base-mean-400

sobamchan/roberta-base-mean-400 — англоязычная модель Sentence Transformers, дообученная разработчиком на FacebookAI/roberta-base на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерности 768 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает RoBERTa, усреднение токенных представлений и нормализацию. В README указан максимальный размер последовательности 256 токенов, а метаданные указывают контекст до 514 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Она обучалась на парах и тройках текстов из all-nli с MultipleNegativesRankingLoss. Поддерживает английский язык; лицензия и конкретные условия использования в предоставленных данных не описаны.

1120февр. 2025ctx514
textembeddinghugging-face
bobox
RoBERTa-base-unsupervised-TSDAE

bobox/RoBERTa-base-unsupervised-TSDAE — модель Sentence Transformer, дообученная разработчиком bobox на FacebookAI/roberta-base с помощью DenoisingAutoEncoderLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768; в README приведена косинусная мера сходства. Модель рассчитана на семантический поиск и сравнение текстов, поиск перефразировок, кластеризацию и классификацию текста на основе эмбеддингов. Архитектура включает RoBERTa и mean pooling. Максимальная длина последовательности — 512 токенов (метаданные указывают контекст 514 токенов). В README приведена оценка на sts-test: Spearman cosine 0,6912. Обучающие примеры и базовая модель указывают на английский язык. Для работы нужны Sentence Transformers или совместимая среда; репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.

980июнь 2024ctx514
textembeddinghugging-face
clu-ling
roberta-finetuned-stsbenchmark

clu-ling/roberta-finetuned-stsbenchmark — модель на архитектуре RoBERTa, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 1024 для поиска семантически близких фрагментов, кластеризации и сравнения текстов. Модель поддерживает контекст до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска и группировки текстов по смыслу. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. В README упомянуто обучение с CosineSimilarityLoss. Язык данных обучения и лицензия в предоставленных сведениях не приведены. Качество зависит от соответствия языка и тематики входных текстов данным обучения; результаты сходства следует проверять на целевом наборе.

1030март 2022ctx514
textembeddinghugging-face
teven
roberta_kelm_tekgen

teven/roberta_kelm_tekgen — модель Sentence-Transformers на архитектуре RoBERTa, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для вычисления семантического сходства, кластеризации и семантического поиска. Размер модели — 151,9 млн параметров, контекст — до 514 токенов; веса представлены в формате PyTorch. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель подходит для поиска текстов, близких по смыслу, и группировки похожих фрагментов. В README указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Язык и лицензия в предоставленных данных не установлены, поэтому модель лучше применять с проверкой качества на целевых текстах и языках.

660март 2022ctx514
textembeddinghugging-face
ighina
roberta_topseg_wiki

RoBERTa TopSeg Wikisection — модель на базе RoBERTa, опубликованная пользователем ighina и упакованная для Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Обучение использовало CosineSimilarityLoss; доступен формат PyTorch. Модель подходит для поиска смыслово близких фрагментов и группировки текстов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

1080март 2023ctx514
textembeddinghugging-face
ighina
RoBERTa_topseg_wikidisease_ARP

ighina/RoBERTa_topseg_wikidisease_ARP — модель на базе архитектуры RoBERTa, опубликованная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling для получения вектора из контекстных представлений токенов. В карточке указано около 151,8 млн параметров и контекст длиной до 514 токенов. Модель подходит для построения семантического поиска, сопоставления текстов и группировки похожих предложений и абзацев. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

1030май 2023ctx514
textembeddinghugging-face
pkshatech
RoSEtta-base-ja

RoSEtta-base-ja — японская модель эмбеддингов текста от Chihiro Yano, Mocho Go, Hideyuki Tachibana, Hiroto Takegawa и Yotaro Watanabe. Она предназначена для поиска по смыслу и оценки семантического сходства предложений и фрагментов текста. Модель построена на архитектуре RoFormer с RoPE и имеет около 189,7 млн параметров. Для подготовки использовались предварительное обучение с MLM, слабый надзор, дистилляция от крупных моделей эмбеддингов и многоэтапное контрастивное обучение. Контекст — до 1024 токенов, размерность вектора — 768; для сравнения применяется косинусное сходство. На входе при инференсе требуется префикс «query: » или «passage: » в зависимости от роли текста. Модель поддерживает японский язык, работает через Sentence Transformers и может запускаться на CPU. Модель подходит для семантического поиска и подбора похожих предложений. В README приведены оценки на MIRACL-ja, JQaRA, JaCWIR, MLDR-ja и JMTEB. Лицензия — Apache-2.0.

1258авг. 2024ctx1K
textembeddingapache-2.0hugging-face
Barleysack
rtdb_embedder

Карточка модели Barleysack/rtdb_embedder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1210июнь 2026ctx512
textembeddingapache-2.0hugging-face
abragin
ruBert-style-base

ruBert-style-base — русскоязычная модель Sentence Transformers, разработанная на основе ai-forever/ruBert-base и дообученная для получения векторных представлений предложений и абзацев. Энкодер BERT формирует плотные эмбеддинги размерности 768; для объединения токенов используется усреднение, а сходство векторов измеряется косинусной функцией. Модель предназначена для семантического сравнения текстов, поиска похожих фрагментов и кластеризации. Её также можно применять для поиска перефразировок и классификации текста с использованием эмбеддингов. Максимальная длина последовательности — 512 токенов. В карточке приведена cosine accuracy 0,9507 на оценке TripletEvaluator, но состав набора данных не раскрыт, поэтому результат не следует считать гарантией качества на других данных. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

1671февр. 2025ctx512
textembeddinghugging-face
Tochka-AI
ruRoPEBert-e5-base-2k

ruRoPEBert-e5-base-2k — русскоязычная модель-энкодер от Tochka AI на архитектуре RoPEBert с 166,5 млн параметров. Она дообучена на датасете CulturaX методом cloning на основе hivaze/ru-e5-base, который использует русские и английские эмбеддинги intfloat/multilingual-e5-base. Модель предназначена для получения эмбеддингов предложений и текстов, сравнения их семантической близости и построения классификаторов. В архитектуру встроен mean-pooling с учётом маски внимания; также доступен вариант pooling с преобразованием первого токена. Контекст обучения составляет до 2048 токенов. В бенчмарке encodechka модель показала более высокий общий показатель S+W, чем приведённые в карточке ruRoPEBert-e5-base-512 и multilingual-e5-base. Для загрузки требуется Transformers версии 4.37.2 или новее и разрешение загрузки кода из репозитория через trust_remote_code=True. Карточка не указывает лицензию. Модель может работать с более длинным контекстом при настройке RoPE scaling, однако качество за пределами обучающей длины отдельно не подтверждено.

4.9K11февр. 2024ctx2K
texthugging-face
Tochka-AI
ruRoPEBert-e5-base-512

ruRoPEBert-e5-base-512 — модель-энкодер от команды Tochka AI на архитектуре RoPEBert, дообученная на датасете CulturaX с использованием cloning method. Она предназначена прежде всего для получения векторных представлений русскоязычных текстов, сравнения их семантической близости и построения классификаторов. В модели 166,5 млн параметров; для агрегирования токенов предусмотрен встроенный mean-pooling, также доступен first-token pooling. Модель обучена на контекстах до 512 токенов, а RoPE scaling позволяет расширить окно контекста с соответствующей настройкой. В бенчмарке encodechka модель показывает качество, сопоставимое с multilingual-e5-base, и более высокий итоговый S+W score по приведённым результатам. Репозиторий содержит веса safetensors и пользовательский код архитектуры; для загрузки через Transformers требуется включить trust_remote_code. Лицензия в предоставленных данных не указана.

320февр. 2024ctx512
texthugging-face
brjezierski
S3BERT

S3BERT от brjezierski — модель на базе BERT для преобразования предложений и абзацев в плотные эмбеддинги размерностью 384. Её можно использовать для семантического поиска и кластеризации текстов, а также для сравнения смысловой близости предложений. Модель относится к семейству Sentence Transformers, содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. В README описано обучение с функциями потерь MultipleConsistencyLoss и DistilLoss. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

1071июль 2023ctx512
textembeddinghugging-face
patent
sbert-all-MiniLM-L6-v2

Patent — модель sentence-transformers на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Для преобразования выходов Transformers в вектор требуется подходящая операция pooling; использовать модель можно через Sentence-Transformers или Transformers. Модель содержит 25,9 млн параметров и рассчитана на входы длиной до 512 токенов. В README указано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch; лицензия и целевые языки в предоставленных данных не указаны.

632нояб. 2023ctx512
textembeddinghugging-face
ys7yoo
sbert_alpha

ys7yoo/sbert_alpha — модель на базе BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и сохраняется в формате PyTorch. Модель подходит для построения векторного поиска, поиска похожих фраз и группировки текстов по смыслу. Для использования в Transformers поверх контекстных представлений токенов необходимо применить соответствующую операцию pooling; Sentence-Transformers упрощает этот этап. В карточке указано обучение с CosineSimilarityLoss. Сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют.

720март 2023ctx512
textembeddinghugging-face
akhooli
sbert_ar_nli_500k_norm

akhooli/sbert_ar_nli_500k_norm — модель Sentence Transformers на основе BERT, дообученная на 500 тысячах арабских NLI-триплетов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина последовательности — 512 токенов. Модель рассчитана на арабский язык и построена на aubmindlab/bert-base-arabertv02. Её можно применять для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. Данные обучения нормализовали, поэтому в README рекомендуется нормализовать запросы и документы перед кодированием. Модель распространяется по лицензии Apache-2.0.

931окт. 2024ctx512
textembeddingapache-2.0hugging-face
Muennighoff
SBERT-base-nli-stsb-v2

Muennighoff/SBERT-base-nli-stsb-v2 — модель семейства Sentence-BERT на архитектуре BERT, представленная в контексте работы TSDAE о самообучении эмбеддингов предложений с помощью последовательного денойзинг-автоэнкодера. Она предназначена для получения векторных представлений предложений и сравнения их семантической близости, в том числе в поиске и ранжировании по смыслу. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. README не уточняет, была ли эта конкретная версия дообучена по TSDAE или каковы её языки.

720март 2022ctx512
textembeddingapache-2.0hugging-face
eunhyeoo
sbert_kb_240711_1

eunhyeoo/sbert_kb_240711_1 — модель семейства BERT, представленная в формате PyTorch и обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства, кластеризации и других задач, где нужно сопоставлять тексты по смыслу. Модель содержит 205,1 млн параметров и принимает контекст длиной до 512 токенов. Карточка описывает обучение с использованием Sentence-Transformers и функций Contrastive Tension и Denoising AutoEncoder. Модель можно применять через Sentence-Transformers либо Transformers с соответствующим pooling. Метаданные не указывают специализированную область или поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

1020июль 2024ctx512
textembeddinghugging-face
Muennighoff
SBERT-large-nli-v2

Muennighoff/SBERT-large-nli-v2 — текстовая модель эмбеддингов на архитектуре BERT, опубликованная Nils Reimers? Карточка описывает обучение с MultipleNegativesRankingLoss и косинусным сходством, что предназначает модель для представления предложений в виде векторов и сравнения их семантической близости. Подходит для поиска похожих фраз, ранжирования предложений по релевантности и построения семантического поиска. Модель содержит 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступен формат PyTorch; основная заявленная возможность — получение эмбеддингов. README отсылает за инструкциями и результатами оценки к коду и статье, поэтому конкретные показатели качества в карточке не приведены. Лицензия в предоставленных данных не указана.

1.3K1март 2022ctx512
textembeddinghugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей