/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
3 871–3 900 из 13 467
espejelomar
sentece-embeddings-BETO

espejelomar/sentece-embeddings-BETO — модель на основе BERT, обученная для получения векторных представлений предложений и абзацев. Разработчик описывает её как Sentence-Transformers-модель: текст преобразуется в плотные векторы размерности 768, пригодные для семантического поиска и кластеризации. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для обучения использовалась функция MultipleNegativesRankingLoss с косинусным сходством; среди связанных с моделью датасетов указаны StackExchange XML и CodeSearchNet. Для работы можно использовать Sentence-Transformers либо Transformers с соответствующим pooling. Модель подходит для поиска похожих предложений и организации текстов по смысловому сходству. Метаданные указывают формат PyTorch, но сведения о лицензии и поддерживаемых языках отсутствуют.

2311июнь 2022ctx512
textembeddinghugging-face
ys7yoo
sentence-bert-klue-sts

ys7yoo/sentence-bert-klue-sts — модель Sentence-Transformers на базе BERT, разработанная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Она обучалась с использованием CosineSimilarityLoss. Для работы можно применять библиотеку sentence-transformers либо Hugging Face Transformers с подходящей операцией pooling. Модель опубликована в формате PyTorch. В карточке не указаны лицензия и языки обучения, поэтому их нельзя надёжно определить. Качество семантического сопоставления и поддержка конкретных языков зависят от данных обучения; перед использованием для целевого языка стоит проверить качество на собственных примерах.

990март 2023ctx512
textembeddinghugging-face
marma
sentence-bert-swedish-cased

Карточка модели marma/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

1300нояб. 2025ctx512
textembeddingapache-2.0hugging-face
ilhkn
sentence_classifier

ilhkn/sentence_classifier — модель Sentence Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Обучение использовало CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу; векторные представления можно использовать в системах поиска и аналитики текстовых коллекций. В карточке указана библиотека PyTorch. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

590май 2023ctx514
textembeddinghugging-face
manu
sentence_croissant_alpha_v0.2

manu/sentence_croissant_alpha_v0.2 — модель эмбеддингов на базе архитектуры Llama, разработанная для представления предложений и абзацев в виде плотных векторов размерностью 2048. Модель построена на Sentence Transformers и предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Модель содержит 1,3 млрд параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 2048 токенов. Она обучалась с функцией потерь MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.

1852март 2024ctx2K
textembeddinghugging-face
manu
sentence_croissant_alpha_v0.3

manu/sentence_croissant_alpha_v0.3 — модель эмбеддингов на базе архитектуры Llama, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 2048 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 1,3 млрд параметров, принимает текст, выдаёт векторы и поддерживает контекст до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss. Репозиторий создан в апреле 2024 года; веса сохранены в формате safetensors. Сведений о языках обучения, лицензии и результатах бенчмарков в предоставленных данных нет.

1902апр. 2024ctx2K
textembeddinghugging-face
bachngo
sentence_hsu

bachngo/sentence_hsu — модель sentence-transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. В метаданных указано окно контекста 514 токенов; модель принимает текст и выдаёт эмбеддинги. Обучение проводилось с BatchAllTripletLoss. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Карточка не сообщает, на каких языках обучалась модель, поэтому нельзя определить её языковой охват. Лицензия в предоставленных данных не указана.

990янв. 2024ctx514
textembeddinghugging-face
ys7yoo
sentence-roberta-klue-sts

ys7yoo/sentence-roberta-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa для сопоставления смысла предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и вычисления сходства. В метаданных указано 137,8 млн параметров и контекст длиной до 514 токенов. Модель обучалась с функцией CosineSimilarityLoss и использует PyTorch. Она подходит для построения эмбеддингов и ранжирования текстов по смысловой близости. Название и данные карточки указывают на связь с KLUE STS, однако подробности обучающего набора, точные поддерживаемые языки и условия лицензии в предоставленных источниках отсутствуют.

1200март 2023ctx514
textembeddinghugging-face
adit94
sentenceTest_kbert

adit94/sentenceTest_kbert — модель на базе BERT, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с TripletLoss; контекст ограничен 512 токенами. Модель подходит для построения векторного поиска по текстам и группировки семантически близких предложений. Карточка не уточняет поддерживаемые естественные языки и лицензию, поэтому эти характеристики нельзя достоверно указать.

920нояб. 2022ctx512
textembeddinghugging-face
dean-ai
sentence_transformer_Legal-heBERT

Карточка модели dean-ai/sentence_transformer_Legal-heBERT на Hugging Face совпадает с карточкой seongwoon/paper_embedding, поэтому описание составлено по ней. seongwoon/paper_embedding — модель Sentence-Transformers на основе BERT, разработанная автором репозитория seongwoon. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,1 млн параметров и принимает текстовые последовательности длиной до 512 токенов; для получения эмбеддингов через Transformers поверх выходов модели требуется применить подходящий pooling. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В карточке нет сведений о целевых языках, обучающих данных или лицензии, поэтому их нельзя надёжно определить.

1031окт. 2023ctx512
textembeddinghugging-face
ahessamb
sentence-transformers-all-mpnet-base-v2-2epoch-100pair-mar2-contrastiveloss-morality

Модель ahessamb/sentence-transformers-all-mpnet-base-v2-2epoch-100pair-mar2-contrastiveloss-morality — дообученная версия sentence-transformers/all-mpnet-base-v2 для создания плотных эмбеддингов предложений и абзацев. Она отображает текст в 768-мерное векторное пространство; архитектура основана на MPNet и содержит 136,7 млн параметров. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Репозиторий содержит веса в формате safetensors, модель рассчитана на входную последовательность длиной до 514 токенов. Лицензия в предоставленных данных не указана.

1000март 2024ctx514
textembeddinghugging-face
webis
set-encoder-base

webis/set-encoder-base — модель ранжирования текстовых фрагментов, разработанная авторами работы Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders. Это cross-encoder на базе ELECTRA Base с архитектурой Set-Encoder, предназначенный для совместной переоценки набора найденных пассажей и перестановочно-инвариантного listwise reranking. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Lightning IR. Модель подходит для улучшения порядка результатов поиска, в том числе после первичного отбора BM25 или ColBERTv2. В карточке приведены результаты nDCG@10 на TREC DL 2019 и 2020. Указана лицензия Apache-2.0. По данным карточки, базовая модель — google/electra-base-discriminator, дообученная для ранжирования.

12K2июль 2024ctx512
textapache-2.0hugging-face
webis
set-encoder-large

Карточка модели webis/set-encoder-large на Hugging Face совпадает с карточкой webis/set-encoder-base, поэтому описание составлено по ней. webis/set-encoder-base — модель ранжирования текстовых фрагментов, разработанная авторами работы Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders. Это cross-encoder на базе ELECTRA Base с архитектурой Set-Encoder, предназначенный для совместной переоценки набора найденных пассажей и перестановочно-инвариантного listwise reranking. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Lightning IR. Модель подходит для улучшения порядка результатов поиска, в том числе после первичного отбора BM25 или ColBERTv2. В карточке приведены результаты nDCG@10 на TREC DL 2019 и 2020. Указана лицензия Apache-2.0. По данным карточки, базовая модель — google/electra-base-discriminator, дообученная для ранжирования.

272июль 2024ctx512
textapache-2.0hugging-face
Avshalom
setfit-minilm-distilled

Карточка модели Avshalom/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

950дек. 2022ctx512
textembeddinghugging-face
Bjornrun
setfit-minilm-distilled

Карточка модели Bjornrun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

960дек. 2022ctx512
textembeddinghugging-face
Chadeh
setfit-minilm-distilled

Карточка модели Chadeh/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

610дек. 2022ctx512
textembeddinghugging-face
rsilveira79
setfit-minilm-distilled

Карточка модели rsilveira79/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

960дек. 2022ctx512
textembeddinghugging-face
mitra-mir
setfit_model_Calgary_epochs2_Jul_15_2023

mitra-mir/setfit_model_Calgary_epochs2_Jul_15_2023 — модель эмбеддингов предложений на базе MPNet, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss; карточка описывает модель как sentence-transformers. Её можно использовать для поиска похожих фрагментов, группировки текстов по смыслу и вычисления семантического сходства. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.

940июль 2023ctx514
textembeddinghugging-face
mitra-mir
setfit_model_labelfaithful_epochs2

Модель mitra-mir/setfit_model_labelfaithful_epochs2 — sentence-transformers-модель на базе MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска по смыслу, вычисления сходства между текстами и кластеризации. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch; модель предоставляет текстовые эмбеддинги. Модель обучалась с функцией потерь CosineSimilarityLoss. Это делает её подходящей для сравнения текстовых представлений и поиска семантически близких фрагментов. В карточке не указаны поддерживаемые языки и условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

890июль 2023ctx514
textembeddinghugging-face
Laxman
setfit-model-v2

Laxman/setfit-model-v2 — модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория Laxman. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Обучение использовало CosineSimilarityLoss; модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения текстовых эмбеддингов и поиска смыслово близких фрагментов. В метаданных указан формат PyTorch. Лицензия и языковая специализация в предоставленных данных не обозначены.

890нояб. 2022ctx514
textembeddinghugging-face
Muennighoff
SGPT-125M-mean-nli-linear5

Muennighoff/SGPT-125M-mean-nli-linear5 — модель для получения векторных представлений предложений на основе GPT-Neo. Она содержит 137,7 млн параметров и принимает текстовые входы; максимальная длина контекста — 2048 токенов. По карточке модель обучалась с помощью MultipleNegativesRankingLoss на косинусном сходстве, что делает её подходящей для сравнения смысловой близости предложений и поиска похожих текстов. Модель можно применять для семантического поиска, ранжирования кандидатов по релевантности и группировки похожих фраз. В README приведены ссылки на код и результаты оценки, но конкретные показатели качества не указаны. Данных о лицензии в предоставленных источниках нет.

980март 2022ctx2K
textembeddinghugging-face
Muennighoff
SGPT-1.3B-weightedmean-nli-bitfit

Muennighoff/SGPT-1.3B-weightedmean-nli-bitfit — модель для получения векторных представлений предложений и оценки их семантической близости. Она основана на GPT-Neo и использует взвешенное усреднение токенных представлений; модель дообучена методом BitFit на данных NLI с функцией MultipleNegativesRankingLoss и косинусным сходством. Число параметров — около 1,5 млрд, максимальный контекст — 2048 токенов. Модель подходит для поиска предложений по смыслу, сопоставления текстов и построения семантического поиска. Она выдаёт эмбеддинги, пригодные для сравнения по косинусному сходству. README ссылается за примерами использования и результатами оценки на код проекта и публикацию, поэтому конкретные показатели качества здесь не приведены. Лицензия в предоставленных данных не указана.

1170март 2022ctx2K
textembeddinghugging-face
Muennighoff
SGPT-2.7B-weightedmean-msmarco-specb-bitfit

Muennighoff/SGPT-2.7B-weightedmean-msmarco-specb-bitfit — модель для получения эмбеддингов предложений и оценки их семантического сходства. Она основана на GPT-Neo и обучена с помощью Sentence Transformers на MS MARCO с функцией потерь Multiple Negatives Ranking Loss; в названии указаны взвешенное усреднение, SpecB и BitFit. Модель содержит 3,1 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для семантического поиска, сравнения запросов с документами и ранжирования текстовых кандидатов по близости смысла. В метаданных заявлены задачи извлечения признаков и сходства предложений; README отсылает за инструкциями и результатами оценки к коду проекта, папке eval и статье. Использовать её можно для англоязычных текстов MS MARCO, однако карточка не описывает конкретные ограничения качества или лицензию.

1633март 2022ctx2K
textembeddinghugging-face
bigscience-data
sgpt-bloom-1b7-nli

bigscience-data/sgpt-bloom-1b7-nli — модель эмбеддингов предложений на базе архитектуры BLOOM, предназначенная для оценки смысловой близости текстов и извлечения векторных представлений. Карточка описывает обучение с BitFit, пулингом weighted mean и методом GradCache с функцией потерь Multiple Negatives Ranking Loss. Указаны результаты оценки на AskUbuntu, CQADupStack, TwitterPara и SciDocs со средним баллом около 55,1. Модель подходит для поиска семантически похожих предложений, сопоставления вопросов и ответов и поиска по текстовым коллекциям. Метаданные указывают контекст до 4096 токенов и форматы PyTorch и safetensors. Лицензия в предоставленных данных не указана.

9011май 2022ctx4.1K
textembeddinghugging-face
cl-nagoya
shioriha-large-pt

cl-nagoya/shioriha-large-pt — модель на архитектуре BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, кластеризации и задач сравнения сходства. Модель содержит 436,2 млн параметров и обрабатывает вход длиной до 512 токенов. Модель предназначена для создания эмбеддингов текста. В Transformers для получения векторного представления поверх контекстных выходов трансформера требуется применить соответствующую операцию pooling. В карточке нет сведений о специальных предметных областях или поддерживаемых языках. Модель опубликована под лицензией, указанной в метаданных Hugging Face; доступные метаданные её не содержат.

145февр. 2024ctx512
textembeddinghugging-face
vitthalbhandari
simcse_retrain_edos_100k

vitthalbhandari/simcse_retrain_edos_100k — модель эмбеддингов предложений на базе RoBERTa, опубликованная пользователем Hugging Face vitthalbhandari. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит около 151,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством. В названии указаны SimCSE и EDOS, но карточка не поясняет датасет или специализацию, поэтому назначение следует считать общим для семантических эмбеддингов. Для использования доступны Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

1000дек. 2022ctx514
textembeddinghugging-face
vitthalbhandari
simcse_retrain_edos_10k

vitthalbhandari/simcse_retrain_edos_10k — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентирует модель на получение векторов, отражающих семантическую близость текстов. Модель содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Её можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия в предоставленных данных не указана.

1250дек. 2022ctx514
textembeddinghugging-face
Seznam
simcse-retromae-small-cs

SimCSE-RetroMAE-Small — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная на основе Seznam/retromae-small-cs с objective SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться в поиске похожих текстов, семантическом поиске, извлечении документов, кластеризации и классификации. Модель построена на архитектуре BERT, содержит 27,2 млн параметров и обрабатывает входной текст с контекстом до 512 токенов. Основной язык — чешский. Репозиторий содержит веса PyTorch; лицензия — CC BY 4.0.

2564нояб. 2023ctx512
textcc-by-4.0hugging-face
LazarusNLP
s-indobert-base-mmarco

LazarusNLP/s-indobert-base-mmarco — модель Sentence-Transformers на архитектуре BERT, обученная LazarusNLP для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss на основе косинусного сходства; в метаданных указан датасет unicamp-dl/mmarco и язык индонезийский (id).

991июнь 2023ctx512
textembeddinghugging-face
Watwat100
smol8

Watwat100/smol8 — модель на базе Sentence Transformers, разработанная пользователем Hugging Face Watwat100. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Архитектура основана на MPNet, число параметров — 136,7 млн, формат весов — PyTorch; максимальный контекст составляет 514 токенов. Модель подходит для построения семантического поиска по коллекциям текстов, группировки похожих документов и получения эмбеддингов для последующей обработки. В README указано обучение с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

900нояб. 2022ctx514
textembeddinghugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей