I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейЭто модель Sentence Transformers, дообученная на базе mixedbread-ai/deepset-mxbai-embed-de-large-v1. Она использует трансформер XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; библиотека модели — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В карточке указаны результаты оценки на задаче поиска информации, однако данных недостаточно, чтобы обобщать эти показатели на другие наборы текстов. Лицензия в предоставленных источниках не указана.
kokolamba/ModernBERT-base-DPR-8e-05-CMNRL-minibs16 — англоязычная модель Sentence Transformers, дообученная автором на базе answerdotai/ModernBERT-base на 1,25 млн примеров из набора MS MARCO. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска и подбора релевантных фрагментов. Также в README указаны сценарии поиска парафраз, кластеризации и классификации текста. Модель использует encoder-архитектуру ModernBERT с усреднением токенных представлений; максимальная длина последовательности — 8192 токена. Она подходит для англоязычного семантического поиска и сопоставления запросов с документами. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не приведена.
NohTow/ModernBERT-base-DPR-fullneg-gte-0.0002 — модель Sentence Transformers на базе ModernBERT, обученная на наборе bge-full-data. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной близостью. Архитектура использует ModernBertModel и усреднение токенных представлений, максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены оценки поиска на наборах Nano BEIR и отдельных задачах Nano BEIR; результаты различаются по датасетам и не гарантируют аналогичного качества в других сценариях. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.
joe32140/ModernBERT-base-msmarco — англоязычная модель Sentence Transformers, дообученная автором на базе answerdotai/ModernBERT-base на наборе msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства текстов и других задач, где нужно находить близкие по смыслу фрагменты. Модель использует encoder-архитектуру ModernBERT с усреднением токенных представлений; максимальная длина входа — 8192 токена, сходство векторов обычно оценивается косинусной мерой. Модель также может применяться для поиска перефразировок, кластеризации и классификации текста. Доступны веса safetensors и формат ONNX. В README приведён результат cosine_accuracy 0,984 на TripletEvaluator для набора msmarco-co-condenser-dev. Это значение относится к указанной оценке и само по себе не гарантирует аналогичное качество на других задачах и доменах. Лицензия в предоставленных данных не указана.
Akryl/modernbert-embed-base-akryl-matryoshka — англоязычная Sentence Transformers модель, дообученная разработчиком Akryl на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 с нормализацией; близость текстов можно оценивать косинусным сходством. Архитектура включает ModernBertModel, усреднение токенных представлений и нормализацию. Модель принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. Matryoshka-обучение позволяет использовать укороченные представления, в том числе размерностью 512 и 256; в карточке приведены результаты поиска для этих размерностей и исходных 768 на наборе dim_768. Лицензия — Apache-2.0. Оценки в карточке относятся к небольшому набору из 402 примеров и не гарантируют такое же качество на других данных.
IoannisKat1 разработал англоязычную модель Sentence Transformers для получения плотных векторных представлений предложений и абзацев. Это дообученная версия nomic-ai/modernbert-embed-base на архитектуре ModernBertModel с усреднением токенных представлений и нормализацией выходного вектора. Модель имеет 149 млн параметров, формирует эмбеддинги размерности 768 и принимает последовательности длиной до 8192 токенов; для сравнения используется косинусное сходство. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README приведены результаты оценки поиска при сокращении размерности эмбеддингов до 512, 256, 128 и 64 измерений, однако качество зависит от набора данных. Данные обучения содержат 1627 пар anchor-positive. Лицензия Apache-2.0.
Это англоязычная модель Sentence Transformer, созданная дообучением nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и сравнения текстов. Архитектура включает ModernBERT, усредняющий пулинг токенов и нормализацию векторов; максимальная длина входа — 8192 токена. Для сравнения векторов используется косинусное сходство. Модель подходит для поиска релевантных документов и фрагментов, оценки семантического сходства, поиска перефразирований, классификации и кластеризации текста. В README приведены результаты оценки поиска с векторами размерностью 768, 512, 256, 128 и 64, что позволяет сокращать размерность представлений с некоторым снижением показателей. В карточке указан обучающий набор из 391 пары текстов. Модель распространяется по лицензии Apache-2.0.
nomic-ai/modernbert-embed-base-unsupervised — англоязычная модель эмбеддингов на базе encoder-only архитектуры ModernBERT. Разработчики обучили её с помощью библиотеки contrastors в течение одной эпохи на 235 млн слабонаблюдаемых контрастивных пар из набора Nomic Embed. Модель содержит 149 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 8192 токена. Модель предназначена для поиска по смыслу, сравнения предложений и других задач, использующих текстовые эмбеддинги. В тестах MTEB она показала результаты, близкие к nomic-embed-text-v1_unsup; авторы рекомендуют modernbert-embed для задач построения эмбеддингов. Доступны веса в формате safetensors. Лицензия — Apache-2.0.
joe32140/ModernBERT-large-msmarco — англоязычная модель Sentence Transformers на основе ModernBERT-large от Answer.AI, дообученная на датасете MS MARCO. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и использует косинусное сходство для сравнения. Модель подходит для семантического поиска, ранжирования похожих текстов, поиска перефразирований, кластеризации и классификации текста. Модель содержит около 394,7 млн параметров, использует mean pooling и принимает последовательности длиной до 8192 токенов. В README приведены результаты на задачах поиска и сравнения текстов; автор сообщает об улучшении относительно опубликованных результатов для ряда наборов данных. Доступны веса safetensors и формат ONNX. Лицензия в предоставленных данных не указана.
ModernBERT-TR Embed — компактная модель текстовых эмбеддингов на основе ModernBERT, разработанная ytu-ce-cosmos для представления турецких текстов в виде векторов. Модель содержит около 148,7 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Она предназначена для семантического поиска и оценки сходства предложений; также применима для классификации, кластеризации и двуязычного поиска на турецком и английском языках. Модель дистиллирована из Qwen/Qwen3-Embedding-8B, затем дообучена на задачах поиска и понимания турецкого языка, а несколько чекпойнтов объединены усреднением весов. По приведённому в карточке сравнению, она показывает конкурентные результаты на турецких бенчмарках при меньшем числе параметров, чем некоторые сравниваемые модели. Доступны форматы ONNX и safetensors; модель рассчитана на использование с Sentence Transformers и Text Embeddings Inference. Лицензия — Apache-2.0.
tomaarsen/mpnet-base-allnli — модель Sentence Transformers, дообученная разработчиком tomaarsen на базе microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов, семантического поиска и других задач, где нужно сопоставлять тексты по значению. Модель использует архитектуру MPNet с усреднением токенных представлений и нормализацией выходного вектора; для оценки сходства в карточке рекомендуется скалярное произведение. Контекст модели составляет до 384 токенов по README и до 514 токенов по метаданным.
kwondw/mpnet-base-all-nli-triplet — текстовая Sentence Transformer модель, дообученная на базе microsoft/mpnet-base на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые можно сравнивать по косинусному сходству для поиска семантически близких текстов и извлечения релевантных документов. Архитектура включает MPNetModel и усредняющий pooling; модель рассчитана на английский язык и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, сопоставления предложений и построения текстового retrieval. В README указана точность cosine_accuracy 0,9154 на all-nli-dev при оценке TripletEvaluator. Лицензия — Apache-2.0. Оценка приведена для указанного набора данных и сама по себе не гарантирует аналогичного качества на других доменах или языках.
Это англоязычная Sentence Transformer-модель, созданная Vanthuan Ngo дообучением microsoft/mpnet-base на триплетах датасета AllNLI. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель предназначена для поиска по смыслу, извлечения текстов, похожих на запрос, и сравнения предложений, в том числе в системах retrieval и RAG. Архитектура включает MPNetModel и усредняющий pooling; число параметров — 136,7 млн, максимальная длина последовательности — 512 токенов. В README приведены значения cosine accuracy 0,908 на all-nli-dev и 0,9192 на all-nli-test. Модель принимает текст и выдаёт эмбеддинги; обучалась и предназначена для английского языка. Лицензия — Apache-2.0. Результаты на AllNLI не гарантируют такое же качество на других языках и предметных областях.
Это модель Sentence Transformers на архитектуре MPNet, дообученная tomaarsen на парах вопросов и ответов из набора GooAQ. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 768; сходство между текстами можно оценивать косинусной мерой. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска и сопоставления вопросов с ответами, а также для поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Лицензия Apache-2.0 разрешает свободное использование и распространение с соблюдением её условий.
tomaarsen/mpnet-base-gooaq-gor — текстовая модель Sentence Transformers, дообученная на парах вопросов и ответов набора GooAQ с функцией потерь GlobalOrthogonalRegularizationLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель основана на microsoft/mpnet-base и использует архитектуру MPNet с усреднением токенных представлений. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сопоставления вопросов с ответами, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска на GooAQ-dev. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0.
Это текстовая модель Sentence Transformers, разработанная tomaarsen и дообученная на базе microsoft/mpnet-base на наборе GooAQ с трудными отрицательными примерами. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и сравнения их по косинусному сходству. Архитектура включает MPNetModel с усреднением токенных представлений; модель содержит 136,7 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текста. Она обучена на англоязычных вопросах и ответах GooAQ; лицензия Apache-2.0. Качество зависит от соответствия входных текстов английскому языку и тематике обучающих данных.
Это англоязычная модель Sentence Transformer, разработанная tomaarsen и дообученная на базе microsoft/mpnet-base на парах из набора gooaq-hard-negatives. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости и поиска текстов; сходство обычно оценивают косинусной мерой. Архитектура объединяет MPNet и усредняющий пулинг токенов, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов, а также для оценки сходства вопросов и ответов. Она лицензирована по Apache-2.0. Качество зависит от предметной области и корпуса: приведённые в карточке результаты на наборах Nano BEIR и отдельных задачах различаются, поэтому для целевого применения нужна отдельная оценка.
din0s/mpnet-base-nq-prompts-noschedule-lr1e-5 — текстовая модель Sentence Transformers, дообученная автором на базе microsoft/mpnet-base на датасете Natural Questions. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; архитектура включает MPNet и усреднение токенных представлений. Модель рассчитана на английский язык, принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты оценки на наборах NanoBEIR и отдельных задачах информационного поиска, но качество зависит от данных и сценария применения. Лицензия — Apache-2.0.
spl4shedEdu/mpnet_ISM — модель Sentence Transformers, дообученная автором spl4shedEdu на базе sentence-transformers/all-mpnet-base-v2. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; эмбеддинги нормализуются, а сходство можно сравнивать по косинусной мере. По данным карточки, обучение проводилось на парах anchor–positive с функцией потерь CachedMultipleNegativesRankingLoss; тренировочная выборка содержит 281 342 примера. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Модель принимает текст и выдаёт векторы признаков для предложений и абзацев. README указывает максимальную длину последовательности 384 токена, а метаданные каталога — контекст 514 токенов. Примеры обучающих данных относятся к товарам и каталогам, но карточка не ограничивает применение конкретной областью. Лицензия в предоставленных данных не указана.
flax-sentence-embeddings/mpnet_stackexchange_v1 — модель SentenceTransformers на основе MPNet-base, разработанная в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Её дообучили сиамским методом с контрастивной целью на парах вопросов и ответов StackExchange, а также на данных MS MARCO, NQ и других наборов вопросов и ответов. В репозитории указана архитектура MPNet, размер около 136,7 млн параметров и контекст до 514 токенов. Модель кодирует текст в векторы, отражающие его смысл. Она предназначена для семантического поиска и поиска ответов по вопросам; эмбеддинги также можно применять для оценки сходства предложений и кластеризации. Обучение ограничивало длину последовательности 128 токенами, поэтому качество на более длинных текстах может снижаться. Формат весов — PyTorch; лицензия в предоставленных данных не указана.
sentence-transformers/msmarco-distilbert-multilingual-en-de-v2-tmp-trained-scratch — модель sentence-transformers, разработанная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. В основе лежит DistilBERT; модель доступна в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO и поддерживает контекст до 512 токенов. Модель подходит для построения поиска по смыслу и группировки текстовых фрагментов. Название указывает на обучение с нуля для сценария MSMARCO и языков английского и немецкого, однако README не описывает точный языковой охват и качество по отдельным языкам. Лицензия — Apache-2.0.
Карточка модели neuralforgequantum/ms-marco-MiniLM-L12-v2 на Hugging Face совпадает с карточкой cross-encoder/ms-marco-MiniLM-L12-v2, поэтому описание составлено по ней. cross-encoder/ms-marco-MiniLM-L12-v2 — модель ранжирования текстовых пар на базе MiniLM-L12 от Microsoft, дообученная командой Sentence Transformers на задаче ранжирования пассажей MS MARCO. Она принимает поисковый запрос вместе с каждым кандидатом-текстом и оценивает их релевантность, чтобы упорядочить уже найденные документы, например после первичного поиска в ElasticSearch. Модель использует архитектуру BERT для классификации последовательностей, содержит около 40 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для повторного ранжирования результатов информационного поиска и извлечения релевантных пассажей. Карточка приводит оценки на наборах TREC Deep Learning 2019 и MS MARCO, однако скорость в ней измерена на V100 GPU и зависит от оборудования. Модель поддерживает английский язык; лицензия Apache-2.0.
Tool-COLT/msmarco-roberta-base-ance-firstp-v1-ToolBenchG3 — модель на базе RoBERTa, созданная для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в эмбеддинги размерности 768 и подходит для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстов по смыслу. Модель содержит 151,8 млн параметров, использует формат PyTorch и принимает последовательности длиной до 514 токенов. Её можно применять с Sentence-Transformers или Hugging Face Transformers, используя соответствующую операцию pooling. Лицензия в предоставленных данных не указана.
AIDA-UPM выпустила многоязычную модель эмбеддингов предложений на базе XLM-RoBERTa. Модель дообучена на расширенном до 15 языков наборе STSb и кодирует предложения и абзацы в плотные векторы размерности 768 для оценки семантического сходства, семантического поиска и кластеризации. Для получения эмбеддинга предложения применяется mean pooling. Модель поддерживает арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, польский, португальский, русский и турецкий языки, а также варианты китайского zh-CN и zh-TW. Контекст составляет до 514 токенов. В опубликованном сравнении средняя корреляция Спирмена по 31 моноязычной и кросс-языковой задаче сходства составила 0,836; результат зависит от языка и данных. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
AIDA-UPM — модель sentence-transformers на базе XLM-RoBERTa, обученная сопоставлять предложения и абзацы в общем плотном пространстве эмбеддингов размерности 768. Её можно применять для семантического поиска, кластеризации и оценки смыслового сходства текстов. Модель содержит 305,2 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для поиска близких по смыслу фрагментов в многоязычных корпусах и группировки текстов по тематике. Обучение с CosineSimilarityLoss указывает на настройку для работы с оценкой сходства. Лицензия в предоставленных данных не указана.
ValentinaKim разработала многоязычную модель Sentence Transformer для преобразования предложений и абзацев в плотные векторы размерностью 384. Модель дообучена на базе intfloat/multilingual-e5-small; архитектура включает BERT, усреднение токенов и нормализацию векторов. Максимальная длина входа — 512 токенов, сходство текстов можно оценивать косинусной близостью. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README описано обучение на 2320 парах текстов и приведены метрики поиска для вариантов размерности 64, 128 и 256. Модель распространяется по лицензии Apache-2.0.
Это дообученная Turbo-AI модель Sentence Transformer для получения плотных векторных представлений предложений и абзацев. Она основана на XLM-RoBERTa, содержит 125,9 млн параметров и формирует эмбеддинги размерности 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности в README составляет 1022 токена, а метаданные указывают нативный контекст в 1024 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. README описывает обучение на примерах anchor, positive и negative с CachedMultipleNegativesRankingLoss. Семейство E5 мультиязычное, однако конкретные поддерживаемые языки в предоставленных данных не перечислены. Модель выдаёт векторы, а не готовые ответы на естественном языке. Лицензия в предоставленных данных не указана.
IoannisKat1/multilingual-e5-large-ft-new — это дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-large, разработанная автором репозитория IoannisKat1. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024 для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; сходство векторов можно измерять косинусной близостью. Максимальная длина последовательности — 512 токенов. Карточка указывает английский язык. Модель подходит для построения векторного поиска и других систем, где требуется сопоставлять тексты по смыслу; опубликованные результаты оценки поиска приведены для нескольких размерностей эмбеддингов. Лицензия — Apache-2.0. README описывает дообучение на 1 627 парах anchor-positive, поэтому качество за пределами указанных задач и данных может отличаться; более конкретные сведения о составе обучающих данных не приведены.
Data-Lab multilingual-e5-large-instruct-embedder_distill-tgd — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-large-instruct, разработанная Data-Lab. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска и сравнения текстов. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; модель использует косинусное сходство и принимает последовательности длиной до 514 токенов по метаданным. Модель подходит для поиска близких по смыслу документов, оценки сходства текстов, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. В README приведена точность cosine_accuracy 0,8994 на dev-наборе TripletEvaluator, но это значение относится только к указанной оценке и не гарантирует качество на других данных. Метаданные не уточняют языковой охват дообученной версии; базовая модель многоязычная. Репозиторий содержит веса Safetensors; сведения о лицензии в предоставленных данных отсутствуют.
GyuBack/multilingual-e5-large-instruct-FT_klue_mrc_full32b — это Sentence Transformer, дообученный на базе intfloat/multilingual-e5-large-instruct для семантического сопоставления вопросов и документов. Модель преобразует текст в нормализованные плотные векторы размерности 1024; сходство оценивается косинусной мерой. В основе — трансформер XLM-RoBERTa с усреднением токенных представлений и максимальной длиной последовательности 512 токенов. Модель подходит для семантического поиска, ранжирования и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Данные обучения включают 23 392 пары: короткие вопросы на корейском языке и более длинные фрагменты документов; примеры указывают на адаптацию для поиска по корейским вопросам и контекстам. Лицензия в предоставленных источниках не указана.