I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейdeberta-sentence-transformer — модель семейства DeBERTa-v2 от embedding-data, преобразующая предложения и абзацы в плотные векторы размерностью 768. Модель содержит около 155 млн параметров, принимает текстовые последовательности длиной до 512 токенов и предназначена для получения эмбеддингов предложений. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss на датасете embedding-data/QQP_triplets. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.
Многоязычная модель эмбеддингов предложений, разработанная Lucas Wun Yu CHAN на основе DeepSeek-R1-Distill-Qwen-1.5B. Она использует плотную архитектуру Qwen2 с 1,5 млрд параметров и предназначена для получения векторных представлений текста и оценки семантического сходства предложений. Модель обучена с помощью контрастивного обучения на базе рассуждающей модели; в README описаны эксперименты с MTEB и BRIGHT и анализ влияния RLVR-обучения на качество представлений. Для работы автор рекомендует Sentence Transformers или Transformers и параметр trust_remote_code=True. Модель подходит для поиска по смыслу, сопоставления запросов и документов и других сценариев семантического сравнения на разных языках. Контекстное окно составляет 131 072 токена. Расширенное рассуждение базовой модели не гарантирует преимущества эмбеддингов: в README сообщается, что модели, инициализированные рассуждающими и базовыми весами, не показали устойчивой разницы после одинакового контрастивного обучения. Лицензия — Apache-2.0.
gubartz/dense_model — модель на базе BERT, опубликованная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Число параметров — 137,1 млн, максимальная длина контекста — 512 токенов; модель работает с текстом и выдаёт эмбеддинги. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для поиска текстов по смыслу и группировки похожих предложений или документов. В карточке не названы обучающие данные и поддерживаемые естественные языки, поэтому нельзя установить языковую специализацию или качество на конкретных языках. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.
kardosdrur/dfm-sentence-encoder-large-v1 — sentence-transformers модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 1024. Её можно применять для поиска семантически близких текстов, кластеризации и других сценариев сравнения текстов по смыслу. Модель содержит 453,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В карточке нет сведений о целевых языках, поэтому языковую специализацию определить нельзя. Для использования доступны PyTorch и библиотеки Sentence-Transformers или Hugging Face Transformers; при работе через Transformers необходимо применить соответствующую операцию pooling. Лицензия в предоставленных данных не указана.
KennethEnevoldsen/dfm-sentence-encoder-medium-v1 — модель Sentence Transformers на архитектуре XLM-RoBERTa, содержащая 151,7 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смыслового сходства, семантического поиска и кластеризации. Контекст модели составляет до 514 токенов. Модель предназначена для получения текстовых эмбеддингов, которые можно использовать в поисковых системах, группировке текстов и других задачах сравнения предложений. При обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели.
Это модель Sentence Transformers на базе DistilBERT, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель может использоваться в поисковых системах и других сценариях, где нужно находить тексты со схожим смыслом. Модель принимает текст и выдаёт векторные представления. Длина контекста составляет 512 токенов. Доступны веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache 2.0.
mingbao2020 выпустил модель sentence-transformers на базе DistilRoBERTa для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. Обучение с Matryoshka2dLoss поддерживает представления размерностью 768, 512, 256, 128 и 64, что позволяет выбирать компромисс между размером вектора и качеством. Архитектура — RoBERTa, модель содержит 95,2 млн параметров и принимает текст с контекстным окном 514 токенов. Репозиторий использует формат safetensors. Модель подходит для построения текстовых эмбеддингов и ранжирования сходства предложений. В предоставленных данных не указаны специальные предметные области или поддерживаемые естественные языки. Условия лицензии в предоставленных данных отсутствуют.
mingbao2020/distilroberta-base-nli-adaptive-layer — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория mingbao2020. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 95,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors. Обучение использует AdaptiveLayerLoss с MultipleNegativesRankingLoss, что позволяет получать представления предложений для задач поиска и сопоставления по смыслу. Модель предназначена для создания текстовых эмбеддингов; сведения о лицензии и конкретных поддерживаемых языках в доступных данных отсутствуют.
yoshinori-sano представляет модель эмбеддингов предложений на базе DistilRoBERTa, предназначенную для сравнения смысловой близости текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые подходят для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, работает с текстом и имеет контекст до 514 токенов. При обучении использована Matryoshka Loss с задачей Multiple Negatives Ranking Loss; модель обучалась представлять тексты в нескольких размерностях: 768, 512, 256, 128 и 64. Для работы доступны Sentence-Transformers и Transformers; веса хранятся в формате safetensors. В метаданных не указаны лицензия и поддерживаемые естественные языки.
kwondw/distilroberta-base-nli-v3 — модель Sentence Transformers, дообученная разработчиком на базе distilbert/distilroberta-base на наборе all-nli. Архитектура RoBERTa с mean pooling преобразует текстовые предложения и абзацы в плотные векторы размерности 768; максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для поиска по смыслу, извлечения текстовых эмбеддингов и оценки семантического сходства. В README приведены результаты оценки на STS: Spearman cosine 0,865 на sts-dev и 0,8417 на sts-test. Карточка не сообщает лицензию; обучение и примеры ориентированы на англоязычный текст.
embedding-data/distilroberta-base-sentence-transformer — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 95,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Модель обучена с использованием TripletLoss на датасете embedding-data/QQP_triplets. Её можно применять для семантического поиска, группировки похожих текстов и вычисления сходства между предложениями. Доступны веса PyTorch; лицензия в предоставленных данных не указана.
Это модель Sentence Transformers на базе distilbert/distilroberta-base, дообученная для получения векторных представлений предложений и абзацев. Архитектура включает RoBERTa и mean pooling; модель содержит 95,2 млн параметров, формирует плотные векторы размерности 768 и сравнивает их косинусным сходством. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. В README приведены англоязычные примеры обучающих данных; данных о поддержке других языков нет. Модель распространяется в формате safetensors, лицензия в предоставленных сведениях не указана.
distiluse-base-multilingual-cased-v2 — модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 512 на основе архитектуры DistilBERT и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель поддерживает множество языков, включая русский, и может применяться для поиска похожих фраз и документов в многоязычных коллекциях. Максимальная длина контекста — 512 токенов. Доступны форматы PyTorch, safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache-2.0. Модель выдаёт эмбеддинги, а не готовые ответы или метки. Качество поиска зависит от языка, предметной области и выбранного способа сравнения векторов; тексты длиннее контекстного окна ограничиваются доступной длиной.
Это перенос facebook/dragon-plus-context-encoder в формат Sentence-Transformers. Модель на основе BERT с 136,7 млн параметров преобразует предложения и абзацы в плотные векторы размерности 768; для получения эмбеддингов используются контекстные представления токенов и подходящая операция pooling. Модель предназначена для семантического поиска, кластеризации текстов и сравнения сходства предложений. Она принимает текст и выдаёт векторные представления. Максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса PyTorch; в карточке не указаны лицензия и поддерживаемые естественные языки.
Карточка модели hsikchi/dump на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Карточка модели vectoriseai/e5-base на Hugging Face совпадает с карточкой intfloat/e5-base, поэтому описание составлено по ней. E5-base — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang и соавторами. Это плотная модель на архитектуре BERT с 12 слоями, размерностью эмбеддинга 768 и 136,7 млн параметров; она принимает текст и выдаёт векторные представления. Модель обучена методом контрастивного предобучения со слабым контролем и предназначена для сравнения смысловой близости текстов и поиска по текстовым коллекциям. E5-base подходит для семантического поиска, извлечения релевантных фрагментов для систем вопросов и ответов, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом задачи. В репозитории указаны веса PyTorch и safetensors; длина контекста — до 512 токенов. Модель работает только с английским текстом, а более длинные входы обрезаются до 512 токенов. Авторы рекомендуют перейти на e5-base-v2, который, по их сообщению, показывает лучшие результаты при том же способе использования. Лицензия — MIT.
bobox/E5-base-unsupervised-TSDAE — модель Sentence Transformers, дообученная автором на базе intfloat/e5-base-unsupervised с использованием DenoisingAutoEncoderLoss. Она основана на BERT, содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768; в README указана косинусная мера сходства. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок, а также может использоваться для кластеризации и классификации текста. В README приведён результат Spearman 0,7584 на sts-test. Базовая модель описана как англоязычная; примеры обучающих данных также на английском. Модель распространяется в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
meandyou200175/e5-finetune — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-base, разработанная автором репозитория meandyou200175. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации. Архитектура включает трансформер XLM-RoBERTa, усреднение токеновых представлений и нормализацию; сходство векторов можно оценивать косинусной мерой. Модель принимает текст, максимальная длина последовательности — 514 токенов по метаданным. Многоязычная базовая модель рассчитана на сопоставление текстов на разных языках. Для работы с ней используется библиотека Sentence Transformers, а веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
seongil-dn/e5-large-neg-v0-bs40-lr1e-6-7541 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-large, разработанная seongil-dn. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 1024 для сравнения по косинусному сходству. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, оценки смыслового сходства, поиска перефразировок, кластеризации и классификации текстов. Базовая модель мультиязычная, поэтому эмбеддинги можно применять к текстам на разных языках. В метаданных указана лицензия? Нет сведений о лицензии в предоставленных данных, поэтому условия использования определить нельзя.
E5-large-trm-nl — модель эмбеддингов предложений на базе XLM-RoBERTa, дообученная CLiPS на модели clips/e5-large-trm для нидерландского языка. Она кодирует запросы и фрагменты текста в векторы для поиска и сравнения по смыслу; карточка приводит пример работы с ранжированием фрагментов MS MARCO и оценку на бенчмарке MTEB-NL. Модель содержит 453,9 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель предназначена для семантического поиска, сопоставления запросов с документами и других задач сходства предложений на нидерландском языке. Распространяется в формате safetensors и использует библиотеку Sentence Transformers. Лицензия — MIT. Качество зависит от соответствия домена и языка входных текстов обучающим данным; опубликованные результаты относятся к бенчмаркам нидерландского языка. Модель выдаёт векторные представления, а не готовые ответы на вопросы.
E5-large-unsupervised — англоязычная модель эмбеддингов, разработанная авторами семейства E5 на основе контрастного предобучения с слабой супервизией. Это вариант e5-large без последующего обучения на размеченных данных. Модель построена на архитектуре BERT: 24 слоя, размер эмбеддинга 1024, около 433,9 млн параметров; принимает текст и выдаёт векторные представления. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сопоставления предложений и абзацев, поиска passage по запросу, обнаружения перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы с запросами и документами следует добавлять префиксы «query: » и «passage: » согласно типу задачи. Модель работает только с английскими текстами, а длинные входы обрезаются до 512 токенов. Распространяется по лицензии MIT.
E5-large-v2-t2t — нидерландская адаптация модели intfloat/e5-large-v2, созданная методом transtokenizer на основе токенизатора BERTje. Веса модели основаны на BERT; размер составляет около 433,4 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для преобразования нидерландских запросов и документов в текстовые эмбеддинги, чтобы находить семантически близкие тексты и сравнивать предложения. Модель можно применять для семантического поиска, ранжирования passage и оценки сходства текстов на нидерландском языке. В README приведены результаты оценки на нидерландском бенчмарке MTEB-NL. Модель принимает текст и выдаёт векторные представления; она опубликована в формате safetensors по лицензии MIT. Карточка не описывает ограничения качества или области применения.
e5-sk-small — компактная модель текстовых эмбеддингов для словацкого языка, выпущенная в рамках проекта SkMTEB. Это плотная BERT-модель на базе intfloat/multilingual-e5-small: после сокращения словаря и дообучения она содержит 45 млн параметров по README, а в метаданных указано 51,4 млн; размер вектора составляет 384 измерения. Модель принимает текст и выдаёт эмбеддинги для семантического поиска, сравнения предложений, кластеризации и классификации. Для поиска используйте префикс query: у запроса и passage: у документов; для симметричных задач префикс не нужен. Модель ориентирована прежде всего на словацкие тексты и показывает результаты на бенчмарке SkMTEB, сопоставимые с multilingual-e5-small и text-embedding-3-small. Также заявлена поддержка межъязыкового поиска между словацким, английским и чешским. Контекстная длина архитектуры по метаданным — 512 токенов; при дообучении использовались последовательности до 256 токенов. Лицензия — MIT, веса доступны для локального запуска.
E5-small-v2-4096 — версия модели текстовых эмбеддингов intfloat/e5-small-v2 с архитектурой Local-Sparse-Global, опубликованная efederici. Модель кодирует запросы и фрагменты текста в векторы для сравнения семантической близости и ранжирования; в README приведён пример для набора MS MARCO Passage Ranking. Модель основана на BERT и содержит около 40 млн параметров. Заявлена поддержка контекста до 4096 токенов и английского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
jangedoo/e5-small-v2-pruned — компактная модель эмбеддингов на базе intfloat/e5-small-v2, представленная автором как версия с прореженным токенным эмбеддингом. Она использует архитектуру BERT и библиотеку Sentence Transformers, содержит 36,8 млн параметров по метаданным и принимает последовательности длиной до 512 токенов. Модель преобразует текст в векторы для семантического поиска, сопоставления предложений и оценки их сходства. В README указано сокращение словаря с 30 522 до 22 225 токенов и числа параметров с 33 360 000 до 30 173 952. На приведённых тестах STS-B и NanoBEIR качество немного ниже базовой модели: например, корреляция STS-B Pearson составляет 0,8234 против 0,8317. Для использования требуется Sentence Transformers; в примере загрузки включён trust_remote_code=True. Лицензия в предоставленных данных не указана.
elephant-embeddings-v1-text-small — многоязычная модель эмбеддингов от vllm-sr для поиска по смыслу, извлечения знаний и рабочих процессов ИИ-агентов. Это дообученная ModernBERT-модель с 306,9 млн параметров и контекстом до 32 768 токенов; веса опубликованы в формате safetensors, библиотека — Sentence Transformers. Модель формирует векторные представления текста и поддерживает 2D Matryoshka: размерность можно выбирать, в частности 64, 256 или 768, с компромиссом между качеством и затратами. Модель предназначена для семантического поиска по длинным заметкам и документам, извлечения из базы знаний, поиска по памяти агента, сопоставления запросов с инструментами и маршрутизации задач. README приводит результаты MTEB и STS, но они не гарантируют качество для каждого набора данных или сценария. Длинные входы увеличивают затраты на вычисления и память, а сокращение размерности или слоёв может снизить качество; для некоторых задач может потребоваться отдельная настройка. Лицензия — Apache-2.0.
ayushexel/emb-bge-base-en-v1.5-squad-2-epochs — англоязычная Sentence Transformer-модель, дообученная разработчиком на базе BAAI/bge-base-en-v1.5. Она использует архитектуру BERT с пуллингом CLS-токена и нормализацией и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок, а также может использоваться для кластеризации и классификации текстов. Карточка указывает обучающую выборку из 44 282 примеров с вопросами, контекстами и негативными примерами. Максимальная длина последовательности — 512 токенов. Модель подходит для поиска релевантных фрагментов в RAG-системах; ответы на вопросы она не генерирует. Лицензия в предоставленных данных не указана. Результаты оценки на gooqa-dev составляют 0,4116 по cosine accuracy; качество зависит от данных и задачи, поэтому перед применением стоит проверить модель на целевом наборе.
Adzpro/embedding-e5-finetuned — дообученная модель Sentence Transformers, созданная на базе Adzpro/embedding_e5. Она использует XLM-RoBERTa с усреднением токенных представлений и нормализацией, преобразуя текст в плотные векторы размерности 768. Модель рассчитана на предложения и абзацы длиной до 512 токенов; сходство векторов можно измерять косинусной метрикой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки на наборе test-eval и сведения о дообучении на 12 720 примерах. Поддерживаемая модальность — текст; конкретные языки в карточке не перечислены. Лицензия в предоставленных данных не указана.
sbeiruty/embeddingFT — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-large-instruct. Она кодирует предложения и абзацы в плотные векторы размерностью 1024; архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию. Модель предназначена для семантического поиска и сравнения текстов, а также для поиска перефразировок, кластеризации и классификации текста. Модель принимает текстовые последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Она поддерживает несколько языков благодаря мультиязычной базовой модели. В README описано дообучение на 2 119 парах предложений с функцией потерь MultipleNegativesRankingLoss; близость векторов можно сравнивать косинусной мерой. Для использования требуется библиотека Sentence Transformers. В карточке указана лицензия, допускающая применение модели в соответствии с её условиями. Информации о конкретных ограничениях качества или целевых предметных областях в предоставленных данных нет.
mlx-community/embeddinggemma-300m-bf16 — текстовая модель эмбеддингов семейства EmbeddingGemma, разработанная сообществом mlx-community на основе google/embeddinggemma-300m и конвертированная в формат MLX с использованием mlx-lm. Модель основана на текстовой архитектуре Gemma 3, содержит около 302,8 млн параметров и предназначена для работы через библиотеку sentence-transformers и инструменты MLX. Модель преобразует предложения и документы в нормализованные векторные представления, пригодные для вычисления семантического сходства, поиска, кластеризации, классификации, извлечения информации и переранжирования результатов. README содержит специализированные префиксы заданий для sentence similarity, retrieval, clustering, classification, reranking, summarization и других сценариев. Максимальная длина контекста составляет 2048 токенов. К сильным сторонам относятся компактный размер, нормализованные эмбеддинги и адаптация к различным задачам с помощью task-specific prefixes, а также оптимизация для экосистемы MLX. Ограничения включают контекст в 2048 токенов и зависимость от MLX-инструментов для описанного способа запуска; поддерживаемые естественные языки в предоставленных данных не определены. Для использования требуется принять лицензию Google Gemma; лицензия модели — gemma.