I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейYKYSpatz/ragproject — дообученная модель Sentence Transformers на базе BAAI/bge-small-en, разработанная автором репозитория YKYSpatz. Она кодирует предложения и абзацы в плотные текстовые векторы размерностью 384 для семантического поиска, сравнения сходства, поиска перефразировок, кластеризации и классификации текстов. Модель использует архитектуру BERT с CLS-пулингом и нормализацией векторов; максимальная длина входа — 512 токенов, близость оценивается косинусным сходством. Модель предназначена для построения эмбеддингов и поиска по текстовым корпусам, в том числе в RAG-системах. Базовая модель BGE ориентирована на английский язык. Репозиторий указывает обучение на 254 450 примерах с TripletLoss и хранит веса в формате safetensors. Условия лицензирования в доступных данных не приведены.
Карточка модели jirawan-chro/RAG-thai на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
Rank-Embed-1B — модель для получения плотных текстовых эмбеддингов, разработанная GorankLabs на основе google/gemma-3-1b-pt. Это биэнкодер с архитектурой Gemma 3 Text и примерно 1,24 млрд параметров: он кодирует запросы, документы и фрагменты текста в векторы, используя mean pooling по последним скрытым состояниям. Для запросов, документов и коротких фрагментов предусмотрены разные специальные префиксы. Модель предназначена для семантического и сложного поиска, извлечения релевантных документов, ранжирования, RAG, кластеризации и поиска дубликатов. Она ориентирована на эффективное применение в поисковых конвейерах; базовые метаданные указывают контекст до 32 768 токенов, тогда как README заявляет поддержку до 131 072 токенов. Лицензия — Apache-2.0. Rank-Embed-1B возвращает векторы, а не готовые ответы. Для загрузки используются пользовательские классы модели и токенизатора; README требует включить trust_remote_code=True и рекомендует предварительно проверить код репозитория перед развёртыванием. Заявленные качества поиска не сопровождаются в предоставленных материалах численными результатами оценки.
Модель ibm-research/re2g-reranker-trex разработана IBM и предназначена для повторного ранжирования найденных текстовых фрагментов по запросу или вопросу. Она помогает отбирать наиболее релевантные материалы из результатов первичного поиска и объединять выдачу разных систем, например BM25 и нейронного ретривера, чьи исходные оценки напрямую несопоставимы. Модель представляет собой BERT для классификации последовательностей, содержит 136,7 млн параметров и обрабатывает до 512 токенов. В карточке указана поддержка английского языка и базовая модель BERT-base, обученная на MS MARCO. Репозиторий содержит веса PyTorch. Реранкер можно применять в поисковых системах и RAG-конвейерах перед передачей найденных фрагментов генеративной модели. Лицензия Apache 2.0 разрешает использование и модификацию на её условиях. Модель оценивает релевантность пар запроса и фрагмента, но сама не выполняет генерацию ответов и наследует ограничение контекста в 512 токенов.
REmatch-BGE-Finetuned — англоязычная модель Sentence Transformer, дообученная kagikush на BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Модель построена на BERT и использует pooling по CLS-токену с нормализацией выходных векторов. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Для обучения применялись пары anchor, positive и negative с TripletLoss; на валидационном наборе rematch-validation указана cosine accuracy 0,9068. Лицензия в предоставленных данных не указана.
Это дообученный многоязычный переранжировщик IoannisKat1 на основе BAAI/bge-reranker-v2-m3, созданный с помощью Sentence Transformers для оценки релевантности пары «запрос — документ». Модель использует архитектуру Cross-Encoder на базе XLM-RoBERTa и выдаёт один числовой балл для каждой пары текстов; её можно применять для повторной сортировки результатов поиска и семантического поиска, в том числе в чат-ботах. Модель рассчитана прежде всего на греческий язык. Максимальная длина последовательности — 8192 токена. В README приведены результаты оценки на нескольких наборах данных для переранжирования, включая bge-dev и наборы NanoBEIR. Модель принимает и выдаёт текстовые данные со score релевантности. Лицензия — Apache-2.0.
Англоязычный кросс-энкодер kwondw/reranker-ModernBERT-base-gooaq-bce-50k разработан на базе answerdotai/ModernBERT-base и дообучен на данных GooAQ с помощью Sentence Transformers. Модель совместно анализирует пару текстов и выдаёт оценку релевантности, подходящую для повторного ранжирования результатов поиска и семантического поиска. Модель содержит 149 млн параметров, использует архитектуру ModernBertForSequenceClassification и обрабатывает текстовые входы с контекстом до 8192 токенов. В карточке приведены результаты оценки на GooAQ и наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; показатели различаются между наборами, поэтому качество зависит от данных и сценария применения. Лицензия — Apache-2.0. Это кросс-энкодер, который оценивает пары текстов; его можно применять для ранжирования уже отобранных кандидатов, но карточка не заявляет генерацию текста.
Это англоязычный Cross-Encoder, разработанный tomaarsen и дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой sentence-transformers и функцией потерь LambdaLoss. Модель оценивает пары запроса и документа одним числовым баллом, чтобы упорядочивать найденные документы по релевантности для семантического поиска и повторного ранжирования. Модель содержит около 40 млн параметров, принимает текстовые пары и поддерживает последовательности длиной до 512 токенов. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, а также агрегированная оценка NanoBEIR. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.
kwondw/reranker-msmarco-v1.1-MiniLM-L12-H384-uncased-lambdaloss-hard-neg — англоязычный Cross-Encoder, дообученный на базе microsoft/MiniLM-L12-H384-uncased с библиотекой Sentence Transformers. Модель совместно обрабатывает запрос и текст документа и выдаёт оценку релевантности для ранжирования результатов поиска. Её можно использовать для повторного ранжирования кандидатов и семантического поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification, содержит около 40 млн параметров и принимает текстовые пары с максимальной длиной последовательности 512 токенов. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; результаты различаются между наборами, поэтому качество следует проверять на данных целевого поиска. Лицензия в предоставленных данных не указана.
yjoonjang/reviewsearch-dense — текстовая модель Sentence Transformer для поиска и сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и сравнивает их по косинусному сходству. Модель построена на архитектуре Gemma 3 Text и содержит 302,8 млн параметров; максимальная длина последовательности — 2048 токенов. Модель обучена на данных reviewsearch и предназначена для извлечения релевантных документов по запросу. В README приведена оценка поиска на reviewsearch с cosine_accuracy@1 0,3588 и cosine_accuracy@10 0,775. Доступны файлы в форматах Safetensors и ONNX, использовать модель можно через библиотеку Sentence Transformers. Язык данных в карточке не установлен, поэтому языковую специализацию определить нельзя. Условия лицензии в предоставленных данных не указаны.
RexBERT-base-embed-pf-v0.4 — модель Sentence Transformers, дообученная thebajajra на базе thebajajra/RexBERT-base-embed-pf-v0.1 на наборе nomic-embed-supervised-data. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Архитектура включает ModernBERT и mean pooling; модель рассчитана на последовательности до 1024 токенов по README, а метаданные указывают контекст до 7999 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также для поиска перефразировок, кластеризации и подготовки признаков для классификации. Данные не указывают на специализацию по языку или прикладной области. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Сведения о лицензии в предоставленных источниках отсутствуют.
RexBERT-large-embed-pf-v0.2 — англоязычная модель эмбеддингов на базе Sentence Transformers, разработанная дообучением thebajajra/RexBERT-large на корпусе nomic-embed-unsupervised-data. Архитектура ModernBERT с mean pooling преобразует предложения и абзацы в плотные векторы размерности 1024; для оценки сходства используется косинусная мера. Модель содержит 394,7 млн параметров, принимает текстовые последовательности длиной до 7999 токенов по метаданным Hugging Face. Модель предназначена для семантического поиска, сравнения смысловой близости текстов, поиска перефразирований, кластеризации и классификации текста. Обучающие примеры включали пары запросов и документов; язык модели — английский. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
sobamchan/roberta-base-mean-400 — англоязычная модель Sentence Transformers, дообученная разработчиком на FacebookAI/roberta-base на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерности 768 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает RoBERTa, усреднение токенных представлений и нормализацию. В README указан максимальный размер последовательности 256 токенов, а метаданные указывают контекст до 514 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Она обучалась на парах и тройках текстов из all-nli с MultipleNegativesRankingLoss. Поддерживает английский язык; лицензия и конкретные условия использования в предоставленных данных не описаны.
bobox/RoBERTa-base-unsupervised-TSDAE — модель Sentence Transformer, дообученная разработчиком bobox на FacebookAI/roberta-base с помощью DenoisingAutoEncoderLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768; в README приведена косинусная мера сходства. Модель рассчитана на семантический поиск и сравнение текстов, поиск перефразировок, кластеризацию и классификацию текста на основе эмбеддингов. Архитектура включает RoBERTa и mean pooling. Максимальная длина последовательности — 512 токенов (метаданные указывают контекст 514 токенов). В README приведена оценка на sts-test: Spearman cosine 0,6912. Обучающие примеры и базовая модель указывают на английский язык. Для работы нужны Sentence Transformers или совместимая среда; репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.
clu-ling/roberta-finetuned-stsbenchmark — модель на архитектуре RoBERTa, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 1024 для поиска семантически близких фрагментов, кластеризации и сравнения текстов. Модель поддерживает контекст до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска и группировки текстов по смыслу. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. В README упомянуто обучение с CosineSimilarityLoss. Язык данных обучения и лицензия в предоставленных сведениях не приведены. Качество зависит от соответствия языка и тематики входных текстов данным обучения; результаты сходства следует проверять на целевом наборе.
teven/roberta_kelm_tekgen — модель Sentence-Transformers на архитектуре RoBERTa, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для вычисления семантического сходства, кластеризации и семантического поиска. Размер модели — 151,9 млн параметров, контекст — до 514 токенов; веса представлены в формате PyTorch. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель подходит для поиска текстов, близких по смыслу, и группировки похожих фрагментов. В README указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Язык и лицензия в предоставленных данных не установлены, поэтому модель лучше применять с проверкой качества на целевых текстах и языках.
RoBERTa TopSeg Wikisection — модель на базе RoBERTa, опубликованная пользователем ighina и упакованная для Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Обучение использовало CosineSimilarityLoss; доступен формат PyTorch. Модель подходит для поиска смыслово близких фрагментов и группировки текстов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
ighina/RoBERTa_topseg_wikidisease_ARP — модель на базе архитектуры RoBERTa, опубликованная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling для получения вектора из контекстных представлений токенов. В карточке указано около 151,8 млн параметров и контекст длиной до 514 токенов. Модель подходит для построения семантического поиска, сопоставления текстов и группировки похожих предложений и абзацев. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.
RoSEtta-base-ja — японская модель эмбеддингов текста от Chihiro Yano, Mocho Go, Hideyuki Tachibana, Hiroto Takegawa и Yotaro Watanabe. Она предназначена для поиска по смыслу и оценки семантического сходства предложений и фрагментов текста. Модель построена на архитектуре RoFormer с RoPE и имеет около 189,7 млн параметров. Для подготовки использовались предварительное обучение с MLM, слабый надзор, дистилляция от крупных моделей эмбеддингов и многоэтапное контрастивное обучение. Контекст — до 1024 токенов, размерность вектора — 768; для сравнения применяется косинусное сходство. На входе при инференсе требуется префикс «query: » или «passage: » в зависимости от роли текста. Модель поддерживает японский язык, работает через Sentence Transformers и может запускаться на CPU. Модель подходит для семантического поиска и подбора похожих предложений. В README приведены оценки на MIRACL-ja, JQaRA, JaCWIR, MLDR-ja и JMTEB. Лицензия — Apache-2.0.
Карточка модели Barleysack/rtdb_embedder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
ruBert-style-base — русскоязычная модель Sentence Transformers, разработанная на основе ai-forever/ruBert-base и дообученная для получения векторных представлений предложений и абзацев. Энкодер BERT формирует плотные эмбеддинги размерности 768; для объединения токенов используется усреднение, а сходство векторов измеряется косинусной функцией. Модель предназначена для семантического сравнения текстов, поиска похожих фрагментов и кластеризации. Её также можно применять для поиска перефразировок и классификации текста с использованием эмбеддингов. Максимальная длина последовательности — 512 токенов. В карточке приведена cosine accuracy 0,9507 на оценке TripletEvaluator, но состав набора данных не раскрыт, поэтому результат не следует считать гарантией качества на других данных. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
ruRoPEBert-e5-base-2k — русскоязычная модель-энкодер от Tochka AI на архитектуре RoPEBert с 166,5 млн параметров. Она дообучена на датасете CulturaX методом cloning на основе hivaze/ru-e5-base, который использует русские и английские эмбеддинги intfloat/multilingual-e5-base. Модель предназначена для получения эмбеддингов предложений и текстов, сравнения их семантической близости и построения классификаторов. В архитектуру встроен mean-pooling с учётом маски внимания; также доступен вариант pooling с преобразованием первого токена. Контекст обучения составляет до 2048 токенов. В бенчмарке encodechka модель показала более высокий общий показатель S+W, чем приведённые в карточке ruRoPEBert-e5-base-512 и multilingual-e5-base. Для загрузки требуется Transformers версии 4.37.2 или новее и разрешение загрузки кода из репозитория через trust_remote_code=True. Карточка не указывает лицензию. Модель может работать с более длинным контекстом при настройке RoPE scaling, однако качество за пределами обучающей длины отдельно не подтверждено.
ruRoPEBert-e5-base-512 — модель-энкодер от команды Tochka AI на архитектуре RoPEBert, дообученная на датасете CulturaX с использованием cloning method. Она предназначена прежде всего для получения векторных представлений русскоязычных текстов, сравнения их семантической близости и построения классификаторов. В модели 166,5 млн параметров; для агрегирования токенов предусмотрен встроенный mean-pooling, также доступен first-token pooling. Модель обучена на контекстах до 512 токенов, а RoPE scaling позволяет расширить окно контекста с соответствующей настройкой. В бенчмарке encodechka модель показывает качество, сопоставимое с multilingual-e5-base, и более высокий итоговый S+W score по приведённым результатам. Репозиторий содержит веса safetensors и пользовательский код архитектуры; для загрузки через Transformers требуется включить trust_remote_code. Лицензия в предоставленных данных не указана.
S3BERT от brjezierski — модель на базе BERT для преобразования предложений и абзацев в плотные эмбеддинги размерностью 384. Её можно использовать для семантического поиска и кластеризации текстов, а также для сравнения смысловой близости предложений. Модель относится к семейству Sentence Transformers, содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. В README описано обучение с функциями потерь MultipleConsistencyLoss и DistilLoss. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.
Patent — модель sentence-transformers на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Для преобразования выходов Transformers в вектор требуется подходящая операция pooling; использовать модель можно через Sentence-Transformers или Transformers. Модель содержит 25,9 млн параметров и рассчитана на входы длиной до 512 токенов. В README указано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch; лицензия и целевые языки в предоставленных данных не указаны.
ys7yoo/sbert_alpha — модель на базе BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и сохраняется в формате PyTorch. Модель подходит для построения векторного поиска, поиска похожих фраз и группировки текстов по смыслу. Для использования в Transformers поверх контекстных представлений токенов необходимо применить соответствующую операцию pooling; Sentence-Transformers упрощает этот этап. В карточке указано обучение с CosineSimilarityLoss. Сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют.
akhooli/sbert_ar_nli_500k_norm — модель Sentence Transformers на основе BERT, дообученная на 500 тысячах арабских NLI-триплетов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина последовательности — 512 токенов. Модель рассчитана на арабский язык и построена на aubmindlab/bert-base-arabertv02. Её можно применять для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. Данные обучения нормализовали, поэтому в README рекомендуется нормализовать запросы и документы перед кодированием. Модель распространяется по лицензии Apache-2.0.
Muennighoff/SBERT-base-nli-stsb-v2 — модель семейства Sentence-BERT на архитектуре BERT, представленная в контексте работы TSDAE о самообучении эмбеддингов предложений с помощью последовательного денойзинг-автоэнкодера. Она предназначена для получения векторных представлений предложений и сравнения их семантической близости, в том числе в поиске и ранжировании по смыслу. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. README не уточняет, была ли эта конкретная версия дообучена по TSDAE или каковы её языки.
eunhyeoo/sbert_kb_240711_1 — модель семейства BERT, представленная в формате PyTorch и обученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства, кластеризации и других задач, где нужно сопоставлять тексты по смыслу. Модель содержит 205,1 млн параметров и принимает контекст длиной до 512 токенов. Карточка описывает обучение с использованием Sentence-Transformers и функций Contrastive Tension и Denoising AutoEncoder. Модель можно применять через Sentence-Transformers либо Transformers с соответствующим pooling. Метаданные не указывают специализированную область или поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.
Muennighoff/SBERT-large-nli-v2 — текстовая модель эмбеддингов на архитектуре BERT, опубликованная Nils Reimers? Карточка описывает обучение с MultipleNegativesRankingLoss и косинусным сходством, что предназначает модель для представления предложений в виде векторов и сравнения их семантической близости. Подходит для поиска похожих фраз, ранжирования предложений по релевантности и построения семантического поиска. Модель содержит 433,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступен формат PyTorch; основная заявленная возможность — получение эмбеддингов. README отсылает за инструкциями и результатами оценки к коду и статье, поэтому конкретные показатели качества в карточке не приведены. Лицензия в предоставленных данных не указана.