I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейЭто модель семейства Sentence Transformers на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения предложений по смыслу. Модель содержит 305,2 млн параметров, принимает текст и выдаёт эмбеддинги. Контекст ограничен 514 токенами. В карточке указано обучение с функцией потерь CosineSimilarityLoss; данные README не позволяют установить конкретный обучающий датасет или заявить поддержку определённых языков. Доступны веса в формате PyTorch.
Wheatley961/Raw_3_no_0_Test_2_new.model — модель sentence-transformers на архитектуре XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска по смыслу и кластеризации. Обучение использовало CosineSimilarityLoss. Модель содержит 305,2 млн параметров, работает с текстом и поддерживает контекст длиной до 514 токенов. Карточка не уточняет обучающие языки и условия лицензии. Метаданные указывают формат PyTorch.
Модель Wheatley961/Raw_3_no_1_Test_3_new.model — модель Sentence-Transformers на базе XLM-RoBERTa, преобразующая предложения и абзацы в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Обучение с CosineSimilarityLoss указывает на настройку для задач сопоставления текстовых представлений. Модель содержит 305,2 млн параметров, принимает текст и выдаёт векторные представления. Максимальная длина контекста — 514 токенов. Для работы доступны веса PyTorch и библиотеки Sentence-Transformers либо Transformers с подходящей операцией pooling. Языки обучения или приоритетные языки в карточке не указаны.
Модель Sentence-Transformers на архитектуре XLM-RoBERTa преобразует предложения и абзацы в плотные векторы размерностью 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов; для получения эмбеддингов модель использует PyTorch и совместима с Sentence-Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. Архитектура XLM-RoBERTa предполагает многоязычную обработку текста, однако README и метаданные не уточняют поддерживаемые языки этой конкретной модели. Лицензия в предоставленных данных не указана.
flax-sentence-embeddings/reddit_single-context_mpnet-base — англоязычная модель эмбеддингов предложений, разработанная участниками Community Week Hugging Face в проекте по обучению sentence embedding моделей. Она основана на mpnet-base и дообучена контрастивным методом на более чем 700 млн пар предложений из диалогов Reddit; для каждой реплики использовался первый контекстный ответ. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст длиной до 514 токенов по метаданным каталога. Модель кодирует входное предложение в вектор семантического содержания. Векторы подходят для поиска информации, кластеризации и вычисления сходства предложений, например для подбора релевантных фрагментов по запросу. README приводит ограничение длины последовательности в 128 токенов при обучении, поэтому качество на более длинных входах может быть ниже. В карточке указана лицензия Apache-2.0.
RenderRank-2B — модель переранжирования пар «запрос — документ», разработанная nlpai-lab на основе Qwen3-VL-Reranker-2B. Модель получает текстовый запрос и документ, оценивает их релевантность и возвращает оценку, по которой можно упорядочить результаты поиска. Параметры документа можно передать как текст, автоматически отрисовать в изображения или предоставить в виде готовых изображений страниц. Визуальное представление текста сжимает последовательность входных токенов и помогает вместить больше содержимого документа в доступный контекст. Поддерживаются многостраничные документы: страницы обрабатываются по порядку и получают общую оценку. Модель содержит 2 млрд параметров, использует архитектуру Qwen3-VL и распространяется в формате safetensors; для работы доступны интерфейсы Transformers и Sentence Transformers. В README приведены результаты оценки на наборах BEIR и длинных документах, однако они сами по себе не гарантируют качество на конкретной коллекции. Описание и обучающие данные ориентированы на английский язык; качество для других языков не подтверждено. Лицензия — Apache-2.0.
grocode87/replyability_model — модель на базе BERT, разработанная автором репозитория и опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 25,9 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель можно применять для поиска похожих фраз и документов, группировки текстов по смыслу и построения систем поиска на эмбеддингах. В карточке указано обучение с OnlineContrastiveLoss. Лицензия в предоставленных данных не указана.
RepresentLM-v2 — модель на базе sentence-transformers, разработанная Suproteem для преобразования предложений и абзацев в плотные векторы размерности 768. Она дообучена на наборе данных HEADLINES для оценки семантического сходства и подходит для семантического поиска и кластеризации текстов. Архитектура — ModernBERT; модель содержит 149 млн параметров, принимает текст с контекстом до 8192 токенов и выдаёт векторные представления. Используется библиотека sentence-transformers, веса доступны в формате safetensors. Лицензия в предоставленных данных не указана.
Это англоязычная cross-encoder-модель семейства BERT, опубликованная организацией cross-encoder-testing и дообученная на базе prajjwal1/bert-tiny с использованием библиотеки Sentence Transformers. Модель обучена на данных GooAQ объёмом 578 402 примера с функцией потерь BinaryCrossEntropyLoss и выдаёт один числовой балл для пары текстов. Размер модели составляет около 4,4 млн параметров, максимальная длина входной последовательности — 512 токенов. Доступны форматы ONNX и Safetensors. Модель предназначена для ранжирования и оценки релевантности пар «запрос—текст», включая переранжирование результатов семантического поиска, оценку семантического сходства, поиск перефразировок и классификацию пар текстов. Благодаря компактной архитектуре она подходит для быстрого инференса и развёртывания через Sentence Transformers или совместимые инструменты. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Она не генерирует текст, а только оценивает пары входных текстов; качество на других языках, доменах и типах данных может быть ограничено.
Это модель Cross Encoder на базе prajjwal1/bert-tiny, дообученная с использованием библиотеки Sentence Transformers на данных GooAQ. Разработчик в README явно не указан; модель опубликована в пространстве cross-encoder-testing. Она принимает пары текстов и вычисляет оценку их смысловой взаимосвязи. Модель предназначена для ранжирования результатов поиска, оценки семантического сходства, поиска перефразирований, классификации текста и других задач, где требуется совместно анализировать два текстовых фрагмента. В частности, её можно применять как reranker: сначала получить кандидатов из поисковой системы, а затем упорядочить их по релевантности запросу. Поддерживается английский язык. Архитектурно это компактный Cross Encoder с одним выходным значением и максимальной длиной последовательности 512 токенов. Обучение выполнено с использованием BinaryCrossEntropyLoss на наборе размером 578 402 примера; заявленные метрики включают MAP, MRR@10 и nDCG@10. Компактность BERT-tiny может обеспечивать более быструю и менее ресурсоёмкую обработку по сравнению с крупными моделями, однако Cross Encoder требует отдельного вычисления для каждой пары текстов и поэтому может быть затратным при ранжировании больших коллекций. Лицензия — Apache-2.0.
Это англоязычный кросс-энкодер kwondw на базе microsoft/MiniLM-L12-H384-uncased, дообученный на MS MARCO с помощью библиотеки sentence-transformers. Модель совместно обрабатывает пару текстов и выдаёт оценку их релевантности; архитектура — BertForSequenceClassification с одним выходным значением, размер — около 40 млн параметров, максимальная длина последовательности — 512 токенов. Модель предназначена для повторного ранжирования результатов поиска и семантического поиска: её можно применять для переоценки кандидатов, найденных первичным поиском, по соответствию запросу. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, а также NanoBEIR; фактическое качество зависит от данных и сценария применения. Модель принимает и выдаёт текстовые данные с оценками релевантности. Лицензия в предоставленных данных не указана. Модель обучена на английском языке и рассчитана на текстовые входы длиной до 512 токенов; результаты для других языков и длинных последовательностей не подтверждены.
kwondw/reranker-ModernBERT-base-gooaq-lambda — англоязычный кросс-энкодер, дообученный автором на базе answerdotai/ModernBERT-base с использованием Sentence Transformers и LambdaLoss. Модель принимает пары текстов и выдаёт оценку их релевантности для ранжирования результатов поиска; её можно использовать как второй этап после первичного поиска, а также для семантического поиска. Веса сохранены в формате safetensors, размер модели — 149 млн параметров, максимальная длина последовательности — 8192 токена. Модель обучена на наборе GooAQ из 95 939 примеров с вопросами, ответами и метками. В README приведены результаты переоценки для GooAQ и небольших наборов NanoBEIR: на GooAQ значение nDCG@10 составляет 0,7664, тогда как результаты на других наборах различаются. Это указывает на возможную зависимость качества от данных и сценария поиска; оценки из карточки не гарантируют аналогичной точности на пользовательских данных. Лицензия — Apache-2.0.
chirag1701/resolve72-biencoder-v1 — текстовая модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-base. Она использует трансформер XLM-RoBERTa с усреднением токенных представлений и нормализацией результата, выдавая векторы размерности 768; для сравнения применяется косинусное сходство. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на парах и тройках текстов; указан объём набора — около 1,04 млн примеров. Модель принимает только текст и рассчитана на многоязычные сценарии благодаря базовой multilingual-e5-base. Максимальная длина последовательности в карточке указана как 96 токенов; метаданные каталога указывают нативный контекст в 514 токенов. Лицензия в предоставленных данных не указана.
robpasternak/retrieval-de-conloss — модель эмбеддингов предложений на базе XLM-RoBERTa, опубликованная на Hugging Face. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель обучена с ContrastiveLoss на основе косинусного расстояния и доступна в формате PyTorch; заявленная длина контекста — 514 токенов. Модель подходит для поиска похожих фрагментов текста и группировки текстов по смыслу. В README не указаны конкретные языки обучающих данных, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных сведениях не указана.
RetroMAE-Small — компактная модель семейства BERT, разработанная Seznam.cz и предварительно обученная с целевой функцией RetroMAE на чешском веб-корпусе. Она предназначена для получения семантических представлений предложений и решения задач поиска по смыслу и оценки сходства текстов. Модель содержит 27,2 млн параметров и принимает текст с контекстом до 512 токенов. Её можно применять для поиска похожих предложений, извлечения релевантных документов, кластеризации и классификации чешских текстов. Лицензия — CC BY 4.0.
RexBERT-base-embed-pf-v0.2 — англоязычная модель Sentence Transformers, дообученная thebajajra на базе thebajajra/RexBERT-base на датасете nomic-embed-unsupervised-data. Она использует энкодер ModernBERT с усреднением токенов и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. В метаданных указано 149 млн параметров и контекст до 7 999 токенов; карточка модели задаёт максимальную длину последовательности 1 024 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Обучение на парах «запрос — документ» поддерживает сопоставление коротких запросов с более длинными текстами. Она принимает текст и выдаёт эмбеддинги; основной язык — английский. Лицензия в предоставленных данных не указана.
YIlIl/roberta_base_pm_m3_voc_hf — модель Sentence Transformer на базе RoBERTa, представленная в библиотеке Sentence Transformers. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 768; сходство текстов оценивается косинусной мерой. Архитектура включает RoBERTa с усреднением токенных представлений и нормализацией; размер модели — 151,7 млн параметров, максимальная длина последовательности — 514 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение — получение эмбеддингов для сравнения предложений. В README не названы разработчик, языки обучения или лицензия, поэтому их нельзя уточнить по доступным сведениям.
Maite89 разработала эту модель на базе RoBERTa с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска семантически близких текстов, кластеризации и оценки сходства. Модель обучалась с функцией CosineSimilarityLoss и подходит для построения эмбеддингов и семантического поиска; метаданные указывают поддержку испанского языка. Число параметров — 454,1 млн, максимальный контекст — 514 токенов. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Модель atasoglu/roberta-small-turkish-clean-uncased-nli-stsb-tr — дообученный sentence-transformers энкодер на базе турецкой RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска по смыслу, сравнения текстов и кластеризации. Модель дообучена на наборах nli_tr и emrecan/stsb-mt-turkish; тексты перед подачей следует вручную приводить к нижнему регистру с заменой латинской I на турецкую ı. Число параметров — 71,9 млн, контекст — до 514 токенов. Работает с турецким языком, распространяется под лицензией MIT.
Карточка модели thunderbasil/ru-en-RoSBERTa на Hugging Face совпадает с карточкой ai-forever/ru-en-RoSBERTa, поэтому описание составлено по ней. ru-en-RoSBERTa — модель для построения текстовых эмбеддингов, разработанная ai-forever на основе ruRoberta-large. Она дообучена на примерно 4 млн пар данных на русском и английском языках, включая синтетические, размеченные и неразмеченные примеры. Архитектура — RoBERTa с 503,5 млн параметров; модель принимает текст и выдаёт векторные представления. Для получения эмбеддингов рекомендуется CLS pooling, а выбор префикса и pooling зависит от задачи. Модель предназначена для поиска по смыслу, сравнения предложений и других задач, где нужно оценивать близость текстов. Заявлена поддержка русского и английского, однако качество на английском языке неизвестно. Максимальная длина входного текста — 512 токенов. Модель распространяется по лицензии MIT.
insuperabile/rumodernbert-solyanka-QP — русскоязычная модель Sentence Transformers, созданная Insuperabile дообучением энкодера deepvk/RuModernBERT-base на датасете solyanka-triplets. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусной мерой сходства. Подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Модель содержит 149 млн параметров; метаданные указывают контекст до 8192 токенов, а README — максимальную длину последовательности 512 токенов. В таблице RuMTEB приведены результаты по набору русскоязычных задач, но они не гарантируют качество для конкретного корпуса или сценария. Лицензия в предоставленных данных не указана.
Ruri-Reranker-Large — разработанная cl-nagoya японская модель Sentence Transformer для ранжирования текстов. Она оценивает релевантность пары запрос–документ и подходит для повторной сортировки результатов семантического поиска и поиска по японским материалам. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification; содержит 436,2 млн параметров и принимает последовательности длиной до 512 токенов. В README приведены результаты на японских наборах JQaRA, JaCWIR и MIRACL, где модель показывает лучшие значения среди перечисленных вариантов Ruri-Reranker. Модель дообучена на cl-nagoya/ruri-pt-large и распространяется в формате safetensors под лицензией Apache 2.0. Основной язык — японский; метаданные также указывают поддержку задач text-ranking и text-classification. Карточка не описывает ограничения помимо максимальной длины последовательности.
masahiroid/ruri-v3-reranker-310m-mlx — неофициальная конверсия японского реранкера Ruri, разработанного проектом Ruri при Nagoya University / cl-nagoya. Модель основана на ModernBERT и предназначена для оценки релевантности пар текстов и сортировки кандидатов в поиске и RAG. Конверсия позволяет запускать её нативно на Apple Silicon через пакет mlx-embeddings. Модель содержит 314,6 млн параметров, использует точность bfloat16 без квантизации и поддерживает контекст до 8192 токенов. Карточка указывает японский и английский языки. Репозиторий распространяется по лицензии Apache-2.0; это неофициальная версия сообщества, а не выпуск команды cl-nagoya.
SakThai Multilingual Embedding — модель семейства SakThai, созданная на основе Multilingual-MiniLM-L12-H384 и дообученная для получения векторных представлений предложений. Она строит 384-мерные эмбеддинги, в которых тексты близкого смысла располагаются рядом, в том числе если они написаны на разных языках. Модель предназначена для многоязычного семантического поиска, извлечения контекста для RAG, сравнения предложений, кластеризации и поиска дубликатов. Заявлена поддержка более 50 языков; архитектура BERT имеет 12 слоёв, размер модели по метаданным — 124,3 млн параметров, контекст — до 512 токенов. Использовать её можно через sentence-transformers локально или развернуть на TEI endpoint. Лицензия — MIT. В карточке подтверждены локальная загрузка и кодирование на CPU, но приведённые проверки являются лишь smoke-тестами. Формальные оценки MTEB и STS для этой дообученной модели пока не опубликованы, а показатели базовой модели не следует считать результатами SakThai. Серверless API Hugging Face, согласно README, модель не поддерживает; длинные документы требуют разбиения на фрагменты, а качество может снижаться для малоресурсных языков и отдельных языковых пар.
Карточка модели TornikeO/sanitas-insurance-bot-embed-v1 на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
optimum/sbert-all-MiniLM-L6-with-pooler — преобразованная в ONNX модель sentence-transformers на основе all-MiniLM-L6-v2, опубликованная для использования с Hugging Face Optimum. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Вариант включает выходы last_hidden_state и pooler_output, тогда как стандартный экспорт ONNX обычно содержит только last_hidden_state. Модель основана на MiniLM-L6-H384-uncased и дообучена контрастивным методом на более чем миллиарде пар предложений. В карточке указано ограничение контекста 512 токенов; при стандартной настройке sentence-transformers текст длиннее 256 word pieces обрезается. Репозиторий лицензирован по Apache-2.0.
Muennighoff/SBERT-base-nli-v2 — модель семейства Sentence-BERT на базе BERT для получения векторных представлений предложений и оценки их семантического сходства. Она использовалась в работах SGPT о векторных представлениях предложений для семантического поиска и TSDAE об обучении таких представлений с помощью последовательного автоэнкодера с удалением шума. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска, сравнения предложений и других задач, где требуется сопоставлять тексты по смыслу. При использовании через Transformers к контекстным представлениям токенов необходимо применять подходящую операцию pooling. В карточке указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Сведения о лицензии и языковом охвате в предоставленных источниках отсутствуют.
mshipulin разработал sentence-transformers-модель, дообученную на базе ai-forever/sbert_large_nlu_ru для сравнения русскоязычных предложений и поиска семантически близких текстов. Она кодирует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Архитектура включает BERT large, усреднение токеновых представлений и нормализацию векторов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов, в том числе для подбора похожих вопросов и ответов в FAQ. Максимальная длина входа — 512 токенов. В метаданных указано 525,7 млн параметров; модель использует библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных данных не указана.
Модель muflihimaduddin/sbert-finetuned-ce — Sentence Transformer на базе sentence-transformers/all-distilroberta-v1, дообученный на 430 парах предложений с оценками сходства. Она преобразует предложения и короткие абзацы в нормализованные плотные векторы размерности 768 и вычисляет семантическое сходство с помощью косинусной близости. Архитектура включает RoBERTa, усредняющий слой pooling и нормализацию; модель принимает текст, максимальная длина последовательности — 512 токенов. Модель подходит для поиска и ранжирования текстов по смыслу, сравнения предложений и кластеризации. Примеры обучающих данных указывают на задачи, связанные с программированием, но карточка не подтверждает узкую специализацию в этой области. В метаданных не указана лицензия, поэтому условия распространения и коммерческого использования следует сверить с репозиторием базовой модели и самой карточкой.
ricardo-filho/sbertimbau-base-allnli-mnrl — модель эмбеддингов предложений на базе BERT, опубликованная пользователем Ricardo Filho. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. В метаданных указаны 136,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Это позволяет использовать векторы для ранжирования текстов по смысловой близости и поиска похожих фрагментов. Карточка не уточняет языки обучения и лицензию, поэтому их нельзя уверенно определить по предоставленным данным.