I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейLingoIITGN разработала qwen-indic-v1 — мультиязычную модель текстовых эмбеддингов для 22 официально запланированных индийских языков. Она дообучена методом LoRA на базе Qwen/Qwen3-Embedding-8B, после чего адаптер объединён с базовыми весами. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3, pooling последнего токена и L2-нормализацию; размер эмбеддинга — 4096, длина контекста — до 40 960 токенов. Модель предназначена для получения векторных представлений текста, семантического поиска, ранжирования и сравнения предложений на индийских языках. В оценке MTEB(Indic, v1) она показала средний результат 73,80 по 20 задачам. Для классификации и оценки семантического сходства предусмотрены соответствующие префиксы инструкций, применяемые через sentence-transformers. Качество может быть ниже для языков с малым объёмом обучающих данных, включая кашмири, манипури, бодо и сантали; кластеризация уступает современным лидерам MTEB(Indic). Модель наследует возможности и смещения базовой Qwen3-Embedding-8B. Для инференса в bf16 требуется около 16 ГБ VRAM. Лицензия — Apache 2.0.
Wheatley961/Raw_2_Test_1_new.model — модель Sentence-Transformers на базе архитектуры XLM-RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. По метаданным модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Репозиторий содержит веса PyTorch; для получения эмбеддингов можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Модель подходит для построения поиска по смыслу и группировки текстов. В README указано обучение с CosineSimilarityLoss. Данные о лицензии и конкретном наборе поддерживаемых языков отсутствуют в предоставленных источниках, поэтому их нельзя уточнить.
RepresentLM-v1 — модель эмбеддингов предложений и абзацев, разработанная на базе StoriesLM-v1-1963. Она преобразует текст в плотные векторы размерностью 768 и предназначена для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель основана на архитектуре BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель дообучена на наборе HEADLINES для семантического сходства; в метаданных также указан датасет AmericanStories. Подходит для поиска по смыслу и группировки текстов на английском языке. Распространяется по лицензии MIT.
Это англоязычная модель Cross Encoder, разработанная на базе prajjwal1/bert-tiny и дообученная с использованием библиотеки Sentence Transformers. Модель принимает пары текстов и вычисляет оценку их соответствия, поэтому предназначена для ранжирования результатов поиска, семантического поиска, оценки текстового сходства, поиска перефразировок, классификации текстов и кластеризации. Модель поддерживает последовательности длиной до 512 токенов и возвращает один выходной показатель для каждой пары текстов. Она рассчитана на английский язык и использует архитектуру BERT-tiny, что делает её компактнее полноразмерных BERT-моделей и потенциально удобной для сценариев, где важны умеренные требования к вычислительным ресурсам. Обучение выполнено на данных, связанных с GooAQ; в метаданных также указаны метрики MAP, MRR@10 и NDCG@10, однако числовые результаты оценки не приведены. Модель подходит для сравнения пользовательского запроса с кандидатными документами или ответами и последующего их упорядочивания. Ограничения включают работу только с парами текстов, англоязычную специализацию и максимальную длину входной последовательности 512 токенов. Лицензия — Apache-2.0.
kwondw/reranker-ModernBERT-base-gooaq-bce — англоязычный кросс-энкодер, дообученный автором на основе answerdotai/ModernBERT-base с помощью Sentence Transformers. Модель оценивает пары текстов одним числовым баллом релевантности и предназначена для переранжирования результатов поиска и семантического поиска, например ответов на вопросы. Модель использует архитектуру ModernBertForSequenceClassification и содержит около 149 млн параметров. Она принимает только текст, поддерживает последовательности длиной до 8192 токенов и обучена на 292 161 примере GooAQ с вопросами, ответами и метками. В README приведены результаты оценки на GooAQ и нескольких наборах для поиска; метрики различаются между наборами. Лицензия — Apache-2.0. Модель рассчитана на английский язык; качество на других языках не подтверждено. Как кросс-энкодер, она оценивает пары текстов и подходит для повторной сортировки кандидатов, а не для самостоятельного поиска по большой коллекции без предварительного этапа извлечения.
tomaarsen/reranker-ModernBERT-base-gooaq-bce — англоязычный cross-encoder, дообученный на данных GooAQ на базе answerdotai/ModernBERT-base с использованием Sentence Transformers. Модель получает пару текстов и оценивает их соответствие одним числовым баллом, который подходит для сортировки кандидатов в поисковой выдаче и семантическом поиске. Модель содержит 149 млн параметров, использует архитектуру ModernBERT для классификации последовательностей и принимает последовательности длиной до 8192 токенов. В README приведены оценки на GooAQ и наборах NanoBEIR; результаты различаются между датасетами, поэтому качество на конкретной коллекции следует проверять отдельно. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0. Как cross-encoder, она оценивает пары текстов, поэтому для масштабного поиска обычно требуется сначала получить ограниченный набор кандидатов, а затем ранжировать их этой моделью.
Это англоязычный cross-encoder-реранкер, разработанный tomaarsen и дообученный на microsoft/MiniLM-L12-H384-uncased с использованием Sentence Transformers на наборе MS MARCO. Модель совместно обрабатывает пару «запрос—документ» и выдаёт оценку релевантности; оценки можно использовать для перестановки результатов поиска или семантического поиска. Модель построена на архитектуре BERT с классификационной головой, содержит около 40 млн параметров и принимает текстовые последовательности длиной до 512 токенов. README приводит результаты оценки ранжирования на NanoMSMARCO, NanoNFCorpus и NanoNQ, а также агрегированную оценку на NanoBEIR-en. Модель рассчитана на английский язык и задачи ранжирования текстовых пар. Cross-encoder оценивает пары отдельно, поэтому для практического поиска его обычно применяют для переранжирования предварительно отобранных кандидатов. Сведения о лицензии в предоставленных данных отсутствуют.
Это англоязычный CrossEncoder, разработанный tomaarsen и дообученный на базе microsoft/MiniLM-L12-H384-uncased с использованием библиотеки sentence-transformers и данных MS MARCO. Модель принимает пару текстов — например, запрос и документ — и вычисляет оценку их соответствия для ранжирования результатов поиска. Модель построена на архитектуре BERT с классификационной головой BertForSequenceClassification и содержит около 40 млн параметров. Максимальная длина входа — 512 токенов; результатом служит один скалярный балл. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, а также NanoBEIR. Модель рассчитана на английский язык и текстовый ввод. Лицензия в предоставленных данных не указана.
Это англоязычный кросс-энкодер kwondw/reranker-msmarco-v1.1-ModernBERT-base, созданный дообучением answerdotai/ModernBERT-base на парах запрос–текст из MS MARCO с помощью sentence-transformers. Модель совместно обрабатывает запрос и документ и выдаёт оценку релевантности, которую можно использовать для повторного ранжирования результатов поиска и семантического поиска. Модель построена на ModernBERT-base с архитектурой ModernBertForSequenceClassification, содержит 149 млн параметров и принимает текстовые последовательности длиной до 8192 токенов. В README приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR; фактическое качество зависит от данных и сценария применения. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя. Обучение на MS MARCO и англоязычная базовая модель указывают на основную ориентацию на английский; качество на других языках не подтверждено.
kwondw/reranker-msmarco-v1.1-ModernBERT-base-cmnrl — это англоязычный кросс-энкодер, созданный дообучением answerdotai/ModernBERT-base разработчиком kwondw на наборе MS MARCO с использованием Sentence Transformers. Модель оценивает пару «запрос — документ» одним числовым баллом релевантности и предназначена для ранжирования результатов поиска и семантического поиска. Модель содержит 149 млн параметров, использует архитектуру ModernBertForSequenceClassification и принимает текст; максимальная длина последовательности — 8192 токена. В карточке приведены результаты оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ, включая метрики MAP, MRR@10 и nDCG@10. Модель лучше всего применять для переоценки небольшого числа кандидатов, уже найденных поисковой системой. Обучение на MS MARCO и приведённые оценки не гарантируют одинаковое качество на других языках и предметных областях. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.
RexBERT-base-embed-pf-v0.4a — дообученная модель Sentence Transformers на базе thebajajra/RexBERT-base-embed-pf-v0.1, разработанная автором репозитория thebajajra. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла текста, семантического поиска, поиска перефразирований, кластеризации и классификации. Архитектура основана на ModernBERT с усреднением токенных представлений; сходство рассчитано на cosine similarity. Модель обучалась на nomic-embed-supervised-data и содержит около 149 млн параметров. README указывает максимальную длину последовательности 1024 токена, тогда как метаданные каталога сообщают нативный контекст в 7999 токенов. Модель принимает текст и выдаёт векторы; языки, на которых она специально оптимизирована, в предоставленных данных не обозначены. Лицензия в данных не указана.
sobamchan/roberta-large-no-mrl — англоязычная модель Sentence Transformer, дообученная разработчиком на базе FacebookAI/roberta-large на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 1024; архитектура состоит из трансформера RoBERTa и среднего pooling по токенам. Модель использует косинусное сходство и предназначена для получения эмбеддингов и сравнения текстов. Максимальная длина входной последовательности — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. В README приведены результаты на STS: Spearman cosine составляет 0,7649 на sts-dev и 0,7351 на sts-test. Модель рассчитана на английский язык; результаты и назначение для других языков не заявлены. Лицензия в предоставленных данных не указана.
TensorVizion/roBERTa-nanobeir — англоязычная модель на архитектуре RoBERTa-base, дообученная автором на наборе NanoBEIR с помощью контрастивного обучения. Это компактный энкодер для поиска релевантных фрагментов: он кодирует запросы и тексты в векторы для семантического поиска, извлечения кандидатов и использования в RAG. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов; она ориентирована на быстрый запуск на ноутбуках, CPU и небольших GPU. Модель также подходит для кластеризации текстов, поиска дубликатов и оценки сходства. Она не генерирует текст и предназначена для английского языка. Ограничения включают короткий контекст RoBERTa, слабую работу с узкими предметными областями и возможную зависимость оценок сходства от совпадения ключевых слов; автор также отмечает возможные смещения в данных. Лицензия в предоставленных данных не указана.
sergeyzh/rubert-tiny-lite — компактная модель на архитектуре BERT, разработанная sergeyzh для получения векторных представлений русскоязычных текстов и сравнения предложений. Она создана последовательной дистилляцией sergeyzh/rubert-tiny-turbo и BAAI/bge-m3 и содержит 23,1 млн параметров. Размер эмбеддинга — 256, максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации и классификации текста на CPU и GPU. По данным автора, она работает быстрее rubert-tiny-turbo примерно в 1,4 раза на CPU и в 1,2 раза на GPU при сопоставимом качестве. Результаты в README показывают её качество на бенчмарках encodechka и ruMTEB; для некоторых задач она уступает более крупным многоязычным моделям. Модель рассчитана на русский язык и выдаёт эмбеддинги текста. Репозиторий содержит веса в формате safetensors; для запуска автор приводит пример с SentenceTransformer. Лицензия — MIT.
ru-en-RoSBERTa — модель для построения текстовых эмбеддингов, разработанная ai-forever на основе ruRoberta-large. Она дообучена на примерно 4 млн пар данных на русском и английском языках, включая синтетические, размеченные и неразмеченные примеры. Архитектура — RoBERTa с 503,5 млн параметров; модель принимает текст и выдаёт векторные представления. Для получения эмбеддингов рекомендуется CLS pooling, а выбор префикса и pooling зависит от задачи. Модель предназначена для поиска по смыслу, сравнения предложений и других задач, где нужно оценивать близость текстов. Заявлена поддержка русского и английского, однако качество на английском языке неизвестно. Максимальная длина входного текста — 512 токенов. Модель распространяется по лицензии MIT.
Diiiann/ru_oss — модель Sentence-Transformers на архитектуре BERT для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу; в README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства. Модель содержит около 498,1 млн параметров, принимает текст и использует контекст длиной до 512 токенов. Веса доступны в форматах PyTorch и Safetensors. Метаданные указывают библиотеку Sentence-Transformers и поддержку эмбеддингов. В карточке не указаны лицензия, языки обучения и явные ограничения качества, поэтому применимость к конкретному языку или предметной области следует проверять отдельно.
cl-nagoya/ruri-pt-base — японская модель Sentence Transformers, разработанная CL-Nagoya и дообученная на основе tohoku-nlp/bert-base-japanese-v3. Она преобразует предложения в векторы размерности 768 для сравнения семантической близости, поиска и ранжирования текстов. Модель использует архитектуру BERT, принимает последовательности длиной до 512 токенов и рассчитана на японский язык. В README приведены результаты оценки на JMTEB, включая поиск, семантическое сходство, классификацию и кластеризацию. Лицензия — Apache 2.0.
Ruri-Large — японская Sentence Transformer модель, разработанная cl-nagoya для получения векторных представлений предложений и оценки их семантического сходства. Она подходит для поиска по смыслу, сравнения предложений, ранжирования результатов и других задач, использующих embeddings. README сообщает о длине последовательности до 512 токенов, размерности векторов 1024 и косинусной функции сходства; модель оценивалась на JMTEB. Архитектура — BERT; размер по метаданным — 436,2 млн параметров. Модель дообучена на базе tohoku-nlp/bert-base-japanese-v3 и предназначена для японского языка. Распространяется по лицензии Apache 2.0.
Ruri-Reranker-Base — японский реранкер на основе Sentence Transformers, разработанный командой cl-nagoya и дообученный на cl-nagoya/ruri-reranker-stage1-base. Модель оценивает релевантность пар запрос–текст и ранжирует найденные документы, например, на этапе поиска в RAG-системе. В метаданных указана архитектура BERT для классификации последовательностей и 138,4 млн параметров. Модель рассчитана на японский язык и принимает текстовые пары; максимальная длина последовательности — 512 токенов. В README приведены результаты на японских наборах JQaRA, JaCWIR и MIRACL: модель показывает 74,3, 93,5 и 95,6 соответственно. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0.
ruRoPEBert-classic-base-2k — русскоязычная модель-энкодер от Tochka AI на архитектуре RoPEBert. Она основана на ai-forever/ruBert-base и обучена на датасете CulturaX методом клонирования, описанным авторами в статье на Habr. В модели около 205,5 млн параметров, а обученная длина контекста составляет 2048 токенов; авторы также описывают масштабирование контекста с помощью RoPE scaling. Модель предназначена для получения векторных представлений текстов и их сравнения, а также может служить основой для классификации текста и предсказания пропущенных токенов. В архитектуру встроен mean pooling с учётом маски внимания; доступен и вариант pooling по первому токену с обучаемым преобразованием. В бенчмарке encodechka модель показывает результаты выше ruBert-base по среднему баллу без NE, согласно таблице в карточке. Для загрузки пользовательской архитектуры рекомендуется Transformers версии 4.37.2 или новее и параметр trust_remote_code=True. Карточка не указывает лицензию. В репозитории доступны веса Safetensors.
Madras1/sbert_cosine_filter_v3 — модель Sentence Transformer, дообученная автором на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует архитектуру BERT с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 384; сходство текстов оценивается косинусной мерой. В метаданных указано 124,3 млн параметров, а максимальная длина последовательности в README составляет 128 токенов; при этом контекстная длина в метаданных указана как 512 токенов. Модель предназначена для семантического сравнения текстов, поиска, поиска перефразировок, кластеризации и классификации текстов. Подходит для получения эмбеддингов, которые можно использовать в поисковых системах и других приложениях семантического сопоставления. Базовая модель многоязычная, но конкретный перечень поддерживаемых языков для этой версии в предоставленных данных не уточнён. В README указаны 233 043 обучающих примера и функция потерь CosineSimilarityLoss. Модель выпущена в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
FractalGPT/SbertDistil — компактная модель эмбеддингов предложений и абзацев, разработанная FractalGPT на основе cointegrated/rubert-tiny2. Она преобразует текст в плотные векторы размерностью 384 и предназначена для оценки семантической близости, семантического поиска и кластеризации. Модель построена на архитектуре BERT, содержит 12,1 млн параметров и принимает последовательности длиной до 512 токенов. Модель дообучалась в два этапа на текстах Wikipedia, а затем на Wikipedia и диалоговом наборе SiberianPersonaChat-2. В метаданных указаны русский и английский языки; обучение на Wikipedia и диалогах делает её пригодной для представления текстов в этих сценариях. Репозиторий распространяется по лицензии Apache-2.0.
Модель usc-isi/sbert-roberta-large-anli-mnli-snli разработана командой USC Information Sciences Institute. Это Sentence-Transformers-модель на базе RoBERTa-large, дообученная на наборах ANLI, MNLI и SNLI для получения плотных векторов предложений и абзацев размерностью 768. Она подходит для семантического поиска, сравнения смысловой близости, кластеризации и группировки текстов. Модель принимает текст на английском языке и формирует векторные представления. В метаданных указан контекст до 514 токенов, а размер модели составляет 151,8 млн параметров. Для Transformers требуется применять mean pooling к контекстным представлениям токенов; Sentence-Transformers предоставляет более простой способ использования. Лицензия в предоставленных данных не указана.
ceggian/sbert_standard_reddit_mnr — модель Sentence-Transformers на базе BERT, созданная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерности 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров и рассчитана на входные последовательности длиной до 512 токенов. В README указано, что при обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством; имя модели указывает на данные Reddit, но README не уточняет датасет. Для использования подходят Sentence-Transformers или Transformers с соответствующим pooling. Модель применима для поиска похожих предложений, группировки текстов и построения поиска по смыслу. Карточка не содержит сведений о лицензии или языках, поэтому они здесь не заявляются.
ceggian/sbert_standard_reddit_softmax — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Обучение использовало SoftmaxLoss; модель также можно применять через библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. Модель принимает текст и возвращает векторные представления. Контекст ограничен 512 токенами. Карточка не приводит сведения о языковой специализации или лицензии, поэтому нельзя установить целевой язык и условия использования.
ABrinkmann/sbert_xtremedistil-l6-h256-uncased-mean-cosine-h32 — модель Sentence-Transformers на архитектуре BERT, разработанная ABrinkmann. Она кодирует предложения и абзацы в плотные векторы размерностью 32 для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 14,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения систем поиска по эмбеддингам. При обучении использовалась CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
pritamdeka/S-Bluebert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, разработанная автором репозитория pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель содержит 136,7 млн параметров и принимает текстовые входы с контекстом до 512 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss и предназначена для построения эмбеддингов предложений. В репозитории указан формат PyTorch; для применения доступны Sentence-Transformers и Transformers с подходящей операцией pooling. В карточке не приведены сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
mehularora/scrabble-embed-v1 — модель Sentence Transformers, дообученная автором на базе sentence-transformers/all-MiniLM-L6-v2 на наборе данных CSV. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а README описывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Карточка не уточняет языковой охват, поэтому английский язык базовой модели не позволяет уверенно утверждать, что дообученная версия предназначена только для английского. Репозиторий содержит веса Safetensors и использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.
omniamnaeem/semantic_sim_ner_with_ContrastiveLossV5 — модель на базе BERT, опубликованная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для поиска семантически близких текстов и кластеризации. В README указано обучение с ContrastiveLoss и косинусной метрикой расстояния; модель рассчитана на текстовый ввод и выдаёт эмбеддинги. Размер модели — 12,4 млн параметров, контекст — до 512 токенов. Для запуска подходят Sentence Transformers или Transformers с соответствующей операцией pooling. Язык обучения и применения, лицензия и специализированные области использования в доступных данных не указаны.
afschowdhury/semantic-xlmr-bn — модель Sentence Transformers, разработанная Asif Faisal Chowdhury для сопоставления предложений и абзацев в общем векторном пространстве. Она предназначена для семантического поиска и сходства, кластеризации текстов, поиска документов и извлечения информации, а также может применяться в рекомендательных системах и FAQ-системах. Модель основана на XLM-RoBERTa Large и содержит 305,2 млн параметров. Её дообучили методом мультиязычной дистилляции знаний: paraphrase-distilroberta-base-v2 использовалась как учитель, а XLM-RoBERTa Large — как ученик. На выходе — плотные векторы размерности 768; максимальный размер контекста — 514 токенов. Основной целевой язык — бенгальский, при этом модель заявлена как мультиязычная. Модель принимает текст и формирует эмбеддинги для сравнения, кластеризации и поиска. Для задач поиска её можно использовать вместе с индексом векторного поиска; качество для конкретного корпуса и других языков следует проверять отдельно. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.