I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейЭто модель Sentence-Transformers на базе MPNet, разработанная автором shrinivasbjoshi. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и оценки сходства. Модель содержит 136,7 млн параметров и принимает текст; для работы с ней используется библиотека sentence-transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно применять для семантического поиска по коллекциям текстов, группировки похожих высказываний и построения систем сравнения предложений. Окно контекста составляет 514 токенов. В README не указаны языки обучения или отдельная специализированная область применения; лицензия в предоставленных данных отсутствует.
Wheatley961/Raw_1_no_2_Test_2_new.model — модель Sentence-Transformers на базе архитектуры XLM-RoBERTa, разработчик в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. Обучение проводилось с функцией потерь CosineSimilarityLoss. Модель содержит 305,2 млн параметров, использует формат PyTorch и имеет контекст длиной 514 токенов. Карточка не сообщает языки обучения или лицензию; метаданные не содержат кодов языков. Веса подходят для сценариев поиска и группировки текстов, но для практического использования нужен этап преобразования векторов в оценку сходства или применения подходящего метода поиска.
Wheatley961/Raw_3_Test_1_new.model — модель Sentence-Transformers на базе XLM-RoBERTa, разработчик — Wheatley961. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, семантического поиска и кластеризации. Модель имеет 305,2 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. В обучении использовалась CosineSimilarityLoss. Модель подходит для поиска похожих фрагментов текста и группировки предложений по смыслу. Карточка не приводит сведения о поддерживаемых языках и лицензии, поэтому языковой охват и условия использования определить по имеющимся данным нельзя.
le723z/Rearank-7B — модель для повторного ранжирования результатов поиска с использованием пошагового рассуждения. Она создана на базе Qwen2.5-7B-Instruct и дообучена методом GRPO на наборе данных из 179 запросов для задачи reranking; работа описана в статье REARANK: Reasoning Re-ranking Agent via Reinforcement Learning. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текст; заявленный размер контекста — 32 768 токенов. Модель предназначена для оценки и упорядочивания текстовых кандидатов относительно запроса, например при поиске документов или подготовке контекста для RAG. Основной тег Hugging Face — text-ranking; метаданные также указывают text-generation. Репозиторий использует формат safetensors, библиотеку Transformers и лицензию Apache-2.0. Карточка сообщает об обучении на небольшом наборе из 179 запросов, поэтому качество и переносимость на другие задачи и домены могут быть ограничены.
Это англоязычная модель Cross Encoder, разработанная сообществом cross-encoder-testing и дообученная на базе prajjwal1/bert-tiny с использованием библиотеки Sentence Transformers. Она оценивает пары текстов и возвращает числовой балл релевантности, поэтому предназначена прежде всего для переранжирования результатов поиска, семантического сравнения текстов, поиска перефразировок, классификации текстовых пар и связанных задач. Модель имеет архитектуру Cross Encoder, один выходной label и поддерживает последовательности длиной до 512 токенов. Она работает с текстом на английском языке и применяется к двум текстам одновременно, что обычно позволяет учитывать их взаимное содержание, но требует отдельного вычисления для каждой пары и может быть менее производительной на больших объёмах, чем модели, кодирующие тексты независимо. В README не приведены размер модели, значения метрик или подробные результаты оценки; указано лишь, что обучение выполнялось с BinaryCrossEntropyLoss на данных GooAQ. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется библиотека Sentence Transformers; README содержит примеры получения оценок для пар текстов и ранжирования набора документов по запросу.
sobamchan/roberta-base-no-mrl — англоязычная модель Sentence Transformers, дообученная автором на наборе all-nli на основе FacebookAI/roberta-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура состоит из трансформера RoBERTa с усреднением токенных представлений; для сравнения векторов используется косинусное сходство. Максимальная длина входной последовательности — 512 токенов (514 токенов в метаданных). Модель обучалась с MatryoshkaLoss и MultipleNegativesRankingLoss на англоязычных данных all-nli. Модель подходит для получения векторных представлений текста и задач поиска или группировки похожих фраз. Она рассчитана на английский язык; качество для других языков не подтверждено. Лицензия в предоставленных данных не указана.
ighina/roberta_topseg_cls_wikicity — модель эмбеддингов предложений на базе RoBERTa, опубликованная на Hugging Face. Она кодирует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 151,8 млн параметров, использует формат PyTorch и рассчитана на контекст до 514 токенов. Модель обучена с функцией потерь CosineSimilarityLoss и предназначена для получения векторных представлений текста, пригодных для семантического поиска и группировки похожих фрагментов. Карточка описывает применение Sentence-Transformers и Transformers; для Transformers требуется корректная операция pooling поверх контекстных представлений токенов. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют.
ighina/roberta_topseg_mean_wikidisease — модель на основе RoBERTa, опубликованная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Веса содержат около 151,8 млн параметров, модель принимает текст и выдаёт эмбеддинги; максимальный контекст составляет 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Для работы доступны Sentence-Transformers и Transformers, причём при использовании Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов. Репозиторий содержит веса PyTorch. Лицензия и целевые языки в предоставленных данных не обозначены.
Карточка модели Rohit129/rohit-setfit-model на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
DeepPavlov/rubert-base-cased-sentence — русскоязычный кодировщик предложений на базе RuBERT, разработанный DeepPavlov. Это 12-слойная модель семейства BERT с 768 скрытыми измерениями и 12 головами внимания; метаданные указывают 205,1 млн параметров и контекст до 512 токенов. Модель дообучена на переведённом на русский SNLI и русской части dev-набора XNLI. Представление предложения получается усреднением векторных представлений токенов, как в Sentence-BERT. Модель предназначена для получения эмбеддингов русских предложений и использования их в семантическом поиске, сравнении сходства и задачах, где требуется сопоставлять значения предложений. Доступны версии в форматах PyTorch и Flax. В README сведения о лицензии не приведены.
rubert-mini-frida — компактная модель на архитектуре BERT, опубликованная sergeyzh для построения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA в sergeyzh/rubert-mini-sts: 7 слоёв и размер эмбеддинга 312 вместо 24 слоёв и 1536 у FRIDA. Используется mean pooling; по умолчанию настроен префикс «categorize: », также поддерживаются префиксы FRIDA для разных задач. Модель подходит для семантического поиска и сравнения предложений, выявления перефразирований, классификации и кластеризации текста, анализа тональности и токсичности, а также задач NLI. В карточке приведены результаты ruMTEB: модель уступает FRIDA по указанным метрикам, но превосходит приведённые варианты multilingual-e5 в некоторых из них. Хотя унаследованная длина контекста составляет 2048 токенов, автор рекомендует не превышать 512. Лицензия — MIT.
sergeyzh/rubert-mini-uncased — компактная BERT-модель автора sergeyzh для получения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA: модель имеет 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов. Веса доступны в формате safetensors, лицензия — MIT. Модель предназначена для оценки семантического сходства предложений, поиска и сравнения текстов, а также задач классификации и кластеризации на основе эмбеддингов. README указывает поддержку префиксов FRIDA, включая search_query: и search_document:, и приводит результаты по STS, идентификации перефразирований, выводу по тексту, анализу тональности и выявлению токсичности. Модель uncased: регистр букв не влияет на токенизацию. В приведённых сравнениях она уступает FRIDA по ряду метрик; максимальная длина контекста ограничена 512 токенами.
sergeyzh/rubert-tiny-turbo — компактная русскоязычная модель на архитектуре BERT, разработанная как дообученная версия cointegrated/rubert-tiny2 для быстрого получения эмбеддингов предложений. В README для неё указаны 29 млн параметров, размер эмбеддинга 312 и контекст до 2048 токенов; модель распространяется в формате safetensors и рассчитана на использование с Sentence Transformers. Модель предназначена для вычисления векторных представлений русских предложений и оценки их семантического сходства. Эмбеддинги можно применять для поиска похожих текстов, кластеризации и как признаки для классификации. В карточке приведены результаты ruMTEB и encodechka; показатели различаются по задачам, а README отмечает быстродействие, сопоставимое с базовой моделью. Лицензия — MIT. Это компактный русскоязычный энкодер, поэтому его область применения — текст на русском языке; в данных не заявлены генерация текста или мультимодальные возможности. Метрики бенчмарков не гарантируют качество на конкретном наборе данных, а для критически важных задач результат следует проверять отдельно.
kanklc выпустил дообученную на базе intfloat/multilingual-e5-small модель Sentence Transformers для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Модель использует архитектуру BERT с усредняющим pooling и нормализацией векторов; размер эмбеддинга — 384 измерения, сходство оценивается косинусной функцией. Максимальная длина последовательности — 512 токенов, число параметров — 124,3 млн. Модель предназначена для семантического поиска и извлечения релевантных текстов, в частности для сопоставления запросов с документами. Дообучение проведено на 1 420 парах предложений с MultipleNegativesRankingLoss; примеры в карточке посвящены симптомам и медицинским формулировкам на турецком языке. Лицензия в предоставленных данных не указана.
Sarashina-Embedding-v1-1B — японская модель для получения текстовых эмбеддингов, разработанная SB Intuitions на базе языковой модели Sarashina2.1-1B. Она преобразует предложения и абзацы в плотные векторы размерности 1792, пригодные для сравнения по косинусному сходству. Модель построена как Sentence Transformer на архитектуре Llama и поддерживает контекст до 8192 токенов. Модель обучена в два этапа: контрастное обучение на слабой разметке и дообучение на размеченных парах для сопоставления запросов и документов. Она предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README сообщается о высоком среднем результате на 16 наборах JMTEB; метаданные также указывают поддержку английского наряду с японским. Лицензия Sarashina Model NonCommercial License Agreement ограничивает коммерческое использование. Модель ориентирована прежде всего на японские тексты, поэтому качество для других языков и специализированных областей может отличаться.
pucpr-br/sbertimbau_news_2021 — модель Sentence Transformers на базе BERTimbau, дообученная для получения семантических представлений новостных текстов на бразильском португальском. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации новостей. Модель использует архитектуру BERT и обрабатывает текстовые входы с контекстом до 512 токенов. В README указано обучение с BatchAllTripletLoss; в метаданных — 136,1 млн параметров и формат Safetensors. Лицензия в предоставленных данных не указана.
pucpr-br/sbertimbau_news_2023 — модель Sentence-Transformers, дообученная на базе neuralmind/bert-base-portuguese-cased. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения текстов по смыслу, семантического поиска и кластеризации. Модель построена на архитектуре BERT и содержит 136,1 млн параметров; максимальная длина контекста составляет 512 токенов. Модель рассчитана на тексты на бразильском португальском языке. Её можно использовать для поиска похожих новостных текстов и группировки предложений или документов; для получения эмбеддингов в экосистеме Sentence-Transformers требуется соответствующая библиотека либо отдельная операция pooling при использовании Transformers. Репозиторий предоставляет веса в формате safetensors. Лицензия в предоставленных данных не указана.
ai-forever/sbert_large_mt_nlu_ru — русскоязычная модель семейства BERT large от команды SberDevices для получения векторных представлений предложений. Она предназначена для задач, где нужно представить текст числовым вектором, например для поиска семантически похожих фраз и сравнения предложений. Для лучшего качества авторы рекомендуют усреднять представления токенов. Модель содержит 525,7 млн параметров, принимает текст и имеет контекст до 512 токенов. В карточке указана оценка на Russian SuperGLUE, но конкретные результаты не приведены. Модель опубликована под лицензией MIT.
DoanKhoi/sbert-phobert-base — модель Sentence Transformers на архитектуре RoBERTa, обученная для получения векторных представлений предложений и абзацев. Она преобразует текст во векторы размерности 768, подходящие для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 162,4 млн параметров и принимает последовательности длиной до 258 токенов. В README указано обучение с CosineSimilarityLoss; в метаданных перечислены Sentence Similarity и Feature Extraction. По названию PhoBERT и карточке модель предназначена для вьетнамского языка. Доступна в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели ceggian/sbert_pt_reddit_mnr_128 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_mnr_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_mnr_32 — модель Sentence-Transformers на базе BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучена с функцией потерь MultipleNegativesRankingLoss на данных Reddit; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления, поэтому подходит для поиска похожих сообщений, группировки текстов и ранжирования кандидатов по семантической близости. В репозитории находятся веса PyTorch. Лицензия и сведения о поддерживаемых языках в предоставленных данных отсутствуют.
Карточка модели ceggian/sbert_pt_reddit_mnr_512 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_mnr_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_mnr_32 — модель Sentence-Transformers на базе BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучена с функцией потерь MultipleNegativesRankingLoss на данных Reddit; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления, поэтому подходит для поиска похожих сообщений, группировки текстов и ранжирования кандидатов по семантической близости. В репозитории находятся веса PyTorch. Лицензия и сведения о поддерживаемых языках в предоставленных данных отсутствуют.
Карточка модели ceggian/sbert_pt_reddit_mnr_64 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_mnr_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_mnr_32 — модель Sentence-Transformers на базе BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучена с функцией потерь MultipleNegativesRankingLoss на данных Reddit; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления, поэтому подходит для поиска похожих сообщений, группировки текстов и ранжирования кандидатов по семантической близости. В репозитории находятся веса PyTorch. Лицензия и сведения о поддерживаемых языках в предоставленных данных отсутствуют.
khanhpd2/sbert-vinai-phobert-large-mnr — модель семейства Sentence-Transformers на архитектуре RoBERTa, основанная на PhoBERT от VinAI. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 468,2 млн параметров и принимает последовательности длиной до 258 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. В README приведён способ использования с Sentence-Transformers и Transformers; при работе через Transformers нужно применять подходящую операцию pooling к контекстным представлениям токенов. Карточка не сообщает лицензию и отдельные ограничения качества. Судя по базовой модели PhoBERT и назначению, модель ориентирована на вьетнамский язык; качество на других языках не подтверждено. Формат весов — PyTorch.
mlsa-iai-msu-lab/sci-rus-tiny3.5 — компактная модель Sentence Transformer на архитектуре RoBERTa, представленная mlsa-iai-msu-lab. Она преобразует предложения и абзацы в плотные векторы размерностью 312 для сравнения смыслового сходства и других задач поиска и группировки текстов. Векторное представление строится усреднением токенов, затем нормализуется; сходство можно оценивать косинусной мерой. Максимальная длина входа — 1024 токена. Модель предназначена для семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты на RuSciBench для русского и английского языков. Репозиторий использует Sentence Transformers и формат safetensors; лицензия — MIT. Размер модели — 25,5 млн параметров. Карточка не сообщает о других известных ограничениях.
mlsa-iai-msu-lab разработала компактную многоязычную модель эмбеддингов научных текстов на архитектуре ModernBERT. Модель обучена с нуля: сначала на задаче masked language modeling, затем совместно с контрастивным обучением и дистилляцией от Qwen/Qwen3-Embedding-8B. Для неё также с нуля создан токенизатор, ориентированный на научную терминологию. Модель предназначена для получения векторных представлений научных публикаций на русском, английском и китайском языках. Обучение на аннотациях, парах «название — аннотация», цитированиях и совместных цитированиях помогает сопоставлять семантически близкие тексты, в том числе между языками. Размер модели — 20,1 млн параметров, контекст — до 8192 токенов. Подходит для поиска научных работ по смыслу, сравнения публикаций и межъязыкового поиска. Доступна под лицензией MIT.
semanlink_all_mpnet_base_v2 — модель Sentence Transformers на архитектуре MPNet, дообученная разработчиком raphaelsty на графе знаний Semanlink с помощью библиотеки MKB для задачи предсказания связей. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации терминов. Модель ориентирована на техническую и общую терминологию в машинном обучении, NLP и новостях; поддерживает английский и французский языки и принимает текст. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Контекст модели — до 514 токенов.
Итальянская модель эмбеддингов предложений на базе архитектуры BERT, разработанная автором репозитория nickprock и предназначенная для использования с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые подходят для поиска семантически близких текстов, кластеризации и оценки сходства. Модель содержит 137,9 млн параметров, принимает текстовое описание на итальянском языке и поддерживает контекст до 512 токенов. Обучение использовало CosineSimilarityLoss; в репозитории доступны форматы PyTorch, Safetensors и ONNX. Базовая модель — dbmdz/bert-base-italian-xxl-uncased. Лицензия — MIT. Возможности модели сосредоточены на получении эмбеддингов предложений; качество зависит от соответствия входных текстов итальянскому языку и прикладной задаче.
manu/sentence_croissant_alpha_v0.1 — модель семейства Llama, созданная на базе Sentence-Transformers для получения плотных векторных представлений предложений и абзацев. Она содержит 1,3 млрд параметров, формирует эмбеддинги размерностью 2048 и рассчитана на входной контекст до 2048 токенов. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации предложений и абзацев. Карточка сообщает о тренировке с использованием MultipleNegativesRankingLoss; в метаданных также отмечены возможности чата и эмбеддингов, однако основное назначение модели — векторизация и сравнение текстов. Язык модели в предоставленных данных не определён. Файлы опубликованы в формате safetensors; сведения о лицензии отсутствуют.
imvladikon/sentence_transformers_alephbertgimmel_small — модель на базе BERT, опубликованная как Sentence-Transformers для получения плотных векторных представлений предложений и абзацев. Она содержит 82,3 млн параметров, формирует эмбеддинги размерности 512 и рассчитана на входные последовательности длиной до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Она обучалась с MultipleNegativesRankingLoss на датасетах stsb_he и wikianswers_hebrew, поэтому ориентирована на тексты на иврите. Доступен формат PyTorch; лицензия не указана в предоставленных данных.
CatkinChen дообучил модель sentence-transformers/all-MiniLM-L6-v2 для создания векторных представлений предложений и абзацев. Это плотный энкодер на архитектуре BERT размером 25,9 млн параметров: он преобразует текст в нормализованные векторы размерности 384, которые можно сравнивать косинусным сходством. Максимальная длина последовательности в README указана как 256 токенов; метаданные указывают контекст до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Она обучена с TripletLoss на наборе из 309 примеров; в README приведена точность cosine_accuracy 0,8 на тестовой оценке. Англоязычная базовая модель предполагает основное применение для английского текста. Для использования нужны Sentence Transformers или совместимая система извлечения эмбеддингов. Лицензия в предоставленных данных не указана.