I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейalexakkol/BAAI-bge-base-en-nowr-1-2 — модель эмбеддингов на базе BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384, пригодные для семантического поиска, кластеризации и сравнения текстов. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; поддерживает контекст до 512 токенов и содержит около 40 млн параметров. Модель рассчитана на получение текстовых эмбеддингов для поиска по смыслу и группировки текстов. В метаданных указаны sentence-similarity и feature-extraction; при этом название репозитория указывает на вариант без русского языка, но README не подтверждает языковой охват. Файлы модели представлены в safetensors. Лицензия в предоставленных данных не указана.
Модель marumarukun/BAAI-bge-large-en-v1.5_fine_tuned_fold3_20241115_191836 — дообученная англоязычная модель Sentence Transformers на архитектуре BERT. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство текстов можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В метаданных указаны 433,9 млн параметров и формат safetensors. Лицензия в предоставленных данных не указана.
rjnClarke/BAAI-bge-m3-fine-tuned — дообученная модель Sentence Transformers на базе BAAI/bge-m3 для получения плотных текстовых эмбеддингов и сравнения смысловой близости. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; размерность выхода — 1024, максимальная длина входа — 8194 токена. Модель обучена на парах anchor-positive с использованием MultipleNegativesRankingLoss и рассчитана на английский язык. Модель подходит для семантического поиска по документам, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Косинусное сходство можно использовать для ранжирования фрагментов по близости к запросу, в том числе в RAG-сценариях. В README приведены результаты оценки на m3-dev, однако данных недостаточно, чтобы судить о качестве на других наборах и языках. Лицензия — Apache-2.0.
Mozart_Fine_Tuned-10 — модель эмбеддингов предложений на архитектуре BERT, опубликованная аккаунтом mozart-ai. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения сходства и кластеризации. Модель содержит около 40 млн параметров, принимает текст и поддерживает контекст до 512 токенов. В README описано обучение с MultipleNegativesRankingLoss и косинусным сходством; формат весов — PyTorch. По названию репозитория это тонкая настройка BAAI/bge-small-en-v1.5; модель предназначена прежде всего для английского текста. Лицензия в предоставленных данных не указана.
Bangla-Embed-E5 — компактный энкодер предложений на основе BERT, разработанный автором репозитория kazalbrur. Модель дообучена на базе intfloat/multilingual-e5-small с помощью трёхэтапной дистилляции от BGE-M3 и последующей настройки на парах и NLI-данных. Она содержит 124,3 млн параметров по метаданным и обрабатывает до 512 токенов. Модель создаёт текстовые эмбеддинги для поиска по смыслу, сравнения предложений, межъязыкового поиска и классификации. В README сообщается о среднем результате 0,666 на бенгальской части MTEB(Indic) и сильных результатах в поиске на бенгальском языке среди компактных моделей. Для запросов и документов можно использовать отдельные подсказки query и passage и нормализовать эмбеддинги. Модель ориентирована на стандартный бенгальский язык и также поддерживает английский. Она не охватывает региональные варианты бенгальского; на полноразмерных MIRACL-bn и Mr.TyDi-bn уступает более крупным моделям и исходной модели без настройки, а приведённые метрики автоматические. Лицензия модели — MIT; лицензии некоторых обучающих данных могут ограничивать коммерческое использование, поэтому их условия следует проверять отдельно.
hlyu/basemodel_8MSE_2dotxuan — модель на базе BERT, подготовленная в формате Sentence Transformers для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в эмбеддинги размерностью 768 и подходит для семантического поиска и кластеризации. Модель содержит 61,2 млн параметров, имеет контекстное окно до 512 токенов и распространяется в формате PyTorch. Модель можно использовать в конвейерах поиска и сравнения текстов, а также для группировки семантически близких фрагментов. README указывает на обучение с функцией потерь MSELoss. Языки обучения и применения и лицензия в предоставленных данных не указаны.
bce-reranker-base_v1 — модель переранжирования текстовых фрагментов из семейства BCEmbedding, разработанного командой Youdao. Она предназначена для второго этапа поиска: после первичного отбора документов модель оценивает релевантность пар «запрос — фрагмент» и упорядочивает результаты, помогая отобрать наиболее полезные материалы для RAG-систем, вопросно-ответных приложений и поиска по документам. Модель построена на архитектуре XLM-RoBERTa как плотный классификатор последовательностей; в репозитории указано 305,2 млн параметров, формат весов — PyTorch, контекст — 514 токенов. README заявляет поддержку китайского, английского, японского и корейского языков, включая межъязыковое ранжирование. Для длинных фрагментов в BCEmbedding предусмотрена специальная предварительная обработка. Модель также выдаёт оценку релевантности, которую можно использовать для фильтрации слабых совпадений. Рекомендуемый сценарий — передавать ей десятки или сотню кандидатов, найденных моделью первичного поиска, и затем выбирать несколько лучших. Она не генерирует ответы и сама по себе не заменяет этап извлечения документов. Указанная лицензия — Apache-2.0.
andreyunic23/beds_step4 — дообученная модель Sentence Transformers на основе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и короткие абзацы в плотные векторы размерностью 768 для семантического сравнения текстов; сходство оценивается косинусной мерой. Архитектура включает MPNet, усреднение токенных представлений и нормализацию; в README указана максимальная длина последовательности 384 токена, а метаданные приводят контекст 514 токенов. Модель подходит для семантического поиска, сопоставления похожих формулировок, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. README описывает обучение на наборе из 1 084 пар предложений с ContrastiveTensionLossInBatchNegatives. Базовая модель многоязычная, однако языковая специализация этого дообучения в доступных сведениях явно не обозначена. Модель содержит 136,7 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.
Charul1223/bert-base-cased-on-sts — модель на базе BERT, опубликованная пользователем Charul1223. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, кластеризации и семантического поиска. Модель обучалась с функцией потерь CosineSimilarityLoss и рассчитана на использование с библиотекой Sentence-Transformers или через Transformers с соответствующей операцией pooling. Модель содержит 135,5 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. Язык и лицензия в предоставленных данных не указаны.
Это Sentence Transformer на базе google-bert/bert-base-multilingual-uncased, дообученный авторами репозитория на наборе из 10 200 пар текстов. Модель использует архитектуру BERT с усреднением токенных представлений и кодирует предложения и абзацы в плотные векторы размерностью 768; сходство можно оценивать косинусной метрикой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Многоязычные возможности унаследованы от базового BERT, обученного для 102 языков; примеры обучающих данных в карточке приведены на вьетнамском. Метаданные указывают библиотеку Sentence Transformers и формат Safetensors. Лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformers, разработанная tomaarsen и дообученная на парах вопросов и ответов из набора Natural Questions на базе google-bert/bert-base-uncased. Модель кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина входной последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Она может использоваться, например, для сопоставления вопроса с релевантным ответом или документом. Лицензия — Apache-2.0. Результаты в README приведены на небольших тестовых наборах; качество для конкретного корпуса следует оценивать отдельно.
biggy-smiley/bert-base-uncased-fibe-ST — модель Sentence Transformers, дообученная на основе pilotj/bert-base-uncased-fibe-final. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства по косинусной близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В основе — BERT с усреднением токенных представлений; максимальная длина входа составляет 512 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения фрагментов текста. Карточка описывает использование через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
tomaarsen/bert-base-uncased-gooaq — англоязычная модель Sentence Transformers, дообученная на парах вопросов и ответов набора GooAQ на базе google-bert/bert-base-uncased. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству; архитектура состоит из BERT и mean pooling. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска похожих вопросов и ответов, выявления перефразировок, кластеризации и извлечения признаков для классификации текста. В карточке приведены результаты оценки на наборах Nano BEIR и задачах поиска информации. Модель принимает текст и выдаёт эмбеддинги; она не предназначена для генерации ответов. Обучение на GooAQ и англоязычная специализация могут ограничивать качество на других языках и предметных областях. Лицензия — Apache-2.0.
Это Sentence Transformer на базе BERT, разработанный tintnguyen и дообученный на модели tintnguyen/bert-base-vi-uncased-st. Он преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и сравнения их сходства. Модель использует BERT с усреднением токенных представлений; сходство векторов обычно оценивают косинусной мерой. Максимальная длина входа — 512 токенов. Обучение на парах anchor-positive с MultipleNegativesRankingLoss ориентирует её на семантический поиск, поиск перефразирований, кластеризацию и классификацию текстов. Модель рассчитана прежде всего на вьетнамский язык; в примерах данных встречаются также тексты на других языках. Для практического применения модель формирует текстовые эмбеддинги, а не готовые ответы или метки. В метаданных указана лицензия Apache-2.0.
alfaneo/bertimbau-base-portuguese-sts — модель Sentence-Transformers на архитектуре BERT, дообученная для получения эмбеддингов предложений и абзацев на португальском языке. Она преобразует текст в плотные векторы размерности 768, подходящие для сравнения семантической близости, поиска и группировки текстов. По карточке, обучение использовало CosineSimilarityLoss; модель содержит 136,1 млн параметров и рассчитана на контекст до 512 токенов. Модель можно применять для семантического поиска по португалоязычным коллекциям, кластеризации текстов и оценки сходства предложений. Доступны веса PyTorch; README описывает использование с Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
abhijitt/bert_st_qa_multi-qa-mpnet-base-dot-v1-epochs-1 — модель Sentence-Transformers на архитектуре MPNet, обученная разработчиком abhijitt для представления предложений и абзацев в виде плотных векторов размерности 768. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель опубликована в формате PyTorch. Векторы можно применять для семантического поиска, сравнения смысловой близости текстов и кластеризации. В README указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Модель принимает текст и выдаёт эмбеддинги; данные не устанавливают конкретные поддерживаемые языки, поэтому языковую специализацию определить нельзя. Для работы доступны Sentence-Transformers и Hugging Face Transformers; при использовании Transformers требуется подходящая операция pooling поверх контекстных представлений токенов. Сведения о лицензии в предоставленных данных отсутствуют.
Augmented SBERT STSb — модель на архитектуре BERT, опубликованная James Calam и обученная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерности 768 и предназначена для сравнения семантической близости, семантического поиска и кластеризации текстов. Модель применима, например, в поиске по коллекции документов и группировке похожих высказываний. Модель содержит 136,7 млн параметров, принимает контекст длиной до 512 токенов и доступна в формате PyTorch. Она была создана как демонстрационная модель для курса по семантическому поиску, в главе о дополнении внутридоменных данных с помощью BERT. Для преобразования выходов Transformers в эмбеддинг при использовании без Sentence-Transformers требуется подходящая операция pooling. Лицензия в предоставленных данных не указана.
swardiantara/bert-tiny-snli-k1-fixed-cosine — компактная Sentence Transformer модель на базе google/bert_uncased_L-2_H-128_A-2, дообученная для сопоставления предложений и поиска по тексту. Она кодирует предложения и абзацы в плотные векторы размерности 128; сходство между ними оценивается косинусной мерой. Архитектура включает BERT с усреднением токенных представлений, а размер модели составляет 4,4 млн параметров. Модель принимает только текст. Максимальная длина последовательности в README указана как 128 токенов; лимит контекста базовой модели в метаданных — 512 токенов. Она предназначена для семантического поиска и retrieval-сценариев, где нужны векторные представления или сравнение текстов. В карточке описано дообучение на 549 370 примерах; язык обучающих данных и лицензия не установлены по предоставленным сведениям.
swardiantara/bert-tiny-snli-k1-fixed-euclidean — компактная модель Sentence Transformers, дообученная автором на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128 для поиска и сравнения текстов. Архитектура состоит из BERT с двумя слоями и mean pooling; в README указана максимальная длина последовательности 128 токенов, а метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска, извлечения текстовых признаков и ранжирования кандидатов по сходству с запросом. Сходство векторов можно оценивать косинусной мерой. Англоязычная базовая модель и примеры обучающих данных указывают на ориентацию на английский язык. Модель содержит 4,4 млн параметров и распространяется в формате safetensors под лицензией, указанной в карточке Hugging Face.
Это компактная Sentence Transformer модель на базе google/bert_uncased_L-2_H-128_A-2, дообученная автором для сравнения предложений и поиска по смыслу. Архитектура включает BERT с усредняющим pooling и формирует плотные векторы размерности 128; для оценки близости используется косинусное сходство. Модель принимает текст, поддерживает последовательности длиной до 512 токенов по метаданным; в README заявлен предел 128 токенов. Модель предназначена для получения эмбеддингов предложений и абзацев, семантического поиска и извлечения релевантных текстов. Базовая модель компактна и англоязычна, а обучение проводилось на парах текстов с оценками сходства. Файлы представлены в формате safetensors. Условия лицензирования в предоставленных источниках не приведены.
Компактная модель Sentence Transformers, разработанная swardiantara путём дообучения google/bert_uncased_L-2_H-128_A-2 на наборе пар предложений с оценками сходства. Она кодирует текст в плотные векторы размерностью 128 и предназначена для поиска похожих предложений и абзацев, включая семантический поиск и извлечение релевантных текстов. Сходство векторов можно оценивать косинусной мерой. Модель построена на архитектуре BERT с усреднением токенных представлений; содержит 4,4 млн параметров и поддерживает входной контекст до 512 токенов по метаданным. README указывает максимальную длину последовательности 128 токенов, поэтому для штатного использования следует учитывать этот предел. Модель принимает текст и выдаёт векторы; базовая модель ориентирована на английский язык, а в примерах обучения использованы англоязычные данные.
Nhat1904/best-32-shot-model — модель Sentence Transformers на архитектуре MPNet, обученная для получения плотных 768-мерных векторов предложений и абзацев. В карточке указано обучение с CosineSimilarityLoss; размер модели — 136,7 млн параметров, максимальная длина контекста — 514 токенов. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать через библиотеку Sentence-Transformers или Transformers с соответствующей операцией pooling. В репозитории указаны веса PyTorch. В карточке не названы языки обучения и лицензия, поэтому их условия и языковую специализацию по имеющимся данным определить нельзя.
hamtaai/bg3_model — дообученная модель Sentence Transformer на базе BAAI/bge-m3, представленная в архитектуре XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для вычисления семантической близости по косинусному сходству. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. В README указан предел длины последовательности 512 токенов; метаданные сообщают о контекстном окне базовой модели до 8194 токенов, поэтому для этой версии следует ориентироваться на ограничение README. Модель принимает текст и выдаёт эмбеддинги; указанные материалы не уточняют языковую специализацию именно этой дообученной версии. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.
BGE base ArgillaSDK Matryoshka — англоязычная модель Sentence Transformers, дообученная разработчиками модели на базе BAAI/bge-base-en-v1.5 для получения плотных эмбеддингов предложений и абзацев. Модель построена на BERT, использует пулинг CLS-токена и нормализацию векторов; размерность представления составляет 768, а сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучение на 882 примерах с MatryoshkaLoss и TripletLoss позволяет использовать укороченные представления размером 512, 256, 128 или 64 измерения наряду с полными 768-мерными эмбеддингами. Максимальная длина входной последовательности — 512 токенов. Модель работает с английским текстом; лицензия — Apache-2.0.
RinKana/bge-base-en-v1.5-afterimage-v.0.1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые векторы размерности 768 для поиска и сравнения по смыслу. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и подбора ответа к контексту диалога. Для обучения использовались 4 744 примера с якорным текстом, положительными и отрицательными парами; в README приведена оценка retrieval на наборе gap-to-candidate-eval. Репозиторий содержит веса safetensors и рассчитан на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.
Suva/bge-base-finetune-v2 — модель эмбеддингов предложений и абзацев на базе архитектуры BERT, опубликованная в формате Sentence-Transformers. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска, сравнения смысловой близости и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства; размер модели — 136,7 млн параметров, контекст — до 512 токенов. Модель предназначена для систем поиска по смыслу, группировки текстов и вычисления сходства между фрагментами. README не указывает языки обучения или датасеты, поэтому языковую специализацию определить нельзя. Модель опубликована в форматах PyTorch и Safetensors; сведения о лицензии в доступных данных отсутствуют.
RK-1235/bge-base-FIR-matryoshka-BASELINE-10epo-triplet — дообученная модель Sentence Transformers на основе англоязычной BAAI/bge-base-en, созданная разработчиком репозитория. Она преобразует предложения и абзацы в плотные текстовые векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов; максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. В README приведены оценки поиска для усечённых векторов размерностью от 64 до 1024 на тестовом наборе dim_1024/dim_768 и других наборах; результаты относятся к этим данным и не гарантируют качество на иных задачах. Модель рассчитана на английский текст. Лицензия в предоставленных сведениях не указана.
Карточка модели shashengdong/bge-base-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
manu/bge-fr-en — специализированная модель эмбеддингов предложений, созданная дообучением плотной модели BGE-M3 на собственных данных на французском и английском языках. Она построена на архитектуре XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024; число параметров — 658,7 млн, максимальная длина контекста — 8194 токена. Модель предназначена для семантического поиска, сравнения смысловой близости текстов и кластеризации. Её можно использовать для поиска по франко- и англоязычным коллекциям, сопоставления запросов с документами и группировки похожих текстов. Модель оценивалась с помощью MTEB; веса доступны в формате safetensors. Ограничение: README описывает обучение на французских и английских данных, поэтому качество для других языков не подтверждено. Лицензия в предоставленных сведениях не указана.
zhou209/bge-ft — модель Sentence Transformers на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные нормализованные векторы размерностью 1024; сходство текстов измеряется косинусным сходством. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В карточке не раскрыты обучающие данные и языковой охват, поэтому нельзя точнее оценить качество для отдельных языков и предметных областей. Репозиторий содержит веса в формате safetensors; сведения о лицензии отсутствуют.