I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейai-forever/sbert_large_nlu_ru — русскоязычная модель семейства BERT large от команды SberDevices для получения векторных представлений предложений. Она предназначена для кодирования текста в эмбеддинги; в README для повышения качества рекомендуется усреднять представления токенов. Модель можно применять для поиска и сравнения текстов по смыслу, кластеризации и других задач на основе эмбеддингов. Модель имеет архитектуру BertModel и содержит около 525,7 млн параметров. Она принимает текст на русском языке, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT.
Thabet/sb_sentence_transformer — модель на базе XLM-RoBERTa, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель содержит 305,2 млн параметров и принимает текст с контекстом до 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для построения семантического поиска и группировки текстов; в Transformers для получения векторов требуется применить корректную операцию pooling к контекстным представлениям токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
Это Sentence Transformer на базе MPNet, дообученный сопоставлять предложения и абзацы по смыслу. Модель разработана для построения плотных векторов размерности 768; сходство между ними можно оценивать косинусной мерой. В репозитории используются архитектура MPNetModel, усреднение токенных представлений и нормализация векторов; размер модели — 136,7 млн параметров. Модель подходит для семантического поиска, поиска перефразировок, кластеризации, классификации текста и оценки семантического сходства. Обучающий набор содержит 307 331 пару текстов; примеры связывают фактические сообщения с целями устойчивого развития ООН, в том числе с ЦУР 4 об образовании. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают контекст 514 токенов; практический лимит из карточки модели — 384 токена. Языки обучения и поддерживаемые языки явно не перечислены. Лицензия в предоставленных данных не указана.
ITESM/sentece-embeddings-BETO — модель эмбеддингов предложений на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. В метаданных указаны 137,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель обучалась с функцией потерь Multiple Negatives Ranking Loss и косинусным сходством; среди датасетов карточки указаны Stack Exchange XML и CodeSearchNet. Её можно применять для семантического поиска и группировки текстов, в том числе в контекстах вопросов и ответов и поиска кода. Лицензия в предоставленных данных не указана.
deepset/sentence_bert — загрузка предварительно обученной модели bert-base-nli-stsb-mean-tokens из репозитория Sentence Transformers. Это модель семейства BERT с 136,7 млн параметров и контекстом до 512 токенов, доступная в форматах PyTorch и Flax. Она предназначена для получения векторных представлений предложений, в частности для семантического сопоставления текстов и поиска похожих фраз. Лицензия — Apache 2.0.
efederici/sentence-bert-base — модель Sentence-Transformers на архитектуре BERT, разработчик которой описывает её как средство для преобразования предложений и абзацев в плотные векторы размерности 768. Модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Она обучалась на STS-B; в каталоге также указан мультиязычный набор STS-B для оценки семантического сходства. Модель содержит 137,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт эмбеддинги. Доступный формат весов — PyTorch. В метаданных указан итальянский язык; другие языки по имеющимся сведениям подтвердить нельзя. Для использования через Transformers после получения контекстных представлений требуется применить подходящую операцию pooling. Лицензия в предоставленных данных не указана.
jeonsworld/sentence-embedding-base — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. Модель подходит для построения векторного поиска и группировки текстов по смыслу. Метаданные указывают на поддержку извлечения признаков и сравнения предложений. В репозитории указаны веса PyTorch. Лицензия в доступных данных не приведена.
annakotarba/sentence-similarity — модель Sentence-Transformers на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 384. Её можно применять для семантического поиска и кластеризации текстов, а также для сравнения сходства предложений. Модель содержит 124,3 млн параметров и рассчитана на контекст до 512 токенов. При обучении использовалась TripletLoss с евклидовой метрикой расстояния. Для работы предусмотрена библиотека sentence-transformers; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Сведения о лицензии и языках в предоставленных данных отсутствуют.
KingName1/sentence_transformer — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и коротких абзацев в плотные семантические векторы размерности 768. README описывает её как дообученную на основе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений; метаданные указывают 136,7 млн параметров и библиотеку sentence-transformers. Входной текст кодируется для семантического поиска, сравнения сходства и кластеризации.
Это Sentence Transformer, разработанный myrkur и дообученный на базе myrkur/sentence-transformer-parsbert-fa на наборе персидских вопросов и ответов myrkur/persian-blog-QA. Модель использует архитектуру BERT с усреднением токенных представлений и преобразует предложения и абзацы на персидском языке в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов на персидском языке. Она содержит около 190 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт векторы. Для использования распространяется по лицензии Apache-2.0.
Daniel Park публикует дообученную версию sentence-transformers/all-MiniLM-L6-v2 для получения эмбеддингов предложений и сравнения их семантической близости. Модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает текстовые последовательности с контекстом до 512 токенов. В README описано контрастивное дообучение на парах предложений с косинусным сходством; указана длина последовательности 128 токенов при обучении. Модель подходит для поиска похожих предложений, семантического поиска и сопоставления вопросов или текстовых фрагментов. Карточка указывает английский язык и обучающие данные из нескольких источников, включая S2ORC, MS MARCO, SNLI и MultiNLI. Распространяется под лицензией Apache-2.0. README не приводит оценок качества именно этой версии.
Это дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, опубликованная пользователем richie-ghost. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству, семантического поиска и других задач работы со сходством текстов. Архитектура состоит из MPNet, среднего pooling по токенам и нормализации; модель содержит 136,7 млн параметров и рассчитана на последовательности до 514 токенов по метаданным Hugging Face. README указывает максимальную длину 384 токена, поэтому практический предел может зависеть от используемой конфигурации. Модель подходит для поиска похожих фрагментов, выявления перефразировок, кластеризации и получения признаков для классификации текста. В README описано дообучение на 48 393 парах предложений с MultipleNegativesRankingLoss. Языки обучения или поддерживаемые языки не подтверждены предоставленными данными. Лицензия в метаданных и README не указана.
embaas/sentence-transformers-e5-large-v2 — версия модели intfloat/e5-large-v2 в формате Sentence-Transformers, опубликованная embaas. Это плотная BERT-модель с 433,9 млн параметров: она преобразует предложения и абзацы в векторы размерности 1024 для поиска семантически близких текстов, кластеризации и построения семантического поиска. Модель принимает текст, а выдаёт векторные эмбеддинги; максимальная длина контекста — 512 токенов. Модель подходит для кодирования текстов в приложениях Sentence-Transformers и через API embaas. В метаданных отмечены задачи извлечения признаков и определения сходства предложений. README не сообщает ограничений качества или перечня поддерживаемых языков. Лицензия в предоставленных данных не указана.
Модель hunkim/sentence-transformers-klue-bert-base на базе BERT предназначена для преобразования предложений и абзацев в плотные векторы размерности 768. Она разработана для Sentence-Transformers и подходит для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и поддерживает контекст длиной до 512 токенов. Модель можно использовать через библиотеку Sentence-Transformers или через Transformers с подходящей операцией pooling для получения векторов из контекстных представлений токенов. Веса доступны в формате PyTorch. Карточка описывает обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
hunkim/sentence-transformersklue-bert-base — модель семейства BERT, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла, семантического поиска и кластеризации. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель обучена с функцией CosineSimilarityLoss и рассчитана на получение эмбеддингов текста. Её можно применять для поиска похожих фрагментов и группировки текстов; в Transformers поверх контекстных представлений требуется использовать подходящий pooling. Репозиторий содержит веса PyTorch. Языковая специализация и лицензия в предоставленных данных не указаны.
Это резервная копия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2, размещённая пользователем tgsc; автор README сообщает, что не является автором исходной модели. Исходную модель обучила команда Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель основана на XLM-RoBERTa, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Доступные сведения не перечисляют конкретные поддерживаемые языки; название исходной модели указывает на многоязычное назначение.
PrabalAryal/Sentence_Transformer_v0.0.1 — дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. В README указана максимальная длина последовательности 64 токена, а метаданные каталога сообщают о контекстном окне 514 токенов. Модель предназначена для семантического сравнения текстов, поиска похожих фрагментов, поиска перефразировок, кластеризации и классификации текста по эмбеддингам. Обучение описано на 8 884 парах предложений с помощью MultipleNegativesRankingLoss; в примерах датасета есть тексты на нидерландском языке. Базовая модель многоязычная, но конкретный перечень поддерживаемых языков этой версии не приведён. Для использования указана библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
bachngo/sentenv2 — модель Sentence Transformers на архитектуре XLM-RoBERTa, разработчик — bachngo. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. В метаданных указано 305,2 млн параметров и контекст длиной 514 токенов; модель доступна в формате safetensors. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Лицензия в предоставленных данных не указана.
Карточка модели mah18/sent_similarity на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
mann2107/setfitbcmpii — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для вычисления семантической близости, поиска по смыслу и кластеризации текстов. В качестве функции потерь при обучении использовалась CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления. Контекст составляет 514 токенов. Репозиторий содержит веса PyTorch; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Указаний на базовую модель, поддерживаемые языки и лицензию в предоставленных данных нет.
Это модель Sentence Transformers на основе MPNet, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; в README также приведён пример использования через библиотеку sentence-transformers. Веса опубликованы в формате PyTorch, размер модели — 136,7 млн параметров, максимальная длина контекста — 514 токенов. README не называет базовую модель, обучающие данные, поддерживаемые языки или лицензию.
sam-babayev/sf_model_e5 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем sam-babayev. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, кластеризации и других задач сравнения текстов. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; её контекст ограничен 512 токенами. Модель принимает текст и выдаёт векторные представления. В карточке не названы поддерживаемые естественные языки и конкретная предметная область. Вес репозитория опубликован в формате safetensors; лицензия в предоставленных данных не указана.
Muennighoff/SGPT-125M-mean-nli — модель семейства SGPT, разработанная Muennighoff и представленная в формате Sentence Transformers для получения векторных представлений предложений и оценки их семантического сходства. Она основана на GPT-Neo и содержит 137,7 млн параметров; максимальный контекст составляет 2048 токенов. Модель обучали с MultipleNegativesRankingLoss и косинусной мерой сходства, используя наборы предложений без дубликатов. Модель предназначена для сравнения предложений и получения эмбеддингов, например, для семантического поиска, поиска похожих текстов и ранжирования кандидатов по близости к запросу. Метаданные указывают на поддержку feature extraction и sentence similarity. Языки обучения или приоритетные языки в доступных данных не обозначены. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных источниках отсутствуют.
Muennighoff/SGPT-1.3B-weightedmean-msmarco-specb-bitfit — модель для получения векторных представлений текста и оценки сходства предложений. Она основана на плотной архитектуре GPT-Neo и содержит 1,5 млрд параметров; длина контекста — до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства, а название модели связывает её с MS MARCO и взвешенным усреднением токенов. Модель подходит для поиска по смыслу, сравнения предложений и других задач, где требуется сопоставлять тексты по близости эмбеддингов. В метаданных указан формат PyTorch. Сведения о лицензии в предоставленных материалах отсутствуют.
Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit — модель эмбеддингов предложений на архитектуре GPT-J, обученная для оценки сходства текстов. Она предназначена для поиска семантически близких предложений и документов, ранжирования результатов и построения поисковых систем. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства; метаданные отмечают поддержку эмбеддингов и задачи sentence similarity. Контекст составляет 2048 токенов, формат весов — PyTorch. Модель опубликована под лицензией MIT.
mrp/SimCSE-model-WangchanBERTa-V2 — модель эмбеддингов предложений на архитектуре CamemBERT, опубликованная пользователем mrp. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; для работы можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Веса представлены в формате PyTorch; размер модели — 132,5 млн параметров, контекст — до 512 токенов. README посвящён WangchanBERTa V2, однако языковая поддержка в предоставленных сведениях явно не перечислена. Лицензия в доступных данных не указана.
George2002/sledopyt_embedder_v4 — модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-large для представления предложений и абзацев в виде плотных текстовых эмбеддингов. Архитектура основана на XLM-RoBERTa-large с усреднением токенов и нормализацией; размер эмбеддинга — 1024 измерения, максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель обучалась на парах запросов и фрагментов текста, а также на парах похожих запросов с отрицательными примерами. Она подходит для семантического поиска по фрагментам документов, поиска похожих запросов, выявления перефразировок, кластеризации и классификации текста. Примеры обучающих данных на русском языке, а базовая модель многоязычная. Для использования нужны текстовые запросы или документы; результатом служат эмбеддинги, которые можно сравнивать или использовать в поисковых и аналитических системах. Модель опубликована в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
Модель hi-di-hi-base — англоязычный Sentence Transformer, дообученный автором carsondial на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и нормализует их; сходство текстов оценивается косинусной близостью. Модель построена на BERT, использует CLS-пулинг и поддерживает последовательности до 512 токенов. Модель предназначена для семантического поиска, сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков, в том числе для поиска по базе знаний. README сообщает о дообучении на 45 тысячах пар anchor-positive из набора json; приведены оценки поиска при разных размерностях эмбеддингов. Доступна по лицензии Apache-2.0.
snowflake-arctic-embed-m-v1.5 — модель для создания векторных представлений текста, разработанная Snowflake. Она предназначена для задач семантического сходства, поиска и ранжирования текстов, а также других сценариев, где требуется сравнивать смысловое соответствие предложений или документов. Модель доступна для использования через экосистему sentence-transformers и Transformers.js. В README не указаны архитектура, число параметров, поддерживаемые языки, максимальная длина контекста и перечень модальностей, поэтому эти характеристики нельзя надёжно описать. Модель относится к классу текстовых embedding-моделей и не предназначена для генерации текста. В качестве ориентира приведён результат на тесте MTEB ArguAna: основной показатель составляет 59,53. Модель распространяется по лицензии Apache-2.0.
dnth/ssf-retriever-all-MiniLM-L6-v2 — модель Sentence Transformer, дообученная на базе nomic-ai/modernbert-embed-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию эмбеддингов; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В карточке указаны обучающая выборка из 3016 примеров с парами и отрицательными примерами, а также оценочная выборка из 754 примеров. Метаданные называют её дообучением ModernBERT и указывают библиотеку Sentence Transformers. Модель работает с текстом и выдаёт векторы; карточка не указывает поддерживаемые естественные языки, поэтому область применения по языкам не уточняется. Лицензия в предоставленных данных не указана.