I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейricardo-filho/sbertimbau-large-nli-sts — модель эмбеддингов предложений на базе BERT, представленная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; в метаданных указано 433,2 млн параметров, а длина контекста составляет 512 токенов. Модель подходит для построения семантического поиска, ранжирования по близости смысла и группировки похожих текстов. Метаданные указывают на поддержку извлечения признаков и сходства предложений. Карточка не уточняет языки обучения и оценки качества. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
ricardo-filho/sbertimbau-large-quora-multitask — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем ricardo-filho. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В обучении использовались MultipleNegativesRankingLoss с косинусным сходством и OnlineContrastiveLoss; модель доступна в формате PyTorch и поддерживается библиотекой Sentence-Transformers. Модель подходит для поиска похожих вопросов и документов, группировки текстов по смыслу и построения семантического поиска. Контекст ограничен 512 токенами. По названию и базовой модели Sbertimbau она ориентирована на португальский язык; в предоставленной карточке не перечислены конкретные оценки качества. Лицензия в доступных данных не указана.
S-BioBert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, представленная пользователем pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла и поиска семантически близких текстов. Модель подходит для семантического поиска, кластеризации и вычисления сходства между текстами. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Её обучали с функцией потерь CosineSimilarityLoss; название и карточка указывают на обучение с использованием SNLI, MultiNLI и STS-B. Лицензия в предоставленных данных не указана.
Это дообученная модель Sentence Transformers на базе Snowflake/snowflake-arctic-embed-s, разработанная автором репозитория tjohn327. Модель на архитектуре BERT преобразует предложения и абзацы в плотные текстовые векторы размерностью 384 и нормализует их; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и извлечения эмбеддингов. Также её можно применять для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска по набору val-ir-eval, но они не гарантируют аналогичного качества на других данных. Для модели указано 4 321 обучающий пример пар предложений; язык этих данных в предоставленной карточке не обозначен. В метаданных указана лицензия? Нет сведений о лицензии, поэтому условия использования по этой карточке установить нельзя.
peter2000/sdg_sentence_transformer — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Её можно применять для семантического поиска, кластеризации и сравнения сходства текстов. Размер модели — 136,7 млн параметров; максимальная длина контекста — 512 токенов. Для работы доступны веса PyTorch и библиотека Sentence-Transformers. Модель принимает текст и выдаёт эмбеддинги. В карточке указано обучение с функцией потерь DenoisingAutoEncoderLoss. Язык обучения и лицензия в предоставленных данных не указаны.
sentence-BERTino — модель на базе DistilBERT, опубликованная efederici. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, кластеризации и семантического поиска. Модель обучена на парах вопрос–контекст из SQuAD на итальянском языке и парах тег–новостная статья, собранных из веб-источников. Модель предназначена для построения эмбеддингов текста и поиска похожих фрагментов; её можно использовать с Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0.
ys7yoo/sentence-bert-klue-sts-all — модель Sentence-Transformers на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Она обучалась с функцией CosineSimilarityLoss и подходит для поиска семантически близких текстов, кластеризации и вычисления сходства предложений. Модель содержит 137,8 млн параметров, принимает текст и формирует векторы; максимальная длина контекста составляет 512 токенов. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. README не сообщает поддерживаемые естественные языки или лицензию, поэтому они не уточняются.
Карточка модели PapaMoth/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.
shangrilar/sentence-encoder-klue-mrc — модель семейства BERT, упакованная в формат safetensors и созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и возвращает векторные представления. Размер модели — 144 млн параметров, максимальная длина контекста — 512 токенов. Карточка указывает на KLUE-MRC в названии, но не описывает языки обучения и не приводит метрики качества или конкретные ограничения применения. Лицензия в предоставленных данных не указана.
ys7yoo/sentence-roberta-large-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она обучалась с функцией CosineSimilarityLoss и подходит для оценки семантической близости текстов, семантического поиска и кластеризации. Размер модели составляет 435,4 млн параметров, контекст — до 514 токенов; доступны веса PyTorch. Модель принимает текст и выдаёт векторные представления, которые можно сравнивать по сходству или использовать в поисковых и кластеризационных системах. Карточка не сообщает о специализированных предметных областях или целевых языках, поэтому её следует рассматривать как модель общего назначения, не приписывая ей конкретную языковую специализацию. Лицензия в предоставленных данных не указана.
Torekhan/sentence_similarity_model — модель Sentence Transformers, дообученная автором Torekhan на Snowflake/snowflake-arctic-embed-m для работы с казахскими текстами. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и подходит для сравнения смысловой близости, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура включает BERT-трансформер, pooling по CLS-токену и нормализацию векторов; сходство оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Обучение проводилось на датасете KazakhTextDuplicates из 25 922 примеров с MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
hunkim/sentence-transformer-klue — модель на архитектуре RoBERTa, преобразующая предложения и абзацы в плотные векторы размерности 768. Она содержит 137,8 млн параметров и предназначена для получения эмбеддингов, сравнения смысловой близости текстов, семантического поиска и кластеризации. Модель обучена с функцией CosineSimilarityLoss и работает с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель принимает текст и возвращает векторные представления; контекст составляет до 514 токенов. Карточка описывает её как sentence-transformers модель для работы с предложениями и абзацами. Лицензия в предоставленных данных не указана.
CatkinChen дообучил SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для получения векторных представлений предложений и абзацев. Энкодер на архитектуре BERT содержит 25,9 млн параметров, формирует плотные векторы размерности 384 и сравнивает их с помощью косинусного сходства. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В README приведён результат cosine accuracy 0,8857 на тестовой оценке TripletEvaluator; обучение описано на выборке из 309 примеров с TripletLoss. Данных о лицензии в предоставленных источниках нет.
embaas/sentence-transformers-gte-small — модель эмбеддингов на базе архитектуры BERT, опубликованная под организацией embaas. Она преобразует предложения и абзацы в плотные векторы размерностью 384, которые подходят для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для получения векторных представлений текста, которые можно использовать в поисковых системах и приложениях анализа сходства. Репозиторий содержит веса PyTorch; для использования README рекомендует библиотеку Sentence-Transformers. Лицензия в предоставленных данных не указана.
smart-tribune/sentence-transformers-multilingual-e5-small — модель семейства Sentence-Transformers на архитектуре BERT, разработчик которой в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации текстов. Модель имеет 124,3 млн параметров, принимает текст, поддерживает контекст до 512 токенов и распространяется в формате safetensors. Векторы можно применять для поиска текстов по смыслу и группировки похожих документов. Метаданные указывают задачи извлечения признаков и оценки сходства предложений. Название модели содержит «multilingual», однако доступные данные не перечисляют поддерживаемые языки. Лицензия в предоставленных сведениях не указана.
Serafim 100m Portuguese PT Sentence Encoder — модель семейства Serafim PT*, разработанная Luís Gomes, António Branco, João Silva, João Rodrigues и Rodrigo Santos. Это sentence-transformers энкодер на архитектуре BERT с 136,1 млн параметров, который преобразует предложения и абзацы на португальском языке в плотные векторы размерности 768. Максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. Она обучалась с функцией потерь CoSENT и поддерживается библиотекой Sentence-Transformers. Репозиторий содержит веса в формате safetensors. Лицензия MIT.
Карточка модели lewtun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
jegormeister/setfit-model — модель на базе BERT, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для построения семантического поиска, группировки похожих текстов и оценки сходства предложений. Карточка не сообщает, на каких языках она обучалась, и не приводит условий лицензии; пригодность для конкретного языка и условия использования следует сверить с данными репозитория.
Pradipta11/setfit-model — модель Sentence Transformers на базе MPNet, разработанная пользователем Pradipta11. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения сходства и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов; для обучения использовалась CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления, которые можно применять для семантического поиска и группировки похожих текстов. Для использования подходят Sentence Transformers или Transformers с подходящей операцией pooling. В репозитории указаны веса PyTorch. Лицензия в предоставленных данных не указана.
gemasphi/setfit-ss-paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации; сходство между текстами можно оценивать по их векторам. Обучение использовало CosineSimilarityLoss. Модель содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Доступны веса PyTorch. Метаданные не содержат явных кодов языков, однако название и назначение модели указывают на мультиязычные paraphrase embeddings. Лицензия в предоставленных данных не указана.
scaperex/SetFitTest — модель на архитектуре MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов по сходству. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. В карточке указано обучение с CosineSimilarityLoss. Модель можно применять для поиска семантически близких фрагментов и группировки текстов. Репозиторий содержит веса PyTorch. Сведения о лицензии и языковой специализации не приведены в использованных источниках.
SFR-Embedding-2_R — модель эмбеддингов текста, разработанная Salesforce Research. Она предназначена для получения векторных представлений текста и задач сравнения предложений, включая поиск и оценку семантической близости. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указана поддержка английского языка и формата safetensors; модель доступна для использования через Transformers и Sentence Transformers. Разработчики представляют её в поддержку академической статьи и рекомендуют перед применением оценивать точность, безопасность и справедливость для конкретного сценария, особенно в задачах с высокими последствиями. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
Muennighoff/SGPT-125M-lasttoken-msmarco-specb — модель для получения эмбеддингов предложений на базе GPT-Neo, разработанная для семантического поиска и сравнения текстов. В ней около 137,7 млн параметров; модель обучена с функцией MultipleNegativesRankingLoss на парах для ранжирования по косинусному сходству. Репозиторий содержит веса PyTorch, максимальная длина контекста — 2048 токенов. Модель подходит для поиска документов и фрагментов по смыслу, сопоставления запросов с текстами и вычисления семантического сходства. Она выдаёт векторные представления текста. Данные подтверждают обучение на MS MARCO, но не дают оснований утверждать поддержку конкретных языков или наличие мультиязычной настройки. Лицензия в предоставленных материалах не указана.
Muennighoff/SGPT-125M-mean-nli-bitfit — модель семейства GPT-Neo, разработанная Muennighoff для получения векторных представлений предложений и оценки их семантического сходства. Она обучалась с помощью Sentence Transformers на MultipleNegativesRankingLoss с косинусной мерой сходства; в обучающем загрузчике использовались пакеты по 64 примера без дубликатов. Модель содержит 137,7 млн параметров, принимает текст и формирует эмбеддинги. Максимальная длина контекста — 2048 токенов. Модель подходит для поиска семантически близких предложений и ранжирования текстов по смысловому сходству. В метаданных указаны форматы PyTorch и задачи sentence-similarity и feature-extraction. Сведения о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.
Muennighoff/SGPT-125M-weightedmean-nli — модель эмбеддингов предложений на архитектуре GPT-Neo, разработанная для представления текста в виде векторов и сравнения семантической близости предложений. Она содержит 137,7 млн параметров, принимает текст и поддерживает контекст до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусным сходством, что подходит для сопоставления текстовых запросов и документов, поиска похожих предложений и ранжирования кандидатов по близости. Модель опубликована в формате PyTorch. В карточке не указаны лицензия и поддерживаемые естественные языки, поэтому их нельзя определить по имеющимся данным. README отсылает к коду проекта и статье за инструкциями и результатами оценки, но сами результаты и детали применения в карточке не приведены.
Muennighoff/SGPT-125M-weightedmean-nli-bitfit — модель Sentence Transformers на архитектуре GPT-Neo, предназначенная для получения векторных представлений предложений и сравнения их семантического сходства. Она содержит 137,7 млн параметров, принимает текст, выдаёт эмбеддинги и поддерживает контекст до 2048 токенов. Модель обучена с помощью MultipleNegativesRankingLoss с косинусной мерой сходства на данных без повторов в батчах. Её можно применять для поиска семантически близких предложений, сопоставления запросов с текстами и ранжирования кандидатов по смысловой близости. README ссылается на код проекта и публикацию для инструкций и результатов оценки, но не приводит их непосредственно. В метаданных указана лицензия? Нет сведений о лицензии в доступных данных.
Muennighoff/SGPT-1.3B-weightedmean-nli — модель для получения эмбеддингов предложений на базе GPT-Neo с 1,5 млрд параметров. Она обучена для оценки семантического сходства: Sentence Transformers использует взвешенное усреднение представлений токенов, а при обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством и NLI-данными, на что указывает название модели. Модель подходит для поиска семантически близких текстов, ранжирования кандидатов по сходству с запросом и построения векторного поиска. Она принимает текст и выдаёт векторные представления, поддерживает контекст до 2048 токенов. В карточке приведены сведения об обучении, но нет конкретных результатов оценки; качество для отдельных языков и задач из этих данных установить нельзя. Формат репозитория — PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Muennighoff/SGPT-2.7B-weightedmean-nli-bitfit — модель семейства GPT-Neo, представленная в формате PyTorch и предназначенная для получения эмбеддингов предложений и оценки их семантического сходства. В карточке указано обучение с функцией MultipleNegativesRankingLoss и косинусным сходством; название модели указывает на взвешенное усреднение токенов и bitfit, однако README не раскрывает эти детали обучения. Модель подходит для поиска семантически близких предложений, сопоставления запросов с текстами и ранжирования кандидатов по сходству. Она содержит 3,1 млрд параметров и поддерживает контекст до 2048 токенов. Язык модели и условия лицензии в предоставленных материалах не приведены.
SILMA STS Arabic Embedding Model 0.1 — модель Sentence Transformers от SILMA AI для оценки смысловой близости предложений и абзацев. Она преобразует текст в плотные векторы размерности 768; близость векторов рассчитывается косинусным сходством. Модель основана на BERT, дообучена в два этапа: сначала на арабских и английских триплетах, затем на парах текстов с оценками сходства. Базовая модель из карточки — silma-ai/silma-embeddding-matryoshka-0.1; в README также указан aubmindlab/bert-base-arabertv02. Модель подходит для семантического поиска, сопоставления вопроса с абзацем, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Карточка приводит оценку на MTEB STS17 для арабского языка и примеры сценариев на арабском и английском. Максимальная длина последовательности — 512 токенов. Модель распространяется по лицензии Apache-2.0.
new5558 выпустил модель эмбеддингов предложений на базе WangchanBERTa, представленной архитектурой CamemBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством; размер составляет 132,5 млн параметров, максимальная длина контекста — 512 токенов. Модель можно использовать с библиотекой Sentence-Transformers или через Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.