I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейespejelomar/sentece-embeddings-BETO — модель на основе BERT, обученная для получения векторных представлений предложений и абзацев. Разработчик описывает её как Sentence-Transformers-модель: текст преобразуется в плотные векторы размерности 768, пригодные для семантического поиска и кластеризации. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для обучения использовалась функция MultipleNegativesRankingLoss с косинусным сходством; среди связанных с моделью датасетов указаны StackExchange XML и CodeSearchNet. Для работы можно использовать Sentence-Transformers либо Transformers с соответствующим pooling. Модель подходит для поиска похожих предложений и организации текстов по смысловому сходству. Метаданные указывают формат PyTorch, но сведения о лицензии и поддерживаемых языках отсутствуют.
ys7yoo/sentence-bert-klue-sts — модель Sentence-Transformers на базе BERT, разработанная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Она обучалась с использованием CosineSimilarityLoss. Для работы можно применять библиотеку sentence-transformers либо Hugging Face Transformers с подходящей операцией pooling. Модель опубликована в формате PyTorch. В карточке не указаны лицензия и языки обучения, поэтому их нельзя надёжно определить. Качество семантического сопоставления и поддержка конкретных языков зависят от данных обучения; перед использованием для целевого языка стоит проверить качество на собственных примерах.
Карточка модели marma/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.
ilhkn/sentence_classifier — модель Sentence Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Обучение использовало CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу; векторные представления можно использовать в системах поиска и аналитики текстовых коллекций. В карточке указана библиотека PyTorch. Лицензия и специальные ограничения применения в предоставленных данных не описаны.
manu/sentence_croissant_alpha_v0.2 — модель эмбеддингов на базе архитектуры Llama, разработанная для представления предложений и абзацев в виде плотных векторов размерностью 2048. Модель построена на Sentence Transformers и предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Модель содержит 1,3 млрд параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 2048 токенов. Она обучалась с функцией потерь MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
manu/sentence_croissant_alpha_v0.3 — модель эмбеддингов на базе архитектуры Llama, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 2048 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 1,3 млрд параметров, принимает текст, выдаёт векторы и поддерживает контекст до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss. Репозиторий создан в апреле 2024 года; веса сохранены в формате safetensors. Сведений о языках обучения, лицензии и результатах бенчмарков в предоставленных данных нет.
bachngo/sentence_hsu — модель sentence-transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. В метаданных указано окно контекста 514 токенов; модель принимает текст и выдаёт эмбеддинги. Обучение проводилось с BatchAllTripletLoss. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Карточка не сообщает, на каких языках обучалась модель, поэтому нельзя определить её языковой охват. Лицензия в предоставленных данных не указана.
ys7yoo/sentence-roberta-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa для сопоставления смысла предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и вычисления сходства. В метаданных указано 137,8 млн параметров и контекст длиной до 514 токенов. Модель обучалась с функцией CosineSimilarityLoss и использует PyTorch. Она подходит для построения эмбеддингов и ранжирования текстов по смысловой близости. Название и данные карточки указывают на связь с KLUE STS, однако подробности обучающего набора, точные поддерживаемые языки и условия лицензии в предоставленных источниках отсутствуют.
adit94/sentenceTest_kbert — модель на базе BERT, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с TripletLoss; контекст ограничен 512 токенами. Модель подходит для построения векторного поиска по текстам и группировки семантически близких предложений. Карточка не уточняет поддерживаемые естественные языки и лицензию, поэтому эти характеристики нельзя достоверно указать.
Карточка модели dean-ai/sentence_transformer_Legal-heBERT на Hugging Face совпадает с карточкой seongwoon/paper_embedding, поэтому описание составлено по ней. seongwoon/paper_embedding — модель Sentence-Transformers на основе BERT, разработанная автором репозитория seongwoon. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,1 млн параметров и принимает текстовые последовательности длиной до 512 токенов; для получения эмбеддингов через Transformers поверх выходов модели требуется применить подходящий pooling. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В карточке нет сведений о целевых языках, обучающих данных или лицензии, поэтому их нельзя надёжно определить.
Модель ahessamb/sentence-transformers-all-mpnet-base-v2-2epoch-100pair-mar2-contrastiveloss-morality — дообученная версия sentence-transformers/all-mpnet-base-v2 для создания плотных эмбеддингов предложений и абзацев. Она отображает текст в 768-мерное векторное пространство; архитектура основана на MPNet и содержит 136,7 млн параметров. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Репозиторий содержит веса в формате safetensors, модель рассчитана на входную последовательность длиной до 514 токенов. Лицензия в предоставленных данных не указана.
webis/set-encoder-base — модель ранжирования текстовых фрагментов, разработанная авторами работы Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders. Это cross-encoder на базе ELECTRA Base с архитектурой Set-Encoder, предназначенный для совместной переоценки набора найденных пассажей и перестановочно-инвариантного listwise reranking. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Lightning IR. Модель подходит для улучшения порядка результатов поиска, в том числе после первичного отбора BM25 или ColBERTv2. В карточке приведены результаты nDCG@10 на TREC DL 2019 и 2020. Указана лицензия Apache-2.0. По данным карточки, базовая модель — google/electra-base-discriminator, дообученная для ранжирования.
Карточка модели webis/set-encoder-large на Hugging Face совпадает с карточкой webis/set-encoder-base, поэтому описание составлено по ней. webis/set-encoder-base — модель ранжирования текстовых фрагментов, разработанная авторами работы Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders. Это cross-encoder на базе ELECTRA Base с архитектурой Set-Encoder, предназначенный для совместной переоценки набора найденных пассажей и перестановочно-инвариантного listwise reranking. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Lightning IR. Модель подходит для улучшения порядка результатов поиска, в том числе после первичного отбора BM25 или ColBERTv2. В карточке приведены результаты nDCG@10 на TREC DL 2019 и 2020. Указана лицензия Apache-2.0. По данным карточки, базовая модель — google/electra-base-discriminator, дообученная для ранжирования.
Карточка модели Avshalom/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели Bjornrun/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели Chadeh/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Карточка модели rsilveira79/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
mitra-mir/setfit_model_Calgary_epochs2_Jul_15_2023 — модель эмбеддингов предложений на базе MPNet, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss; карточка описывает модель как sentence-transformers. Её можно использовать для поиска похожих фрагментов, группировки текстов по смыслу и вычисления семантического сходства. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.
Модель mitra-mir/setfit_model_labelfaithful_epochs2 — sentence-transformers-модель на базе MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска по смыслу, вычисления сходства между текстами и кластеризации. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch; модель предоставляет текстовые эмбеддинги. Модель обучалась с функцией потерь CosineSimilarityLoss. Это делает её подходящей для сравнения текстовых представлений и поиска семантически близких фрагментов. В карточке не указаны поддерживаемые языки и условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.
Laxman/setfit-model-v2 — модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория Laxman. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Обучение использовало CosineSimilarityLoss; модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения текстовых эмбеддингов и поиска смыслово близких фрагментов. В метаданных указан формат PyTorch. Лицензия и языковая специализация в предоставленных данных не обозначены.
Muennighoff/SGPT-125M-mean-nli-linear5 — модель для получения векторных представлений предложений на основе GPT-Neo. Она содержит 137,7 млн параметров и принимает текстовые входы; максимальная длина контекста — 2048 токенов. По карточке модель обучалась с помощью MultipleNegativesRankingLoss на косинусном сходстве, что делает её подходящей для сравнения смысловой близости предложений и поиска похожих текстов. Модель можно применять для семантического поиска, ранжирования кандидатов по релевантности и группировки похожих фраз. В README приведены ссылки на код и результаты оценки, но конкретные показатели качества не указаны. Данных о лицензии в предоставленных источниках нет.
Muennighoff/SGPT-1.3B-weightedmean-nli-bitfit — модель для получения векторных представлений предложений и оценки их семантической близости. Она основана на GPT-Neo и использует взвешенное усреднение токенных представлений; модель дообучена методом BitFit на данных NLI с функцией MultipleNegativesRankingLoss и косинусным сходством. Число параметров — около 1,5 млрд, максимальный контекст — 2048 токенов. Модель подходит для поиска предложений по смыслу, сопоставления текстов и построения семантического поиска. Она выдаёт эмбеддинги, пригодные для сравнения по косинусному сходству. README ссылается за примерами использования и результатами оценки на код проекта и публикацию, поэтому конкретные показатели качества здесь не приведены. Лицензия в предоставленных данных не указана.
Muennighoff/SGPT-2.7B-weightedmean-msmarco-specb-bitfit — модель для получения эмбеддингов предложений и оценки их семантического сходства. Она основана на GPT-Neo и обучена с помощью Sentence Transformers на MS MARCO с функцией потерь Multiple Negatives Ranking Loss; в названии указаны взвешенное усреднение, SpecB и BitFit. Модель содержит 3,1 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для семантического поиска, сравнения запросов с документами и ранжирования текстовых кандидатов по близости смысла. В метаданных заявлены задачи извлечения признаков и сходства предложений; README отсылает за инструкциями и результатами оценки к коду проекта, папке eval и статье. Использовать её можно для англоязычных текстов MS MARCO, однако карточка не описывает конкретные ограничения качества или лицензию.
bigscience-data/sgpt-bloom-1b7-nli — модель эмбеддингов предложений на базе архитектуры BLOOM, предназначенная для оценки смысловой близости текстов и извлечения векторных представлений. Карточка описывает обучение с BitFit, пулингом weighted mean и методом GradCache с функцией потерь Multiple Negatives Ranking Loss. Указаны результаты оценки на AskUbuntu, CQADupStack, TwitterPara и SciDocs со средним баллом около 55,1. Модель подходит для поиска семантически похожих предложений, сопоставления вопросов и ответов и поиска по текстовым коллекциям. Метаданные указывают контекст до 4096 токенов и форматы PyTorch и safetensors. Лицензия в предоставленных данных не указана.
cl-nagoya/shioriha-large-pt — модель на архитектуре BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, кластеризации и задач сравнения сходства. Модель содержит 436,2 млн параметров и обрабатывает вход длиной до 512 токенов. Модель предназначена для создания эмбеддингов текста. В Transformers для получения векторного представления поверх контекстных выходов трансформера требуется применить соответствующую операцию pooling. В карточке нет сведений о специальных предметных областях или поддерживаемых языках. Модель опубликована под лицензией, указанной в метаданных Hugging Face; доступные метаданные её не содержат.
vitthalbhandari/simcse_retrain_edos_100k — модель эмбеддингов предложений на базе RoBERTa, опубликованная пользователем Hugging Face vitthalbhandari. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит около 151,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством. В названии указаны SimCSE и EDOS, но карточка не поясняет датасет или специализацию, поэтому назначение следует считать общим для семантических эмбеддингов. Для использования доступны Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
vitthalbhandari/simcse_retrain_edos_10k — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентирует модель на получение векторов, отражающих семантическую близость текстов. Модель содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Её можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия в предоставленных данных не указана.
SimCSE-RetroMAE-Small — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная на основе Seznam/retromae-small-cs с objective SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться в поиске похожих текстов, семантическом поиске, извлечении документов, кластеризации и классификации. Модель построена на архитектуре BERT, содержит 27,2 млн параметров и обрабатывает входной текст с контекстом до 512 токенов. Основной язык — чешский. Репозиторий содержит веса PyTorch; лицензия — CC BY 4.0.
LazarusNLP/s-indobert-base-mmarco — модель Sentence-Transformers на архитектуре BERT, обученная LazarusNLP для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss на основе косинусного сходства; в метаданных указан датасет unicamp-dl/mmarco и язык индонезийский (id).
Watwat100/smol8 — модель на базе Sentence Transformers, разработанная пользователем Hugging Face Watwat100. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Архитектура основана на MPNet, число параметров — 136,7 млн, формат весов — PyTorch; максимальный контекст составляет 514 токенов. Модель подходит для построения семантического поиска по коллекциям текстов, группировки похожих документов и получения эмбеддингов для последующей обработки. В README указано обучение с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.