I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейSarashina-Embedding-v1-1B — японская модель для получения текстовых эмбеддингов, разработанная SB Intuitions на базе языковой модели Sarashina2.1-1B. Она преобразует предложения и абзацы в плотные векторы размерности 1792, пригодные для сравнения по косинусному сходству. Модель построена как Sentence Transformer на архитектуре Llama и поддерживает контекст до 8192 токенов. Модель обучена в два этапа: контрастное обучение на слабой разметке и дообучение на размеченных парах для сопоставления запросов и документов. Она предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README сообщается о высоком среднем результате на 16 наборах JMTEB; метаданные также указывают поддержку английского наряду с японским. Лицензия Sarashina Model NonCommercial License Agreement ограничивает коммерческое использование. Модель ориентирована прежде всего на японские тексты, поэтому качество для других языков и специализированных областей может отличаться.
colorfulscoop/sbert-base-ja — японская Sentence-BERT модель, разработанная на основе японской BERT colorfulscoop/bert-base-ja. Её дообучили на японском наборе SNLI, чтобы получать векторные представления предложений и оценивать их смысловое сходство. Модель использует архитектуру BERT с 768-мерными токенными представлениями и усреднением по токенам; максимальная длина последовательности — 512 токенов. В карточке указана точность 0,8529 на тестовой выборке SNLI. Модель предназначена для работы с японским языком. Лицензия репозитория — CC BY-SA 4.0. Для исходной модели colorfulscoop/bert-base-ja в README указана CC BY-SA 3.0; при использовании производной модели следует учитывать условия обеих лицензий.
DMetaSoul разработала DMetaSoul/sbert-chinese-general-v1 — модель Sentence-Transformers на базе BERT, дообученную на наборах данных для семантического сходства и перефразирования, включая NLI, PAWS-X, PKU-Paraphrase-Bank и STS. Она предназначена для общего семантического сопоставления китайских текстов: извлечения векторов предложений, кластеризации текстов и семантического поиска. Модель содержит 129,5 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 512 токенов. Лицензия Apache-2.0. В карточке приведены результаты на нескольких наборах оценки: модель особенно хорошо показала себя на Chinese-STS, но на других задачах результаты неоднородны. Авторы отмечают риск переобучения и предупреждают, что модель не оптимальна для всех задач.
pucpr-br/sbertimbau_news_2018 — модель Sentence Transformers, созданная на базе neuralmind/bert-base-portuguese-cased и дообученная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения сходства текстов. Модель построена на архитектуре BERT и содержит 136,1 млн параметров. Она принимает текст на португальском языке; максимальная длина контекста составляет 512 токенов. Для использования доступны форматы Sentence Transformers и Transformers; в последнем случае для получения представления требуется подходящая операция pooling. Обучение проводилось с BatchAllTripletLoss. Карточка не приводит результатов оценки качества и подробностей обучающих данных, поэтому пригодность для конкретного корпуса следует проверять отдельно. Лицензия в предоставленных данных не указана.
akhooli/sbert_nli_test — арабская модель Sentence Transformers, дообученная разработчиком на базе aubmindlab/bert-base-arabertv02 на тройках из набора ar-nli-dev. Она преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения семантической близости предусмотрена косинусная мера. Модель основана на BERT с усреднением токенных представлений и поддерживает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска и сравнения арабских текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведена оценка на ar-nli-dev с помощью TripletEvaluator: точность по cosine составляет 0,738. Репозиторий использует Sentence Transformers и формат safetensors; лицензия — Apache-2.0.
rainjay/sbert_nlp_corom_sentence-embedding_chinese-base-ecom — модель на базе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 129,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для поиска похожих фрагментов текста и группировки предложений по смыслу. Карточка не уточняет, на каких данных обучалась модель и какие языки она поддерживает, поэтому область применения по языку определить нельзя. Лицензия в предоставленных данных не указана.
khanhpd2/sbert_phobert_large_cosine_sim — модель Sentence-Transformers на базе RoBERTa, содержащая 162,4 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для оценки семантического сходства, поиска по смыслу и кластеризации текстов. Для получения векторов можно использовать библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. Модель обучалась с функцией потерь CosineSimilarityLoss. Контекст составляет 258 токенов. Название модели и базовое семейство PhoBERT указывают на ориентацию на вьетнамский язык; языковая поддержка не перечислена в метаданных. Модель выдаёт векторные представления текста, а не готовые ответы. Лицензия в предоставленных данных не указана.
Карточка модели ceggian/sbert_pt_reddit_softmax_256 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_softmax_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_softmax_32 — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Обучение использовало SoftmaxLoss и данные Reddit, что указывает на настройку для задач сходства предложений. Модель подходит для семантического поиска и группировки похожих текстов; её векторные представления можно использовать в системах поиска и анализа текстов. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения и условия использования по этим параметрам определить нельзя.
ceggian/sbert_pt_reddit_softmax_32 — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Обучение использовало SoftmaxLoss и данные Reddit, что указывает на настройку для задач сходства предложений. Модель подходит для семантического поиска и группировки похожих текстов; её векторные представления можно использовать в системах поиска и анализа текстов. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения и условия использования по этим параметрам определить нельзя.
Карточка модели ceggian/sbert_pt_reddit_softmax_512 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_softmax_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_softmax_32 — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Обучение использовало SoftmaxLoss и данные Reddit, что указывает на настройку для задач сходства предложений. Модель подходит для семантического поиска и группировки похожих текстов; её векторные представления можно использовать в системах поиска и анализа текстов. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения и условия использования по этим параметрам определить нельзя.
khanhpd2/sbert-vinai-phobert-large-mnr — модель семейства Sentence-Transformers на архитектуре RoBERTa, основанная на PhoBERT от VinAI. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 468,2 млн параметров и принимает последовательности длиной до 258 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. В README приведён способ использования с Sentence-Transformers и Transformers; при работе через Transformers нужно применять подходящую операцию pooling к контекстным представлениям токенов. Карточка не сообщает лицензию и отдельные ограничения качества. Судя по базовой модели PhoBERT и назначению, модель ориентирована на вьетнамский язык; качество на других языках не подтверждено. Формат весов — PyTorch.
SciBERT-Neuro-Contrastive — модель на архитектуре BERT, опубликованная Biodatlab как sentence-transformers-модель для получения плотных векторных представлений предложений и абзацев размерностью 768. Её можно использовать для семантического поиска и кластеризации текстов, а также для оценки сходства между предложениями. Модель обучена с Triplet Loss и евклидовой метрикой расстояния. Она содержит 137,1 млн параметров, принимает текстовые входы и формирует эмбеддинги; максимальная длина контекста — 512 токенов. Карточка не перечисляет поддерживаемые естественные языки или конкретные нейронаучные наборы данных, поэтому специализированную языковую поддержку подтвердить нельзя. Для использования предусмотрены Sentence-Transformers и Transformers с подходящим pooling слоем. Модель опубликована в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
jordyvl/scibert_scivocab_uncased_sentence_transformer — модель на базе BERT, упакованная для библиотеки Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. В метаданных указаны 137,1 млн параметров и контекст до 512 токенов; модель доступна в форматах PyTorch и safetensors. Модель предназначена для получения эмбеддингов текстов, сравнения семантической близости, поиска и группировки текстов. Название указывает на использование SciBERT с научным словарём, однако карточка не сообщает отдельные результаты оценки или поддерживаемые языки. Условия лицензии в предоставленных данных не указаны.
anuragseven/scifact-biencoder — модель на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством; максимальная длина контекста составляет 512 токенов. Для использования нужны Sentence-Transformers. Лицензия в предоставленных данных не указана.
Semantic-Ar-Qwen-Embed-0.6B — арабоязычная модель эмбеддингов, разработанная Omartificial-Intelligence-Space и дообученная на базе Qwen/Qwen3-Embedding-0.6B для задач семантического сходства. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство оценивается косинусной мерой. Архитектура Sentence Transformers использует Qwen3Model и усреднение токенных представлений. Максимальная длина последовательности — 32 768 токенов, число параметров — около 507,6 млн. Модель предназначена для сравнения арабских текстов и может применяться в семантическом поиске, поиске перефразировок, кластеризации и классификации текста. Она дообучена на задачах STS и оценивалась на арабских наборах STS17 и STS22.v2; README отмечает специализацию на понимании арабской семантики. Метаданные также содержат английский среди языков карточки, но заявленный в README основной язык — арабский. Модель распространяется по лицензии Apache-2.0. Результаты оценки приведены для ограниченного набора тестов на семантическое сходство и не гарантируют качество на других задачах или доменах.
omniamnaeem/semantic_sim_ner_with_ContrastiveLoss — модель на основе BERT, опубликованная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для сравнения семантической близости, кластеризации и семантического поиска. Контекст модели ограничен 512 токенами, размер — 12,4 млн параметров. В README указано обучение с косинусной функцией потерь и отступом 0,5. Модель принимает текст и выдаёт векторные представления, которые можно использовать для поиска похожих фрагментов и группировки текстов. Лицензия в предоставленных данных не указана.
omniamnaeem/semantic_sim_ner_with_ContrastiveLossV5 — модель на базе BERT, опубликованная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для поиска семантически близких текстов и кластеризации. В README указано обучение с ContrastiveLoss и косинусной метрикой расстояния; модель рассчитана на текстовый ввод и выдаёт эмбеддинги. Размер модели — 12,4 млн параметров, контекст — до 512 токенов. Для запуска подходят Sentence Transformers или Transformers с соответствующей операцией pooling. Язык обучения и применения, лицензия и специализированные области использования в доступных данных не указаны.
nickprock/sentence-bert-base-italian-xxl-uncased-sts-matryoshka — модель Sentence Transformers на базе BERT, разработанная nickprock. Она преобразует предложения и абзацы на итальянском языке в плотные векторы размерностью 768 для поиска семантически похожих текстов, кластеризации и других задач сопоставления предложений. Обучение использовало MatryoshkaLoss с CoSENTLoss и целевыми размерностями 768, 512, 256, 128 и 64, что позволяет использовать эмбеддинги разных размеров. Модель содержит 137,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий предоставляет веса в формате safetensors; для применения предусмотрена библиотека sentence-transformers. Лицензия — MIT. Она предназначена для итальянских текстов; результаты для других языков README не заявляет.
sonoisa разработала Sentence-BERT для получения векторных представлений предложений на японском и английском языках. Модель основана на BERT с архитектурой BertModel и объединяет токены усреднением; в репозитории доступны веса PyTorch и Safetensors. Размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для вычисления сходства предложений и использования эмбеддингов в поиске и сравнении текстов. По результатам автора на закрытом наборе данных точность для японского оказалась на 0,8 процентного пункта ниже, чем у японской версии, а на английском STS Benchmark — на 8,3 пункта выше; Spearman для cosine similarity составил 79,11%. Для обработки японского текста при инференсе требуются fugashi и ipadic. Лицензия — CC BY-SA 4.0.
ilhkn/sentence_classifier — модель Sentence Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Обучение использовало CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу; векторные представления можно использовать в системах поиска и аналитики текстовых коллекций. В карточке указана библиотека PyTorch. Лицензия и специальные ограничения применения в предоставленных данных не описаны.
manu/sentence_croissant_alpha_v0.4 — модель эмбеддингов на базе архитектуры Llama, опубликованная под лицензией MIT. Она преобразует предложения и абзацы в плотные векторы размерности 2048 для семантического поиска, кластеризации и сравнения смысловой близости. Модель рассчитана на работу с французским и английским текстом; максимальная длина контекста — 2048 токенов, число параметров — около 1,3 млрд. Для загрузки и использования подходит библиотека Sentence-Transformers. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и может применяться для поиска текстов по смыслу и группировки семантически похожих фраз. Карточка не приводит численных результатов бенчмарков, поэтому качество на конкретных данных следует проверять отдельно.
sentence-IT5-small — модель на базе архитектуры IT5/T5-small, опубликованная efederici. Она преобразует предложения и абзацы в плотные векторы размерностью 512 и обучена для асимметричного семантического поиска: запросом служит ключевое слово, а документом — короткая новостная статья. Векторы можно использовать для поиска подходящих документов и кластеризации текстов. Модель предназначена для итальянского языка и реализована на PyTorch. Для работы через Sentence-Transformers достаточно получить эмбеддинги текстов; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Веса содержат около 45,8 млн параметров. Лицензия в предоставленных данных не указана.
sonoisa разработал Sentence-LUKE — модель для получения векторных представлений японских предложений. Она дообучена на том же наборе данных и с теми же настройками, что и японская Sentence-BERT. По оценке автора на его закрытом наборе данных, количественное качество сопоставимо с Sentence-BERT или выше примерно на 0,5 процентного пункта, а качественные результаты лучше. Модель основана на предварительно обученной studio-ousia/luke-japanese-base-lite, имеет 138,4 млн параметров и контекст до 514 токенов. Модель предназначена для извлечения признаков и сравнения сходства японских предложений, например для поиска семантически близких текстов. Для запуска вывода требуется SentencePiece. Репозиторий содержит веса PyTorch и safetensors и распространяется по лицензии Apache-2.0.
Карточка модели dean-ai/sentence_transformer_Legal-heBERT на Hugging Face совпадает с карточкой seongwoon/paper_embedding, поэтому описание составлено по ней. seongwoon/paper_embedding — модель Sentence-Transformers на основе BERT, разработанная автором репозитория seongwoon. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,1 млн параметров и принимает текстовые последовательности длиной до 512 токенов; для получения эмбеддингов через Transformers поверх выходов модели требуется применить подходящий pooling. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В карточке нет сведений о целевых языках, обучающих данных или лицензии, поэтому их нельзя надёжно определить.
Yunika/sentence-transformer-nepali — модель эмбеддингов предложений на базе BERT, опубликованная под именем Yunika. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; её контекст ограничен 512 токенами, размер составляет 264,8 млн параметров, веса представлены в формате Safetensors. Модель предназначена для работы с текстом на непальском языке. Её можно использовать через библиотеку Sentence-Transformers или Transformers с подходящей операцией pooling. В метаданных лицензия не указана, поэтому условия использования по имеющимся данным определить нельзя.
CatkinChen дообучил модель sentence-transformers/all-MiniLM-L6-v2 для создания векторных представлений предложений и абзацев. Это плотный энкодер на архитектуре BERT размером 25,9 млн параметров: он преобразует текст в нормализованные векторы размерности 384, которые можно сравнивать косинусным сходством. Максимальная длина последовательности в README указана как 256 токенов; метаданные указывают контекст до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Она обучена с TripletLoss на наборе из 309 примеров; в README приведена точность cosine_accuracy 0,8 на тестовой оценке. Англоязычная базовая модель предполагает основное применение для английского текста. Для использования нужны Sentence Transformers или совместимая система извлечения эмбеддингов. Лицензия в предоставленных данных не указана.
Etelis/Sentiment140_fewshot — модель на базе MPNet в формате PyTorch, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. В карточке указано обучение с CosineSimilarityLoss; модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Она содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно использовать с библиотекой Sentence-Transformers или через Transformers с подходящей операцией pooling. Она выдаёт текстовые эмбеддинги, которые подходят для поиска похожих предложений и группировки текстов по смыслу. Название указывает на Sentiment140 и few-shot, однако README не уточняет языки, конкретную схему обучения или результаты оценки. Лицензия в предоставленных данных не указана.
Карточка модели webis/set-encoder-large на Hugging Face совпадает с карточкой webis/set-encoder-base, поэтому описание составлено по ней. webis/set-encoder-base — модель ранжирования текстовых фрагментов, разработанная авторами работы Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders. Это cross-encoder на базе ELECTRA Base с архитектурой Set-Encoder, предназначенный для совместной переоценки набора найденных пассажей и перестановочно-инвариантного listwise reranking. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Lightning IR. Модель подходит для улучшения порядка результатов поиска, в том числе после первичного отбора BM25 или ColBERTv2. В карточке приведены результаты nDCG@10 на TREC DL 2019 и 2020. Указана лицензия Apache-2.0. По данным карточки, базовая модель — google/electra-base-discriminator, дообученная для ранжирования.
Карточка модели Avshalom/setfit-minilm-distilled на Hugging Face совпадает с карточкой chiragme/setfit-minilm-distilled-ledgar, поэтому описание составлено по ней. chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
chiragme/setfit-minilm-distilled-ledgar — модель семейства BERT на базе Sentence-Transformers, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указаны 18,8 млн параметров, контекст до 512 токенов и формат PyTorch; README описывает обучение с CosineSimilarityLoss. Название репозитория указывает на связь с SetFit, MiniLM и Ledgar, однако README и метаданные не уточняют базовую модель, набор данных или специализацию обучения, поэтому эти детали нельзя подтвердить. Модель принимает текст и выдаёт векторы; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.