I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейABrinkmann/sbert_xtremedistil-l6-h256-uncased-mean-cosine-h32 — модель Sentence-Transformers на архитектуре BERT, разработанная ABrinkmann. Она кодирует предложения и абзацы в плотные векторы размерностью 32 для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 14,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения систем поиска по эмбеддингам. При обучении использовалась CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
S-BioBert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, представленная пользователем pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла и поиска семантически близких текстов. Модель подходит для семантического поиска, кластеризации и вычисления сходства между текстами. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Её обучали с функцией потерь CosineSimilarityLoss; название и карточка указывают на обучение с использованием SNLI, MultiNLI и STS-B. Лицензия в предоставленных данных не указана.
Thabet/sb_sentence_transformer — модель на базе XLM-RoBERTa, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель содержит 305,2 млн параметров и принимает текст с контекстом до 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для построения семантического поиска и группировки текстов; в Transformers для получения векторов требуется применить корректную операцию pooling к контекстным представлениям токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
afschowdhury/semantic-xlmr-bn — модель Sentence Transformers, разработанная Asif Faisal Chowdhury для сопоставления предложений и абзацев в общем векторном пространстве. Она предназначена для семантического поиска и сходства, кластеризации текстов, поиска документов и извлечения информации, а также может применяться в рекомендательных системах и FAQ-системах. Модель основана на XLM-RoBERTa Large и содержит 305,2 млн параметров. Её дообучили методом мультиязычной дистилляции знаний: paraphrase-distilroberta-base-v2 использовалась как учитель, а XLM-RoBERTa Large — как ученик. На выходе — плотные векторы размерности 768; максимальный размер контекста — 514 токенов. Основной целевой язык — бенгальский, при этом модель заявлена как мультиязычная. Модель принимает текст и формирует эмбеддинги для сравнения, кластеризации и поиска. Для задач поиска её можно использовать вместе с индексом векторного поиска; качество для конкретного корпуса и других языков следует проверять отдельно. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
ITESM/sentece-embeddings-BETO — модель эмбеддингов предложений на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. В метаданных указаны 137,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель обучалась с функцией потерь Multiple Negatives Ranking Loss и косинусным сходством; среди датасетов карточки указаны Stack Exchange XML и CodeSearchNet. Её можно применять для семантического поиска и группировки текстов, в том числе в контекстах вопросов и ответов и поиска кода. Лицензия в предоставленных данных не указана.
manu/sentence_croissant_alpha_v0.2 — модель эмбеддингов на базе архитектуры Llama, разработанная для представления предложений и абзацев в виде плотных векторов размерностью 2048. Модель построена на Sentence Transformers и предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Модель содержит 1,3 млрд параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 2048 токенов. Она обучалась с функцией потерь MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
Griffin88/sentence-embedding-LaBSE — PyTorch-порт модели LaBSE, предназначенный для представления предложений на 109 языках в общем векторном пространстве. Модель основана на архитектуре BERT и содержит 498,1 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса PyTorch и safetensors, а для работы через Sentence-Transformers README рекомендует библиотеку sentence-transformers. Модель подходит для получения эмбеддингов предложений и оценки их семантического сходства, в том числе для сопоставления текстов на разных языках. Лицензия — Apache-2.0. README отсылает к публикации LaBSE, но не уточняет автора этого порта или детали обучения именно этой версии.
ys7yoo/sentence-roberta-large-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она обучалась с функцией CosineSimilarityLoss и подходит для оценки семантической близости текстов, семантического поиска и кластеризации. Размер модели составляет 435,4 млн параметров, контекст — до 514 токенов; доступны веса PyTorch. Модель принимает текст и выдаёт векторные представления, которые можно сравнивать по сходству или использовать в поисковых и кластеризационных системах. Карточка не сообщает о специализированных предметных областях или целевых языках, поэтому её следует рассматривать как модель общего назначения, не приписывая ей конкретную языковую специализацию. Лицензия в предоставленных данных не указана.
djsull выпустил модель djsull/sentence-roberta-small для получения векторных представлений предложений и оценки их семантического сходства. Это Sentence Transformer на базе RoBERTa с 81,2 млн параметров: модель усредняет токенные представления, выдаёт эмбеддинги размерности 768 и рассчитана на последовательности длиной до 256 токенов. Сходство между предложениями можно оценивать косинусной мерой. Модель подходит для сравнения формулировок, поиска семантически близких предложений и построения систем поиска по тексту. В README приведены результаты оценки на sts-dev: корреляция Спирмена для косинусного сходства составляет 0,847. Данные обучения включают корейские примеры, однако сведения о полном наборе поддерживаемых языков отсутствуют. Метаданные указывают на контекст до 514 токенов; для применения через Sentence Transformers в README указан предел 256 токенов. Лицензия в предоставленных данных не указана.
annakotarba/sentence-similarity — модель Sentence-Transformers на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 384. Её можно применять для семантического поиска и кластеризации текстов, а также для сравнения сходства предложений. Модель содержит 124,3 млн параметров и рассчитана на контекст до 512 токенов. При обучении использовалась TripletLoss с евклидовой метрикой расстояния. Для работы предусмотрена библиотека sentence-transformers; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Сведения о лицензии и языках в предоставленных данных отсутствуют.
Torekhan/sentence_similarity_model — модель Sentence Transformers, дообученная автором Torekhan на Snowflake/snowflake-arctic-embed-m для работы с казахскими текстами. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и подходит для сравнения смысловой близости, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура включает BERT-трансформер, pooling по CLS-токену и нормализацию векторов; сходство оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Обучение проводилось на датасете KazakhTextDuplicates из 25 922 примеров с MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
sentence-transformers/sentence-t5-base — модель Sentence Transformers для кодирования предложений и абзацев в плотные векторы размерностью 768. Она построена на энкодере T5-base и предназначена прежде всего для оценки сходства между предложениями; для семантического поиска в README отмечено более низкое качество. Модель создана преобразованием TensorFlow-модели st5-base-1 в PyTorch. Используются только веса энкодера T5-base; размер модели — 123,8 млн параметров, контекст — до 512 токенов. Доступны форматы PyTorch и Safetensors, веса сохранены в FP16. Карточка ссылается на публикацию Sentence-T5: Scalable sentence encoders from pre-trained text-to-text models. Модель принимает текст и выдаёт векторные представления, пригодные для сравнения семантической близости. Метаданные указывают английский язык. Лицензия — Apache-2.0.
embedingHF/Sentence_Transformer — модель эмбеддингов предложений на базе BERT, разработанная в рамках Community week Hugging Face для проекта по обучению моделей sentence embeddings на миллиарде пар. Она дообучена контрастивным методом на объединении крупного набора текстовых пар; в README названа исходной предобученной моделью nreimers/MiniLM-L6-H384-uncased. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения предложений и кластеризации. Модель принимает текст и возвращает векторное представление. README указывает усечение входа длиннее 256 word pieces; при обучении длина последовательности ограничивалась 128 токенами. Метаданные указывают 25,9 млн параметров, контекст 512 токенов, английский язык и библиотеку Sentence Transformers. Репозиторий распространяется по лицензии Apache-2.0.
hunkim/sentence-transformer-klue — модель на архитектуре RoBERTa, преобразующая предложения и абзацы в плотные векторы размерности 768. Она содержит 137,8 млн параметров и предназначена для получения эмбеддингов, сравнения смысловой близости текстов, семантического поиска и кластеризации. Модель обучена с функцией CosineSimilarityLoss и работает с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель принимает текст и возвращает векторные представления; контекст составляет до 514 токенов. Карточка описывает её как sentence-transformers модель для работы с предложениями и абзацами. Лицензия в предоставленных данных не указана.
Это Sentence Transformer, разработанный myrkur и дообученный на базе myrkur/sentence-transformer-parsbert-fa на наборе персидских вопросов и ответов myrkur/persian-blog-QA. Модель использует архитектуру BERT с усреднением токенных представлений и преобразует предложения и абзацы на персидском языке в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов на персидском языке. Она содержит около 190 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт векторы. Для использования распространяется по лицензии Apache-2.0.
imvladikon/sentence_transformers_alephbertgimmel_small — модель на базе BERT, опубликованная как Sentence-Transformers для получения плотных векторных представлений предложений и абзацев. Она содержит 82,3 млн параметров, формирует эмбеддинги размерности 512 и рассчитана на входные последовательности длиной до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Она обучалась с MultipleNegativesRankingLoss на датасетах stsb_he и wikianswers_hebrew, поэтому ориентирована на тексты на иврите. Доступен формат PyTorch; лицензия не указана в предоставленных данных.
Daniel Park публикует дообученную версию sentence-transformers/all-MiniLM-L6-v2 для получения эмбеддингов предложений и сравнения их семантической близости. Модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает текстовые последовательности с контекстом до 512 токенов. В README описано контрастивное дообучение на парах предложений с косинусным сходством; указана длина последовательности 128 токенов при обучении. Модель подходит для поиска похожих предложений, семантического поиска и сопоставления вопросов или текстовых фрагментов. Карточка указывает английский язык и обучающие данные из нескольких источников, включая S2ORC, MS MARCO, SNLI и MultiNLI. Распространяется под лицензией Apache-2.0. README не приводит оценок качества именно этой версии.
CatkinChen дообучил SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для получения векторных представлений предложений и абзацев. Энкодер на архитектуре BERT содержит 25,9 млн параметров, формирует плотные векторы размерности 384 и сравнивает их с помощью косинусного сходства. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В README приведён результат cosine accuracy 0,8857 на тестовой оценке TripletEvaluator; обучение описано на выборке из 309 примеров с TripletLoss. Данных о лицензии в предоставленных источниках нет.
embaas/sentence-transformers-e5-large-v2 — версия модели intfloat/e5-large-v2 в формате Sentence-Transformers, опубликованная embaas. Это плотная BERT-модель с 433,9 млн параметров: она преобразует предложения и абзацы в векторы размерности 1024 для поиска семантически близких текстов, кластеризации и построения семантического поиска. Модель принимает текст, а выдаёт векторные эмбеддинги; максимальная длина контекста — 512 токенов. Модель подходит для кодирования текстов в приложениях Sentence-Transformers и через API embaas. В метаданных отмечены задачи извлечения признаков и определения сходства предложений. README не сообщает ограничений качества или перечня поддерживаемых языков. Лицензия в предоставленных данных не указана.
yunyu/sentence-transformers-e5-small-v2 — модель эмбеддингов на архитектуре BERT, опубликованная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Лицензия в доступных данных не указана.
embaas/sentence-transformers-gte-small — модель эмбеддингов на базе архитектуры BERT, опубликованная под организацией embaas. Она преобразует предложения и абзацы в плотные векторы размерностью 384, которые подходят для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для получения векторных представлений текста, которые можно использовать в поисковых системах и приложениях анализа сходства. Репозиторий содержит веса PyTorch; для использования README рекомендует библиотеку Sentence-Transformers. Лицензия в предоставленных данных не указана.
Модель hunkim/sentence-transformers-klue-bert-base на базе BERT предназначена для преобразования предложений и абзацев в плотные векторы размерности 768. Она разработана для Sentence-Transformers и подходит для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и поддерживает контекст длиной до 512 токенов. Модель можно использовать через библиотеку Sentence-Transformers или через Transformers с подходящей операцией pooling для получения векторов из контекстных представлений токенов. Веса доступны в формате PyTorch. Карточка описывает обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
smart-tribune/sentence-transformers-multilingual-e5-small — модель семейства Sentence-Transformers на архитектуре BERT, разработчик которой в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации текстов. Модель имеет 124,3 млн параметров, принимает текст, поддерживает контекст до 512 токенов и распространяется в формате safetensors. Векторы можно применять для поиска текстов по смыслу и группировки похожих документов. Метаданные указывают задачи извлечения признаков и оценки сходства предложений. Название модели содержит «multilingual», однако доступные данные не перечисляют поддерживаемые языки. Лицензия в предоставленных сведениях не указана.
Pyjay/sentence-transformers-multilingual-snli-v2-500k — модель эмбеддингов предложений на базе XLM-RoBERTa, опубликованная пользователем Pyjay. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с использованием Sentence-Transformers и функций потерь SoftmaxLoss и CosineSimilarityLoss. В карточке указано многоязычное назначение, однако конкретный список поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.
Это резервная копия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2, размещённая пользователем tgsc; автор README сообщает, что не является автором исходной модели. Исходную модель обучила команда Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель основана на XLM-RoBERTa, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Доступные сведения не перечисляют конкретные поддерживаемые языки; название исходной модели указывает на многоязычное назначение.
bachngo/sentenv2 — модель Sentence Transformers на архитектуре XLM-RoBERTa, разработчик — bachngo. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. В метаданных указано 305,2 млн параметров и контекст длиной 514 токенов; модель доступна в формате safetensors. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Лицензия в предоставленных данных не указана.
Serafim 900m Portuguese (PT) Sentence Encoder — модель для создания векторных представлений предложений и абзацев на португальском языке. Она разработана авторами семейства Serafim PT и представлена в работе на конференции EPIA 2024. Модель основана на архитектуре DeBERTa-v2 и распространяется в формате safetensors через библиотеку Sentence Transformers. Модель кодирует текст в плотные векторы размерностью 1536, предназначенные для семантического поиска, кластеризации и сравнения смысловой близости текстов. Максимальная длина контекста — 512 токенов; обучение использовало функцию потерь CoSENT. Лицензия MIT.
jegormeister/setfit-model — модель на базе BERT, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для построения семантического поиска, группировки похожих текстов и оценки сходства предложений. Карточка не сообщает, на каких языках она обучалась, и не приводит условий лицензии; пригодность для конкретного языка и условия использования следует сверить с данными репозитория.
Это модель Sentence Transformers на основе MPNet, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; в README также приведён пример использования через библиотеку sentence-transformers. Веса опубликованы в формате PyTorch, размер модели — 136,7 млн параметров, максимальная длина контекста — 514 токенов. README не называет базовую модель, обучающие данные, поддерживаемые языки или лицензию.
gemasphi/setfit-ss-paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации; сходство между текстами можно оценивать по их векторам. Обучение использовало CosineSimilarityLoss. Модель содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Доступны веса PyTorch. Метаданные не содержат явных кодов языков, однако название и назначение модели указывают на мультиязычные paraphrase embeddings. Лицензия в предоставленных данных не указана.