I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейteven/cross_all_bs320_vanilla_finetuned_WebNLG2017 — модель Sentence-Transformers на базе MPNet, дообученная для получения векторных представлений предложений и абзацев. Разработчик указывает, что модель преобразует текст в плотные векторы размерности 768; в метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. Для работы можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
CrossEncoder-camembert-large — модель-кросс-энкодер для оценки семантического сходства двух предложений, созданная на базе CamemBERT и обученная с помощью класса CrossEncoder библиотеки Sentence Transformers. Она принимает пару текстов и выдаёт оценку сходства от 0 до 1; модель предназначена для ранжирования и сравнения предложений, например при поиске похожих формулировок или проверке релевантности пары фраз. Модель обучена на STS Benchmark, а карточка приводит результаты оценки на французской тестовой выборке: корреляция Пирсона 88,16 и Спирмена 87,57. Архитектура — CamemBERT для классификации последовательности, размер около 435,4 млн параметров, длина контекста — 514 токенов. Основной язык модели — французский. Вес опубликован в форматах PyTorch и Safetensors. Модель хорошо подходит для сопоставления коротких текстов на французском языке, но её оценки сходства не следует трактовать как универсальную меру истинной эквивалентности. Для пары текстов модель запускается совместно, поэтому при масштабном поиске по большому корпусу вычисления могут быть затратными. Лицензия — Apache-2.0.
crossencoder-me5-small-mmarcoFR — франкоязычный кросс-энкодер, разработанный Antoine Louis и дообученный на базе intfloat/multilingual-e5-small. Он совместно обрабатывает запрос и passage, оценивает их релевантность и предназначен для переранжирования результатов семантического поиска после быстрого первичного поиска, например BM25 или bi-encoder. Модель использует архитектуру BERT для классификации последовательностей, содержит 124,3 млн параметров и принимает пары текстов с контекстом до 512 токенов; в обучении максимальная длина пары составляла 256 токенов. Оценки релевантности нормируются сигмоидой в диапазон от 0 до 1. Модель обучена на французской части mMARCO с трудными отрицательными примерами и оценивалась на dev-наборе mMARCO-fr для ранжирования passages. Кросс-энкодер подходит для уточнения порядка уже найденных кандидатов, но требует отдельно оценивать каждую пару запрос–текст, поэтому не рассчитан на первичный поиск по большой коллекции. Лицензия — MIT.
Это переопубликованная модель cross-encoder mmarco-mMiniLMv2-L12-H384-v1, созданная пользователем cross-encoder на Hugging Face; автор текущей копии — corrius. Модель предназначена для повторного ранжирования текстовых пар, например запросов и найденных документов, чтобы уточнить порядок результатов поиска. Архитектура — XLM-RoBERTa для классификации последовательностей; модель содержит 124,3 млн параметров и рассчитана на вход длиной до 514 токенов. В репозитории указаны веса PyTorch. Карточка не описывает языки обучения и поддерживаемые языки, поэтому языковые характеристики установить нельзя. Репозиторий является повторной публикацией исходной модели, а не новой разработкой corrius; README не сообщает лицензию. Для использования и указания авторства следует свериться с исходной карточкой cross-encoder или публикациями авторов.
tubyneto/crowdedflowertunedbert — модель Sentence-Transformers на архитектуре MPNet, обученная преобразовывать предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Обучение проводилось с ContrastiveLoss на основе косинусного расстояния. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста составляет 514 токенов. Доступна в формате PyTorch. README не указывает языки обучающих данных или лицензию, поэтому область языкового применения и условия использования по имеющимся сведениям определить нельзя.
tubyneto/crowdedflowertunedbertt — модель Sentence-Transformers на архитектуре MPNet для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели sickcell/cti-semantic-search-minilm на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.
Contextual AI Reranker v2 1B — мультиязычная модель переранжирования текста, разработанная Contextual AI. Она предназначена для повторной сортировки документов, найденных поисковой или retrieval-системой, с учётом запроса и пользовательских инструкций. Модель подходит для вопросно-ответных систем, мультиязычного поиска, рекомендаций и продуктового поиска, а также для сценариев, где требуется учитывать противоречия между документами или отдавать приоритет более свежей информации. Модель содержит около 1 млрд параметров, поддерживает более 100 языков и контекст длиной до 32K токенов. Её ключевая особенность — следование инструкциям при ранжировании: например, можно указать приоритет последних исследований или другого критерия отбора. В README заявлены высокие результаты на BEIR и выгодное соотношение стоимости и качества, однако конкретные значения бенчмарков не приведены. Модель ориентирована на текстовые задачи и требует специального инференс-процесса с vLLM или Transformers; для production рекомендуется vLLM. Ограничения включают зависимость от совместимых версий библиотек и аппаратных режимов, а также лицензию CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование и предусматривает условия Attribution и ShareAlike.
DANTE v1 — дообученная модель решений на базе Qwen3.5-4B, разработанная Elliott Short. Она принимает предоставленные свидетельства, вопрос и набор вариантов, а затем за один проход оценивает вероятности вариантов через распределение следующего токена. Поддерживаются выбор одного из 2–26 вариантов, ответы «да/нет» и упорядоченные уровни оценки. Модель содержит 3,4 млрд параметров, использует архитектуру Qwen3.5 для текста, формат safetensors и контекст до 262 144 токенов. Модель предназначена для классификации и коротких решений по заданным данным: например, маршрутизации заявок, проверки соблюдения ограничений агентом, оценки лидов и определения срочности. По README, на указанных наборах разработчиков DANTE v1 превзошла нетронутую базовую модель, однако эти наборы использовались при выборе контрольных точек, поэтому результаты относятся к данным того же распределения. Обучение выполнено методом LoRA с последующим объединением адаптера с базовыми весами; карточка указывает Apache-2.0. Модель рассчитана только на английский язык и не предназначена для открытой генерации текста или диалога.
adalbertojunior/db-msm — модель sentence-transformers на архитектуре BERT, обученная преобразовывать предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Модель содержит 79,5 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; обучение проводилось с функцией CosineSimilarityLoss. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и оценки сходства формулировок. В карточке не указаны языки обучения или результаты оценки качества, поэтому применимость к конкретному языку и точность на целевых данных следует проверять отдельно. Формат весов — PyTorch; сведения о лицензии отсутствуют в предоставленных метаданных и README.
Карточка модели j0h4nnes/decoy-ify_llama3.1_8B_v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
Kenneth Enevoldsen разработал dfm-sentence-encoder-large-exp2-no-lang-align — модель Sentence Transformers на архитектуре BERT с 453,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; длина контекста — до 512 токенов. Модель предназначена для сравнения смысловой близости текстов и подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и выдаёт векторы. В карточке нет сведений о поддерживаемых естественных языках или условиях лицензии, поэтому определить их нельзя.
KennethEnevoldsen/dfm-sentence-encoder-medium-v1 — модель Sentence Transformers на архитектуре XLM-RoBERTa, содержащая 151,7 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смыслового сходства, семантического поиска и кластеризации. Контекст модели составляет до 514 токенов. Модель предназначена для получения текстовых эмбеддингов, которые можно использовать в поисковых системах, группировке текстов и других задачах сравнения предложений. При обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели.
apple/DFN-public — контрастивная модель CLIP ViT-B/32 от Apple, обученная на общедоступных данных Conceptual Captions 12M, Conceptual Captions 3M и Shutterstock 15M. В ходе обучения модель обработала 1,28 млрд примеров. Она сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты классов, а модель оценивает соответствие изображения каждому из них. Модель подходит для быстрой разметки изображений по заданным категориям и поиска изображений по текстовым запросам. Это конверсия исходных контрольных точек JAX в PyTorch; в метаданных указана лицензия apple-amlr. README не приводит подробных ограничений точности или перечня поддерживаемых языков, поэтому результаты следует проверять для конкретных данных и формулировок.
rithwik-db/dirty-e5-base-unsupervised — модель эмбеддингов предложений на базе архитектуры BERT, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения сходства. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано, что модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Её можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о поддерживаемых языках и лицензии в предоставленных источниках отсутствуют.
MaxNoichl/discipline-tuned_specter_2_015 — дообученная модель Sentence Transformers на базе научного энкодера SPECTER2 от Allen Institute for AI. Она кодирует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством; архитектура включает BERT, усреднение токенов и нормализацию эмбеддингов. Модель подходит для семантического поиска и сопоставления текстов, в том числе для поиска по научной литературе, кластеризации, поиска перефразировок и классификации на основе эмбеддингов. Максимальная длина последовательности — 512 токенов. В README приведена оценка cosine_accuracy 0,9706 на наборе TripletEvaluator; её нельзя считать гарантией качества на других данных. Модель принимает текст и выдаёт векторы. Лицензия в предоставленных сведениях не указана.
Карточка модели valhalla/distilbart-mnli-12-9 на Hugging Face совпадает с карточкой valhalla/distilbart-mnli-12-3, поэтому описание составлено по ней. DistilBart-MNLI-12-3 — дистиллированная модель семейства BART, разработанная Valhalla на основе bart-large-mnli. Она предназначена для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях: модель оценивает соответствие текста гипотезам, сформулированным для меток классов. Модель содержит 252,8 млн параметров и принимает последовательности длиной до 1024 токенов. При создании были взяты чередующиеся слои bart-large-mnli, после чего модель дополнительно обучили на тех же данных MNLI. По данным карточки, точность составляет 88,1% на matched и 88,19% на mismatched части оценки MNLI; исходная модель показывает 89,9% и 90,01% соответственно. Репозиторий содержит веса PyTorch и Flax. Метаданные не указывают лицензию; модель ориентирована на английский язык, что следует из обучения и оценки на MNLI.
jgammack/distilbert-base-mean-pooling — модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она построена на DistilBERT и использует mean pooling для объединения контекстных представлений токенов. Векторы подходят для семантического поиска, кластеризации и сравнения сходства предложений. Модель принимает текст и выдаёт эмбеддинги; её можно использовать через Sentence-Transformers или Transformers с соответствующим pooling. Максимальная длина контекста — 512 токенов. В карточке не указаны отдельные языковые специализации или прикладная область, поэтому модель следует рассматривать как универсальный инструмент для работы с текстовыми представлениями.
textattack/distilbert-base-uncased-QQP — модель классификации текста, созданная TextAttack на основе DistilBERT. Она дообучена для определения, задают ли два вопроса на английском языке один и тот же вопрос; подходит для поиска дубликатов и выявления перефразированных вопросов. Архитектура — DistilBertForSequenceClassification, контекст — до 512 токенов. Модель доступна в формате PyTorch. Карточка Hugging Face не содержит описания лицензии, поэтому условия использования здесь не уточняются.
Карточка модели much1na/distil-cohere-v1-ckpt-backup на Hugging Face совпадает с карточкой much1na/distil-cohere-v1-ckpt, поэтому описание составлено по ней. much1na/distil-cohere-v1-ckpt — дообученная модель Sentence Transformers на базе BERT google/bert_uncased_L-6_H-512_A-8. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура включает BertModel с усредняющим pooling; сходство векторов можно оценивать косинусной мерой. Модель принимает только текст, поддерживает последовательности длиной до 512 токенов и содержит 40,8 млн параметров. В карточке указано обучение на наборе parquet из примерно 3,81 млн примеров, а метаданные описывают её как модель эмбеддингов. Базовая модель англоязычная, поэтому основное применение — представление английских текстов. Лицензия в доступных данных не указана.
mingbao2020 выпустил модель sentence-transformers на базе DistilRoBERTa для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. Обучение с Matryoshka2dLoss поддерживает представления размерностью 768, 512, 256, 128 и 64, что позволяет выбирать компромисс между размером вектора и качеством. Архитектура — RoBERTa, модель содержит 95,2 млн параметров и принимает текст с контекстным окном 514 токенов. Репозиторий использует формат safetensors. Модель подходит для построения текстовых эмбеддингов и ранжирования сходства предложений. В предоставленных данных не указаны специальные предметные области или поддерживаемые естественные языки. Условия лицензии в предоставленных данных отсутствуют.
tomaarsen разработал эту модель Sentence Transformers как дообученную версию distilbert/distilroberta-base на наборе sentence-transformers/all-nli. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768, пригодные для сравнения косинусным сходством. Архитектура состоит из RoBERTa-энкодера и среднего пулинга токенных представлений; модель содержит 95,2 млн параметров и принимает последовательности длиной до 514 токенов по данным метаданных Hugging Face. Модель подходит для семантического поиска, поиска похожих предложений, сопоставления перефразирований, кластеризации и подготовки векторных признаков для классификации текста. В README приведены результаты оценки сходства на sts-dev и sts-test. Модель ориентирована на английский язык и не предназначена для обработки изображений, аудио или других нетекстовых данных. Распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
sentence-transformers/distilroberta-base-paraphrase-v1 — модель семейства RoBERTa, обученная командой sentence-transformers для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска и кластеризации; также поддерживает сравнение сходства предложений. Модель содержит 95,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель рассчитана на текстовые задачи, где нужно находить близкие по смыслу фрагменты, группировать тексты или сравнивать предложения. Для использования с библиотекой Transformers поверх контекстных представлений токенов необходимо применить подходящую операцию pooling. Распространяется по лицензии Apache-2.0. В карточке не заявлена поддержка конкретных естественных языков, поэтому языковую специализацию определить нельзя.
embedding-data/distilroberta-base-sentence-transformer — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит 95,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Модель обучена с использованием TripletLoss на датасете embedding-data/QQP_triplets. Её можно применять для семантического поиска, группировки похожих текстов и вычисления сходства между предложениями. Доступны веса PyTorch; лицензия в предоставленных данных не указана.
Это модель Sentence Transformers на базе distilbert/distilroberta-base, дообученная для получения векторных представлений предложений и абзацев. Архитектура включает RoBERTa и mean pooling; модель содержит 95,2 млн параметров, формирует плотные векторы размерности 768 и сравнивает их косинусным сходством. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. В README приведены англоязычные примеры обучающих данных; данных о поддержке других языков нет. Модель распространяется в формате safetensors, лицензия в предоставленных сведениях не указана.
ahessamb разработал модель Sentence Transformers на архитектуре RoBERTa для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель содержит 95,2 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. При обучении использовалась функция потерь TripletLoss с евклидовой метрикой расстояния и отступом 5. В репозитории веса представлены в формате safetensors, библиотека для работы — sentence-transformers. Карточка не сообщает, на каких языках обучалась модель, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.
distiluse-base-multilingual-cased — многоязычная модель Sentence-Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически близких текстов, кластеризации и сравнения предложений. В основе лежит DistilBERT; модель поддерживается библиотекой Sentence-Transformers, принимает текстовые фрагменты длиной до 512 токенов и выдаёт векторные представления. Репозиторий содержит веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска, группировки похожих документов и вычисления сходства между предложениями на разных языках. Она выпущена под лицензией Apache-2.0. Качество и языковое покрытие могут различаться между языками; README не приводит конкретного перечня поддерживаемых языков или результатов оценки.
Seznam.cz разработала Dist-MPNet-Paracrawl — компактную модель эмбеддингов на базе BERT, дистиллированную из sentence-transformers/all-mpnet-base-v2 на параллельном чешско-английском корпусе CzEng. Модель предназначена для оценки семантического сходства предложений и может применяться для поиска похожих текстов, извлечения релевантных документов, кластеризации и классификации. Модель содержит 27,2 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт представления для сравнения предложений. Она рассчитана на чешский и английский языки. Репозиторий содержит веса PyTorch; лицензия — CC BY-NC-SA 4.0, предусматривающая указание авторства, распространение производных работ на тех же условиях и ограничения на коммерческое использование.
Это перенос facebook/dragon-plus-context-encoder в формат Sentence-Transformers. Модель на основе BERT с 136,7 млн параметров преобразует предложения и абзацы в плотные векторы размерности 768; для получения эмбеддингов используются контекстные представления токенов и подходящая операция pooling. Модель предназначена для семантического поиска, кластеризации текстов и сравнения сходства предложений. Она принимает текст и выдаёт векторные представления. Максимальная длина контекста составляет 512 токенов. Репозиторий содержит веса PyTorch; в карточке не указаны лицензия и поддерживаемые естественные языки.
hxssgaa/dstc_setfit — модель эмбеддингов предложений на базе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Веса содержат около 136,7 млн параметров, модель принимает текст и рассчитана на контекст до 514 токенов. Модель можно применять для поиска похожих фраз и документов, оценки семантического сходства и группировки текстов по смыслу. Она обучалась с CosineSimilarityLoss; репозиторий содержит веса PyTorch. В README не указаны языки обучения или лицензия, поэтому нельзя определить языковую специализацию и условия использования.