I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейBAAI/bge-reranker-v2-m3 — многоязычная модель переранжирования от BAAI, построенная на базе bge-m3 и использующая архитектуру XLM-RoBERTa для классификации последовательностей. Она принимает запрос и текстовый фрагмент и выдаёт оценку их релевантности; более высокий балл означает более подходящий фрагмент. При необходимости оценку можно преобразовать сигмоидой в значение от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например, для уточнения порядка документов, найденных системой извлечения, и повышения качества выдачи в многоязычных сценариях. В README она описана как быстрая и удобная для развёртывания; метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Карточка характеризует её как многоязычную, но не перечисляет отдельные языки. Модель доступна по лицензии Apache-2.0. Релевантность оценивается для пары «запрос — фрагмент», поэтому для поиска по корпусу сначала нужны кандидаты, полученные отдельной системой извлечения; модель сама не выполняет полный поиск. Скорость и пригодность к развёртыванию заявлены в карточке, но конкретные показатели производительности не приведены.
luluw/bge-reranker-v2-m3-eng-nep-16k-trimmed — версия переранжировщика BAAI/bge-reranker-v2-m3 с сокращённым словарём, созданная luluw. Модель использует архитектуру XLM-RoBERTa и принимает пару «запрос — фрагмент текста», совместно оценивая их и выдавая один логит релевантности. Её применяют после первичного поиска, например BM25 или векторного поиска, чтобы переупорядочить найденные результаты; эмбеддинги для векторного индекса она не создаёт. Словарь сокращён с 250 002 до 16 384 токенов с упором на английский и непальский языки. Строки эмбеддингов сохранённых токенов скопированы из исходной модели, классификационная голова не изменялась, дополнительного дообучения не проводилось. Для подготовки входа требуется предоставленное соответствие старых и новых ID токенов; редкие специализированные токены могут теряться или отображаться в пустой токен. Лицензия — MIT.
qilowoq/bge-reranker-v2-m3-en-ru — уменьшенная версия переранжировщика BAAI/bge-reranker-v2-m3, подготовленная автором репозитория qilowoq. В словаре оставлены токены английского и русского языков; по заявлению карточки, модель примерно в 1,5 раза меньше исходной и при этом сохраняет те же оценки релевантности.
hooman650 опубликовал ONNX-версию BGE-Reranker-v2-m3-o4 — модели для ранжирования текстовых пар. Она оценивает релевантность документа запросу и помогает переставить результаты поиска так, чтобы наиболее подходящие оказались выше. Архитектура — XLM-RoBERTa для классификации последовательностей; размер модели — 658,7 млн параметров, контекст — до 8194 токенов. Репозиторий содержит веса в формате ONNX. Модель подходит для повторного ранжирования результатов семантического поиска и повышения качества выдачи в RAG-системах. Лицензия — Apache 2.0. В README не приведены дополнительные сведения о поддерживаемых языках или замерах качества.
BAAI/bge-reranker-v2-minicpm-layerwise — многоязычная модель ранжирования релевантности от BAAI на базе MiniCPM. Она принимает запрос и текстовый фрагмент и оценивает их соответствие; оценку можно преобразовать функцией sigmoid в значение от 0 до 1. Модель имеет 2,7 млрд параметров, архитектуру LayerWiseMiniCPMForCausalLM и контекст длиной 2048 токенов. Модель предназначена для повторного ранжирования результатов поиска, например кандидатов, полученных из векторного поиска или первичного поискового ранжировщика. Послойный вариант позволяет выбирать более ранние слои для повышения эффективности; в README он также рекомендован для высокой точности. Указаны китайский и английский языки, а метаданные характеризуют модель как многоязычную. Модель обучена на базе openbmb/MiniCPM-2B-dpo-bf16 на смеси наборов данных, включающей bge-m3-data, Quora и FEVER. Распространяется по лицензии Apache-2.0. Карточка описывает применение для ранжирования запросов и документов, но не приводит количественных результатов качества; контекст ограничен 2048 токенами.
vectoriseai/bge-small-en — англоязычная модель эмбеддингов из семейства BGE (BAAI General Embedding), представленная в проекте FlagEmbedding. Она преобразует текст в плотные векторы размером 384 для поиска и сравнения по смыслу; в карточке указаны архитектура BERT и около 40 млн параметров. Модель принимает текстовые последовательности длиной до 512 токенов и предназначена для английского языка. Модель подходит для семантического поиска, извлечения релевантных фрагментов для RAG, классификации и кластеризации текста. Для поиска длинных документов по короткому запросу README рекомендует добавлять к запросу инструкцию «Represent this sentence for searching relevant passages:»; к самим документам инструкцию добавлять не нужно. Репозиторий содержит веса PyTorch и Safetensors, а также формат ONNX; лицензия — MIT. Компактный размер упрощает развёртывание по сравнению с крупными вариантами BGE, сохраняя пригодность для типовых задач текстового поиска. Контекст ограничен 512 токенами, поэтому длинные тексты следует обрабатывать частями. Метаданные классифицируют модель как sentence similarity, а каталог также указывает извлечение признаков.
svjack/bge-small-qq-qa — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем svjack. Она преобразует предложения и абзацы в плотные векторы размерностью 512 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусным сходством; для запуска README рекомендует библиотеку Sentence-Transformers. В метаданных указаны 27,6 млн параметров и максимальный контекст 512 токенов. Модель принимает текст и выдаёт векторные представления, которые можно индексировать для поиска или группировать по смыслу. В карточке не названы языки обучения или тестирования, поэтому определить приоритетный язык нельзя. Лицензия в предоставленных данных не указана.
teven/bi_all_bs160_allneg_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet, дообученная для представления предложений и абзацев плотными векторами размерности 768. Её можно применять для семантического поиска, сравнения близости текстов и кластеризации. Обучение использовало CosineSimilarityLoss; в репозитории представлены веса PyTorch, размер модели составляет 136,7 млн параметров, контекст — до 514 токенов. Модель подходит для построения векторного поиска и группировки текстов по смыслу. README указывает на обучение на WebNLG2020, но подробности набора данных и результаты оценки здесь не приведены. Лицензия в предоставленных данных не указана.
teven/bi_all_bs192_hardneg_finetuned_WebNLG2020_relevance — модель эмбеддингов предложений на базе MPNet, созданная для оценки семантической близости. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сопоставления текстов. В метаданных указано 136,7 млн параметров, контекст — до 514 токенов; модель использует PyTorch и интерфейс Sentence Transformers. Модель обучена с CosineSimilarityLoss на данных, связанных с WebNLG2020; название также указывает на обучение с hard negatives. Она принимает текст и выдаёт векторы, которые можно использовать для ранжирования или поиска похожих фрагментов. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
teven/bi_all-mpnet-base-v2_finetuned_WebNLG2017 — модель Sentence Transformers на архитектуре MPNet, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации; также может применяться для сравнения семантической близости текстов. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель полезна для поиска похожих формулировок и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss; имя модели указывает на дообучение на WebNLG2017. Доступный формат весов — PyTorch. Лицензия в предоставленных данных не указана.
BidirLM-Omni-2.5B — мультимодальная модель семейства BidirLM, представленная разработчиком BidirLM. Это двунаправленный энкодер на 2,5 млрд параметров, который кодирует текст, изображения и аудио в общее пространство эмбеддингов размерностью 2048. Модель предназначена для поиска между разными модальностями, оценки семантического сходства, кластеризации и классификации. Для текстовых задач её также можно дообучать для классификации последовательностей, разметки токенов и регрессии. Модель поддерживает более 119 языков; контекст для текста — до 32 тысяч токенов. Для работы с аудио принимаются массивы отсчётов с разной частотой дискретизации, которые приводятся к 16 кГц. В README отмечены среднее пулингование и необходимость загружать пользовательский код репозитория. Для ускорения обучения и инференса требуется cuDNN версии выше 9.20.0: более ранние версии могут существенно замедлять работу из-за ошибки NVIDIA Conv3D. Распространяется по лицензии Apache-2.0.
Карточка модели OneFly7/biencoder_ep10_bs32_lr2e5_cosine_annealing_hard_neg_2 на Hugging Face совпадает с карточкой strauss-oak/mdl_bertopic_globo, поэтому описание составлено по ней. strauss-oak/mdl_bertopic_globo — многоязычная модель эмбеддингов предложений и абзацев, основанная на архитектуре XLM-RoBERTa. Карточка README описывает её как sentence-transformers-модель, преобразующую текст в плотные векторы размерности 768 для кластеризации и семантического поиска. В метаданных указаны 305,2 млн параметров, контекст до 514 токенов, формат safetensors и лицензия Apache-2.0. Модель подходит для поиска близких по смыслу текстов, группировки предложений и абзацев, а также сравнения их семантической близости на множестве языков, включая русский и английский. Для использования через Transformers требуется подходящая операция pooling над контекстными представлениями токенов. В README указано, что модель обучена командой Sentence Transformers; точное происхождение этого репозитория относительно базовой модели отдельно не описано.
Lajavaness/bilingual-embedding-large — двуязычная модель эмбеддингов предложений от Lajavaness, основанная на XLM-RoBERTa и реализованная с помощью Sentence Transformers. Она кодирует французские и английские предложения в нормализованные векторы размерности 1024; максимальная длина последовательности — 512 токенов, а нативное контекстное окно — 514 токенов. Размер модели — 658,7 млн параметров. Модель обучалась на SNLI и XNLI для английского и французского языков, затем дообучалась на STS-Benchmark и расширенных парах предложений. Её используют для семантического поиска, оценки сходства предложений, ранжирования текстов и кластеризации. Веса доступны в формате safetensors по лицензии Apache-2.0. Модель специализируется на французском и английском языках; качество на других языках не заявлено. README не содержит результатов оценки, поэтому точность для конкретных наборов данных и сценариев по карточке определить нельзя.
pankajrajdeo выпустил модель Sentence Transformer на архитектуре BERT для сопоставления текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 384, а близость между ними оценивается косинусным сходством. Модель обучалась на парах anchor и positive с функцией MultipleNegativesRankingLoss; в метаданных указано 50,3 млн параметров и библиотека Sentence Transformers. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Максимальная длина последовательности — 1024 токена. Примеры обучающих данных включают медицинские вопросы и ответы, однако карточка не подтверждает, что модель предназначена исключительно для медицинской области или поддерживает конкретный набор языков. В README не указана лицензия. Качество может зависеть от тематики и языка запросов: приведённые примеры данных сами по себе не подтверждают качество в медицинских сценариях или на русском языке.
Это дообученная Sentence Transformer-модель от hoamai1509 на базе bkai-foundation-models/vietnamese-bi-encoder. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска и группировки текстов. Архитектура использует RoBERTa с усреднением токенных представлений; сходство вычисляется косинусной мерой. Модель рассчитана на вьетнамский язык и обрабатывает последовательности длиной до 258 токенов по метаданным.
Bobcat 1.1 — дообученная модель sanghwa-na на базе Qwen/Qwen3.8-27B. Это плотная модель архитектуры Qwen3.5 с весами BF16 в формате safetensors; исходную LoRA ранга 16 объединили с базовой моделью. Для каждого запроса приложение задаёт состояние и набор допустимых ответов, а модель оценивает их вероятности за один проход. Она не генерирует текст: приложение формирует из результатов ответ в заданном формате. Модель предназначена для повторяющихся ограниченных решений, например маршрутизации запросов, ранжирования, проверки цитат, классификации и проверки вызовов инструментов. Карточка указывает поддержку английского и корейского языков; в обучающих данных 36% решений были на английском. Лицензия — Apache-2.0. По опубликованным разработчиком оценкам, Bobcat 1.1 повысила точность на тестах по сравнению с необученной базовой моделью и реже поддавалась ответам, подсказанным внутри состояния. Модель может ошибиться, хотя её ответ останется одним из допустимых вариантов. Она слабо распознаёт ситуации с недостатком свидетельств, а уверенность не гарантирует правильность. В длинных состояниях результаты зависят от длины и развертывания; вычисления, подсчёт и сравнение дат лучше выполнять в коде. Для критически важных решений модель не предназначена. Для развёртывания автор описывает работу через vLLM; требуются подходящие GPU-ресурсы.
BrazEmbed-PT-BR — модель для получения векторных представлений текстов на бразильском португальском, созданная на базе BERTimbau и опубликованная tardellirs. Это дообученная модель семейства BERT с 136,1 млн параметров; она использует mean pooling и L2-нормализацию, работает через библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. В README указано, что опубликованный одиночный чекпойнт представляет собой TIES-слияние четырёх экспертов по отдельным задачам. Модель предназначена для вычисления эмбеддингов предложений и сравнения их семантической близости, например при поиске похожих фраз или семантическом поиске по текстам на португальском. В MTEB(por) для одиночной модели указан результат mean_16 0,6372; более высокий результат 0,6567 относится к отдельной системе с маршрутизацией по задачам, а не к этому чекпойнту. README сообщает об аудите пересечений обучающих данных с тестовыми наборами, но также отмечает, что разработка велась итеративно по MTEB(por) без отложенной выборки. Лицензия — MIT.
consciousAI/cai-lunaris-text-embeddings — модель эмбеддингов на архитектуре BERT, представленная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Её можно использовать для извлечения признаков текста, оценки семантического сходства, кластеризации и семантического поиска. Модель совместима с Sentence-Transformers и Hugging Face Transformers; при использовании Transformers поверх контекстных представлений токенов требуется применить соответствующий pooling. Модель насчитывает около 433,9 млн параметров, а максимальная длина контекста составляет 512 токенов. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приведены сведения о целевых языках и специализированных предметных областях.
CAMeL_Base — модель семейства BERT от danfeg, созданная на базе Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и извлечения признаков; основная задача в метаданных — сравнение предложений. Архитектура содержит 136,3 млн параметров, использует формат safetensors и принимает контекст длиной до 512 токенов. Для получения векторов модель используют через библиотеку Sentence Transformers либо через Transformers с подходящей операцией pooling. В карточке не указаны целевые языки и специализированные области применения. Лицензия в предоставленных данных не указана.
Карточка модели deven96/clip-ViT-B-32-text на Hugging Face совпадает с карточкой Qdrant/clip-ViT-B-32-text, поэтому описание составлено по ней. Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
zeromodels подготовили конверсию CLIP ViT-L/14 с входным разрешением 336 пикселей в формате Keras 3. Модель использует два энкодера — для изображений и текста — которые сопоставляют данные в общем пространстве представлений; веса основаны на openai/clip-vit-large-patch14-336. Модель предназначена для классификации изображений по текстовым категориям, заданным во время выполнения, без отдельного обучения. Её также можно использовать для поиска соответствий между изображениями и текстом и получения эмбеддингов. Реализация Keras 3 работает с TensorFlow, PyTorch и JAX; для инференса подаются изображения и текстовые запросы. Репозиторий распространяется по лицензии MIT. Это конверсия базовой модели, поэтому заявленные возможности и ограничения следуют CLIP ViT-L/14-336; README отсылает за подробностями к карточке исходной модели.
Colibri — компактная модель эмбеддингов для текстов на бразильском португальском языке, созданная tardellirs на основе google/embeddinggemma-300m. Это плотный энкодер семейства Gemma 3 Text, опубликованный как обычная SentenceTransformer-модель без адаптеров; после обрезки словаря и других этапов разработки в ней около 150,6 млн параметров. Модель формирует векторы размерности 768, поддерживает усечение до 512, 256 или 128 измерений, имеет варианты fp16 и ONNX и рассчитана на контекст до 2048 токенов. Модель предназначена для семантического поиска, извлечения документов для RAG, ранжирования, сравнения сходства текстов, кластеризации и классификации. В README сообщается о результатах на бенчмарке MTEB-BR и об оценках скорости на CPU; это результаты авторских испытаний, а не гарантия производительности для любой инфраструктуры. Обучение включало дистилляцию с двух моделей Qwen, объединение чекпойнтов и слияние весов с обрезанной базой; среди учебных данных указаны веб-тексты и бразильские юридические, налоговые и финансовые корпуса. Лицензия указана как Gemma. Хотя модель рассчитана на португальский Бразилии и может применяться в разных областях, качество на других языках отдельно не подтверждено. Эмбеддинги сами по себе не генерируют ответы: для RAG требуется отдельная генеративная модель.
Contrastive-Embedding-v2 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем cheongmyeong17. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss и косинусной метрикой расстояния; для работы можно использовать Sentence-Transformers или Transformers с соответствующей операцией pooling. Модель содержит 144 млн параметров, принимает текстовые входы, а её контекст ограничен 512 токенами. В карточке не указаны конкретные языки, область специализации или лицензия, поэтому эти характеристики нельзя уточнить. Эмбеддинги подходят для построения поиска и группировки текстов, но качество на конкретном языке и предметной области следует проверять отдельно.
navneet11/contrastive-relevance-v1 — текстовый энкодер Sentence Transformers, дообученный разработчиком на базе sentence-transformers/all-MiniLM-L6-v2. Он преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384 и подходит для семантического поиска, сравнения сходства, поиска перефразировок, классификации и кластеризации. Архитектура включает BERT, усреднение токенных представлений и нормализацию; для сравнения векторов используется косинусное сходство. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Модель предназначена для сопоставления текстовых запросов с документами и поиска смыслово близких фрагментов. В примерах обучающих данных — финансовые и деловые новости; обучение описано как короткое дообучение на 192 образцах с MultipleNegativesRankingLoss. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Tool-COLT/contriever-base-msmarco-v1-ToolBenchG3 — модель на базе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска и кластеризации. Модель содержит 136,7 млн параметров и принимает текст с контекстом до 512 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства. Модель подходит для построения семантического поиска и группировки текстов; для получения эмбеддингов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В карточке указана библиотека PyTorch. Лицензия в предоставленных данных не приведена.
nishimoto/contriever-sentencetransformer — порт Contriever в формате Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Векторные представления можно использовать для сравнения смысловой близости предложений и абзацев. Репозиторий содержит веса PyTorch; для работы с моделью в README рекомендуется библиотека Sentence-Transformers. Ограничение контекста — 512 токенов. В README лицензия не указана.
Coral-Router, также называемая Coral-MNLI в карточке, — модель классификации последовательностей на базе BART-large, дообученная на MultiNLI. Она принимает текст и список меток-кандидатов, оценивает, насколько каждая метка подходит, и подходит для классификации без обучения на конкретных классах, в том числе в режиме нескольких меток. Модель применяет подход естественного логического вывода: исходный текст рассматривается как предпосылка, а каждая метка превращается в гипотезу; оценка соответствия основана на вероятности entailment. Это позволяет использовать её для определения тематики, тональности, намерения и модерации содержимого. Размер модели — 252,8 млн параметров, контекст — до 1024 токенов. Лицензия — Apache-2.0. Для длинных текстов возможна обрезка: сохраняется начало текста, поэтому важную информацию рекомендуется размещать ближе к началу. Качество также зависит от ясности и конкретности предложенных меток.
Kyleiwaniec/COS_TAPT_n_RoBERTa_STS — модель на архитектуре RoBERTa, созданная для Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024, предназначенные для оценки семантической близости, семантического поиска и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; её контекст составляет 514 токенов, размер — около 454,1 млн параметров. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Для использования с Transformers поверх контекстных представлений требуется применить соответствующую операцию pooling. В репозитории указаны веса PyTorch; лицензия не приведена в доступных данных.
Карточка модели Ashokreddy6/CounselAssistant-RetrieverV1 на Hugging Face совпадает с карточкой intfloat/e5-large-v2, поэтому описание составлено по ней. E5-large-v2 — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 24 слоя и размерность эмбеддинга 1024. Общее число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель преобразует тексты в векторы для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричного сравнения обычно используют «query: » перед обоими текстами. Модель предназначена только для английских текстов; более длинные входы обрезаются до 512 токенов. При использовании косинусного сходства важнее относительный порядок оценок, чем их абсолютные значения. Расхождения в версиях PyTorch и Transformers могут вызывать небольшие различия результатов. Лицензия — MIT.