I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейFremyCompany/stsb_ossts_roberta-large-nl-oscar23 — модель Sentence Transformers на базе RoBERTa, разработанная FremyCompany. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска, кластеризации и сравнения текстов. Модель обучалась с CosineSimilarityLoss; размер составляет 453,9 млн параметров, а максимальный контекст — 514 токенов. Доступны веса PyTorch и возможность использовать модель через Sentence Transformers. Подходит для построения эмбеддингов и поиска текстов по смыслу. Язык, на котором модель обучалась или для которого она предназначена, в предоставленных данных не установлен. Лицензия в предоставленных данных не указана.
gubartz/st_scibert_abstruct — модель Sentence Transformers на архитектуре BERT, разработанная пользователем gubartz. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,1 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате PyTorch. При использовании через Transformers поверх контекстных представлений требуется применить подходящий pooling. Модель обучалась с функцией потерь BatchAllTripletLoss. README не уточняет языки обучения, лицензию или специализированную предметную область, поэтому область применения следует определять по данным пользователя. Для длинных текстов действует ограничение контекста в 512 токенов.
NullCoreDeveloper/stylometric-rubert-v5 — дообученная разработчиком NullCoreDeveloper модель Sentence Transformer на базе NullCoreDeveloper/stylometric-rubert-v4. Она преобразует текстовые предложения и абзацы в плотные векторы размерности 768 для поиска и сравнения по смыслу; архитектура состоит из BERT и среднего пулинга, сходство оценивается косинусной мерой. Модель обучалась на триплетах и подходит для извлечения эмбеддингов, retrieval и семантического поиска по текстовым коллекциям. Модель принимает текст, поддерживает последовательности длиной до 256 токенов по README; метаданные каталога указывают контекст до 512 токенов. В примерах обучающих данных использован русский текст, поэтому прежде всего модель ориентирована на русский язык. В README приведена точность cosine_accuracy 0,8155 на hard-triplets-val; эта оценка относится к указанному тесту и не гарантирует качество на других данных. Репозиторий содержит веса safetensors, библиотека — sentence-transformers. Лицензия в предоставленных данных не указана.
princeton-nlp/sup-simcse-bert-base-uncased — модель Princeton NLP для получения эмбеддингов предложений методом SimCSE. Это BERT-base, дообученный с учителем на парах из наборов данных для вывода на естественном языке: пары следствий используются как положительные примеры, а противоречия — как сложные отрицательные. Модель содержит 136,7 млн параметров, принимает текстовые токены и поддерживает контекст до 512 токенов. Модель предназначена для сравнения смысловой близости предложений, поиска семантически похожих текстов и извлечения признаков текста. Разработчики приводят средний результат 81,57 на задачах семантического сходства предложений (STS). Суффикс uncased указывает на регистр-независимую обработку английского текста. Это текстовый энкодер, а не генеративная модель; сведений о лицензии в предоставленных метаданных и использованных источниках нет.
princeton-nlp/sup-simcse-roberta-large — модель извлечения признаков, разработанная Princeton NLP на основе RoBERTa-large с методом supervised SimCSE. Она преобразует текст в векторные представления предложений для сравнения их семантической близости и использования в задачах поиска и последующей обработки текста. Обучение проводилось на 314 тысячах примеров из MNLI и SNLI; оценивание включало задачи семантического сходства предложений и переноса на другие задачи. Модель содержит 454,1 млн параметров и рассчитана на контекст до 514 токенов. В репозитории доступны веса PyTorch и Flax. Карточка не сообщает лицензию, поэтому условия использования следует проверить отдельно. Среди ограничений — возможные стереотипные и вредоносные смещения; модель не следует использовать для создания враждебной или отчуждающей среды.
magnolia-psychometrics/surveybot3000 — модель Sentence-Transformers, разработчик — magnolia-psychometrics. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и обучена с помощью CosineSimilarityLoss. Модель подходит для поиска семантически близких текстов и кластеризации; метаданные также указывают на поддержку извлечения признаков и сходства предложений. Для работы используется библиотека Sentence-Transformers.
textgain/tags-allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на базе BERT, разработанная Textgain. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством; архитектура содержит около 136,3 млн параметров, а максимальный контекст составляет 512 токенов. Карточка и метаданные указывают на поддержку нидерландского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Tarka-AIR разработала Tarka-Embedding-150M-V1 — компактную текстовую embedding-модель на 150,9 млн параметров на основе архитектуры Gemma 3 Text. Она преобразует текст в плотные векторы размерностью 768 для поиска, оценки семантического сходства и извлечения документов в RAG-системах. Контекст модели — до 2048 токенов; заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Модель обучена методом дистилляции знаний без меток на корпусе примерно из 2 млрд токенов. Для формирования запросов и документов README рекомендует использовать специальные префиксы, зависящие от сценария. Модель подходит для семантического поиска, подбора похожих текстов, кластеризации и извлечения контекста для ответов на вопросы и проверки фактов. Авторы сообщают, что пока оценивали её только на англоязычном бенчмарке MTEB, поэтому качество для остальных заявленных языков не подтверждено опубликованными результатами. Лицензия — Gemma; перед использованием следует учитывать её условия.
diegoicomp/test-1 — модель семейства MPNet, опубликованная в формате PyTorch и предназначенная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерностью 768, подходящие для семантического поиска, сравнения сходства и кластеризации. В карточке указано обучение с функцией MultipleNegativesRankingLoss и косинусной мерой сходства; число параметров составляет 136,7 млн, контекст — до 514 токенов. Модель поддерживает Sentence-Transformers. Лицензия в предоставленных данных не указана.
Giratina — созданная автором Mihaiii модель для получения векторных представлений предложений и сравнения их семантической близости. Это объединение предварительно обученных языковых моделей Mihaiii/Wartortle и TaylorAI/bge-micro-v2 методом SLERP с помощью mergekit. Модель построена на архитектуре BERT, содержит 18,8 млн параметров и рассчитана на последовательности длиной до 512 токенов. Модель подходит для семантического поиска, ранжирования похожих предложений и кластеризации текстов. Карточка указывает формат Sentence Transformers, а в репозитории представлены веса Safetensors и ONNX. Базовая модель TaylorAI/bge-micro-v2 описана как компактная англоязычная модель эмбеддингов. Лицензия — MIT.
Neokun004/Testbge — модель Sentence-Transformers на базе архитектуры BERT, разработанная автором репозитория Neokun004. Она преобразует предложения и абзацы в плотные векторы размерностью 384, предназначенные для сравнения семантической близости, семантического поиска и кластеризации. Модель содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. В обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Полученные векторы можно использовать для поиска похожих фрагментов и группировки текстов. README не описывает целевые языки или предметную область, поэтому модель можно охарактеризовать как средство общего назначения для работы с текстовыми эмбеддингами. Лицензия в предоставленных данных не указана.
Khoj AI Timely Arctic Medium — модель SentenceTransformer, дообученная на основе Snowflake/snowflake-arctic-embed-m для представления предложений и абзацев в виде плотных векторов. Архитектура основана на BERT и содержит 136,7 млн параметров; выходные эмбеддинги имеют размерность 768, а сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов. Её можно применять для поиска релевантных фрагментов по запросу, выявления перефразировок, кластеризации и извлечения признаков для классификации. В README описано дообучение на парах запросов и положительных примеров с MultipleNegativesRankingLoss; длина входа ограничена 512 токенами. Карточка не указывает лицензию. Базовая модель описана как англоязычная; отдельные языки для этой доработки не заявлены, поэтому её языковые возможности за пределами английского не подтверждены.
Tien09/tiny_bert_ft_sim_score — дообученная модель Sentence Transformers на базе prajjwal1/bert-tiny, созданная для сравнения сходства английских предложений и текстовых фрагментов. Она кодирует каждый текст в плотный вектор размерности 128; сходство векторов оценивается косинусной мерой. Модель обучена на наборе pair_similarity из 8 959 примеров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, сравнения пар предложений и классификации на основе эмбеддингов. Архитектура объединяет BertModel и mean pooling. Репозиторий использует формат safetensors, библиотеку sentence-transformers и лицензию Apache-2.0. README содержит несоответствие в заголовке, где упомянут MPNet и AllNLI, тогда как основное описание и метаданные указывают на дообучение bert-tiny на pair_similarity.
api19750904/tipo_campanya_ong_v3 — модель Sentence Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель работает с текстом и использует контекст длиной до 514 токенов. Модель подходит для поиска текстов по смыслу, группировки похожих предложений и вычисления их семантического сходства. В карточке указано обучение с функцией потерь CosineSimilarityLoss. Доступен формат PyTorch; лицензия в предоставленных данных не указана.
alicekwak/TN-final-multi-qa-mpnet-base-dot-v1 — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель можно применять для поиска текстов по смыслу и группировки похожих фрагментов. Для сравнения векторов используется dot product, что отражено в названии модели. Карточка описывает обучение с SoftmaxLoss, но не приводит подробностей о данных обучения или результатах оценки. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
rayzkir/tnved_biencoder — дообученная на базе BAAI/bge-m3 модель Sentence Transformers для поиска соответствий между текстовыми описаниями товаров и кодами ТН ВЭД. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; близость можно оценивать косинусным сходством. Архитектура включает XLM-RoBERTa, pooling по CLS-токену и нормализацию. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов, тогда как карточка сообщает максимальную длину последовательности 128 токенов. Модель обучалась на примерах запросов, подходящих описаний и отрицательных вариантов; README приводит результаты поиска на tnved_val, включая cosine_accuracy@1 0,9112 и @5 0,9824. Её можно применять для подбора кандидатов к товарным описаниям и семантического поиска по классификатору ТН ВЭД. При использовании следует учитывать расхождение между указанными длинами контекста и ограниченность приведённой оценки одним набором проверки. Лицензия в предоставленных данных не указана.
PartAI/Tooka-SBERT — модель Sentence Transformer, разработанная PartAI на базе TookaBERT-Large и дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует персидский текст в векторы размерностью 1024 и предназначена для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель основана на архитектуре BERT, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Она подходит для поиска и группировки персидских текстов по смыслу. Выпущена по лицензии Apache-2.0; автор README указывает, что доступны более новые версии Tooka-SBERT-V2-Small и Tooka-SBERT-V2-Large.
Tooka-SBERT-V2-Large — крупная модель Sentence Transformers на архитектуре BERT, разработанная PartAI на базе TookaBERT-Large. Она преобразует предложения и абзацы в плотные векторные представления для оценки семантического сходства, поиска и ранжирования текстов. Для асимметричного поиска запросы оформляются с префиксом «سوال: », а документы — «متن: ». Модель дообучена с функциями потерь CachedMultipleNegativesRankingLoss и CoSENTLoss на синтетических наборах данных. В карточке сообщается, что на бенчмарке PTEB она в среднем превосходит mE5-Base; результаты зависят от задачи. Модель рассчитана на персидский язык, имеет 451,8 млн параметров и контекст до 512 токенов. Лицензия в предоставленных данных не указана.
ToolBench/ToolBench_IR_bert_based_uncased — модель на базе BERT, распространяемая в формате PyTorch и представленная как sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством; модель подходит для поиска релевантных текстов по смыслу и группировки похожих фрагментов. Максимальная длина контекста — 512 токенов. README не указывает разработчика, поддерживаемые естественные языки или лицензию; оценки бенчмарка и подробности архитектуры обучения в карточке не приведены.
josedossantos/tree-summary-bertimbau — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем josedossantos. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучена с функцией ContrastiveLoss на косинусном расстоянии; для использования подходят библиотека sentence-transformers или Transformers с корректной операцией pooling. Контекст ограничен 512 токенами, веса опубликованы в формате safetensors; размер модели составляет 433,2 млн параметров. Лицензия в предоставленных данных отсутствует.
josedossantos/tree-txtInteiroTeorLimpo-bertimbau — модель Sentence Transformer, созданная дообучением neuralmind/bert-large-portuguese-cased. Она кодирует предложения и абзацы на бразильском португальском в плотные векторы размерностью 1024, сравнимые по косинусному сходству. Архитектура включает BERT Large с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Модель предназначена для поиска семантически близких текстов и оценки сходства. Её также можно применять для поиска перефразировок, кластеризации и классификации текста, а в прикладных системах — для векторного поиска по португалоязычным документам. Обучение проводилось на 4 327 парных примерах с ContrastiveLoss. В карточке указана лицензия Apache-2.0. Как и другие модели эмбеддингов, она возвращает векторы, а не готовые ответы; качество зависит от соответствия входных текстов обучающему распределению. Контекст ограничен 512 токенами.
Это модель эмбеддингов предложений на архитектуре BERT, опубликованная slimaneMakh. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния; размер составляет 194,6 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и вычисления сходства между предложениями. В карточке не указаны поддерживаемые естественные языки и специализированные предметные области. Лицензия в предоставленных данных не приведена.
Модель nezahatkorkmaz/turkce-embedding-bge-m3 — турецкоязычная версия BAAI/bge-m3, доработанная для семантического сходства, поиска по текстам и RAG. Она построена на XLM-RoBERTa с pooling и нормализацией и преобразует предложения и абзацы на турецком языке в плотные векторы размерности 1024. В метаданных указаны 658,7 млн параметров и контекст длиной до 8194 токенов; модель распространяется в формате safetensors и рассчитана на работу через sentence-transformers. По оценке на турецком наборе STS модель показала корреляцию Пирсона 0,9096 против 0,8535 у базовой BAAI/bge-m3; корреляция Спирмена составила 0,6839 против 0,6814. Это делает её подходящей для сравнения смысловой близости турецких фрагментов, поиска релевантных документов и ранжирования кандидатов по сходству. Лицензия в предоставленных данных не указана.
atasoglu/turkish-base-bert-uncased-mean-nli-stsb-tr — модель Sentence Transformers на архитектуре BERT, созданная на основе ytu-ce-cosmos/turkish-base-bert-uncased и дообученная на наборах nli_tr и emrecan/stsb-mt-turkish. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель предназначена для текстов на турецком языке. При подготовке текста авторы вручную приводили его к нижнему регистру, заменяя заглавную латинскую I на турецкую ı перед преобразованием регистра. Архитектура содержит 137,8 млн параметров, контекст — до 512 токенов. Лицензия — MIT.
Карточка модели swardiantara/two-stage-cdk10-MiniLM-L6-v2 на Hugging Face совпадает с карточкой swardiantara/two-stage-k10-MiniLM-L6-v2, поэтому описание составлено по ней. swardiantara/two-stage-k10-MiniLM-L6-v2 — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, а также сравнивать смысловую близость предложений. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние. В карточке не указаны языки обучения и оценки качества, поэтому нельзя подтвердить её пригодность для конкретного языка или домена. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.
udever-bloom-7b1 — модель для получения текстовых эмбеддингов, разработанная Alibaba Group. Это дообученная методом BitFit версия bigscience/bloom-7b1: авторы обучали её на MS MARCO Passage Ranking, SNLI и MultiNLI с контрастивной функцией потерь и трудными отрицательными примерами. Архитектура — плотный decoder-only Transformer семейства BLOOM; размер составляет 9,1 млрд параметров, контекст — до 2048 токенов. Модель предназначена для представления естественного языка и кода в виде эмбеддингов, в том числе для семантического поиска, извлечения документов, сравнения текстов и ранжирования. В карточке заявлена поддержка многих языков и программного кода; среди языков метаданных и карточки перечислены, в частности, английский, китайский, французский, испанский, хинди, португальский, арабский и вьетнамский. Модель распространяется в формате PyTorch по лицензии bigscience-bloom-rail-1.0. Карточка приводит результаты бенчмарков MTEB и поиска кода, но не даёт гарантий качества для конкретных данных и сценариев.
kmariunas/uncased-bert-triplet-40 — модель Sentence-Transformers на базе BERT, представленная автором kmariunas. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Обучение с BatchHardTripletLoss указывает на настройку пространства эмбеддингов для оценки сходства предложений. Модель имеет около 136,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для построения семантического поиска, группировки похожих текстов и сравнения предложений по близости эмбеддингов. README не сообщает, на каких языках обучалась модель, поэтому конкретный язык или языковую поддержку установить нельзя. Лицензия в предоставленных данных не указана.
princeton-nlp/unsup-simcse-roberta-large — модель Princeton NLP для получения векторных представлений предложений. Она основана на архитектуре RoBERTa-large и обучена в рамках метода SimCSE без разметки: к одному и тому же предложению применяются разные маскирования dropout, чтобы обучать устойчивые семантические embedding-представления. Разработчики — исследователи Princeton NLP, включая Tianyu Gao, Xingcheng Yao и Danqi Chen. Модель предназначена для сравнения семантической близости текстов, поиска похожих предложений, sentence retrieval, кластеризации и построения признаков для последующих NLP-задач. Она работает как encoder и feature-extraction модель, а не как генеративная система. Для получения embedding обычно используется представление токена CLS; для unsupervised SimCSE разработчики рекомендуют вариант без дополнительного pooler-преобразования. Максимальная длина входа в конфигурации токенизатора — 512 токенов. Обучение выполнялось на предложениях из English Wikipedia, поэтому модель ориентирована прежде всего на английский язык и не является мультиязычной. В опубликованном авторами списке модель получила средний результат 78.90 на задачах semantic textual similarity (STS), что характеризует её пригодность для оценки семантического сходства. Ограничения включают зависимость качества от языка, домена и способа pooling, ограничение длины входа и отсутствие возможностей генерации текста. На странице репозитория отдельная лицензия для этого чекпойнта не указана, поэтому условия использования следует проверять по исходному репозиторию и базовой модели RoBERTa.
victormuryn/use-combined-pt — модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2 для получения векторных представлений украинских предложений. Она использует архитектуру XLM-RoBERTa с плотным энкодером, контрастивную цель обучения и комбинированные стратегии аугментации с pool targets. Размер модели — 305,2 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для семантического сравнения предложений и получения эмбеддингов украинского текста; их можно использовать для поиска похожих фраз, кластеризации и других сценариев, где нужно сравнивать смысл текстов. Обучение проводилось на корпусе UberText 2.0. Базовая модель поддерживает множество языков, но карточка описывает дообучение именно для украинского; лицензия — Apache 2.0.
BlueAvenir/vaillant_relation_depth_model — модель на базе XLM-RoBERTa, разработанная для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для оценки семантической близости текстов и может применяться для семантического поиска и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss и доступна в формате PyTorch; использовать её можно через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Карточка не уточняет языковую специализацию; XLM-RoBERTa рассчитана на многоязычные тексты. Лицензия в предоставленных данных не указана.