I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейyoshinori-sano представляет модель эмбеддингов предложений на базе DistilRoBERTa, предназначенную для сравнения смысловой близости текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые подходят для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, работает с текстом и имеет контекст до 514 токенов. При обучении использована Matryoshka Loss с задачей Multiple Negatives Ranking Loss; модель обучалась представлять тексты в нескольких размерностях: 768, 512, 256, 128 и 64. Для работы доступны Sentence-Transformers и Transformers; веса хранятся в формате safetensors. В метаданных не указаны лицензия и поддерживаемые естественные языки.
kwondw/distilroberta-base-nli-v3 — модель Sentence Transformers, дообученная разработчиком на базе distilbert/distilroberta-base на наборе all-nli. Архитектура RoBERTa с mean pooling преобразует текстовые предложения и абзацы в плотные векторы размерности 768; максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для поиска по смыслу, извлечения текстовых эмбеддингов и оценки семантического сходства. В README приведены результаты оценки на STS: Spearman cosine 0,865 на sts-dev и 0,8417 на sts-test. Карточка не сообщает лицензию; обучение и примеры ориентированы на англоязычный текст.
tomaarsen/distilroberta-base-nli-v4 — модель Sentence Transformers, дообученная на distilbert/distilroberta-base на наборе all-nli. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768 для сравнения семантической близости с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура включает RoBERTa-трансформер с усреднением токенных представлений; модель содержит 95,2 млн параметров и принимает последовательности длиной до 512 токенов. Данные README приводят результаты на STS: коэффициент Спирмена с косинусным сходством составляет 0,7892 на sts-dev и 0,7221 на sts-test. Модель рассчитана на английский язык и выдаёт эмбеддинги, а не готовые текстовые ответы. Для входов длиннее 512 токенов потребуется усечение или разбиение текста; качество на других языках не заявлено. Лицензия в предоставленных данных не указана.
hcy5561 выпустил англоязычную модель Sentence Transformer, дообученную на SNLI на базе google-bert/bert-base-uncased. Она преобразует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством; модель построена на BERT с усреднением токенных представлений и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Её можно применять для поиска похожих предложений в корпусе или группировки англоязычных текстов по смыслу. Лицензия в предоставленных данных не указана.
Модель mrm8488/distiluse-base-multilingual-cased-v2-finetuned-stsb_multi_mt-es — испаноязычная модель Sentence-Transformers для оценки семантического сходства предложений и абзацев. Она дообучена на наборе stsb_multi_mt на основе distiluse-base-multilingual-cased-v2 с архитектурой DistilBERT и выдаёт плотные векторы размерности 768. Максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, кластеризации текстов и ранжирования пар предложений по сходству. В README приведён результат оценки Spearman 0,7604. Репозиторий содержит веса PyTorch; для работы описано использование Sentence-Transformers или Transformers с соответствующим pooling. Лицензия в предоставленных данных не указана.
Dist-MPNet-Paracrawl-cs-en — компактная модель семантических эмбеддингов, созданная Seznam.cz. Это BERT-small, дистиллированная из sentence-transformers/all-mpnet-base-v2 и обученная на параллельном чешско-английском наборе ParaCrawl. Модель предназначена для сравнения предложений и применяется для поиска по смыслу, извлечения релевантных текстов, кластеризации и классификации. Модель содержит 27,2 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Указанная лицензия — CC BY 4.0. Количественные результаты оценки и ограничения в доступных материалах не приведены.
sultanbi/e5-base-kazakh — модель Sentence Transformer автора sultanbi, дообученная на переведённой на казахский язык версии набора SNLI. Она основана на intfloat/multilingual-e5-base и использует архитектуру XLM-RoBERTa с усреднением токенных представлений и нормализацией. Модель преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. В README указана максимальная длина последовательности 128 токенов, а метаданные Hugging Face сообщают нативный контекст в 514 токенов. Модель предназначена прежде всего для сравнения смысловой близости казахских текстов и семантического поиска; также подходит для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты retrieval на валидационной части казахского SNLI, превосходящие показатели базовой multilingual-e5-base на этом тесте. Метаданные указывают поддержку множества языков, хотя специальное дообучение выполнено для казахского. Лицензия — MIT.
intfloat/e5-base-unsupervised — англоязычная модель эмбеддингов текста из семейства E5, разработанная авторами работы Text Embeddings by Weakly-Supervised Contrastive Pre-training. Это вариант E5-base без последующего обучения на размеченных данных. Модель построена на архитектуре BERT: 12 слоёв, размер эмбеддинга 768, около 136,7 млн параметров; принимает текст и выдаёт векторные представления. Максимальная длина входа — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска по смыслу, в том числе для извлечения фрагментов из коллекции по запросу, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для задач поиска рекомендуется добавлять префиксы «query: » к запросам и «passage: » к текстам коллекции; для симметричного сравнения и других сценариев применяется префикс «query: ». Модель работает только с английскими текстами, а более длинные последовательности обрезаются до 512 токенов. Карточка предупреждает о возможном снижении качества без соответствующих префиксов и о небольших различиях результатов между версиями PyTorch и Transformers. Лицензия — MIT.
bobox/E5-base-unsupervised-TSDAE — модель Sentence Transformers, дообученная автором на базе intfloat/e5-base-unsupervised с использованием DenoisingAutoEncoderLoss. Она основана на BERT, содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768; в README указана косинусная мера сходства. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок, а также может использоваться для кластеризации и классификации текста. В README приведён результат Spearman 0,7584 на sts-test. Базовая модель описана как англоязычная; примеры обучающих данных также на английском. Модель распространяется в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
upskyy/e5-large-korean — модель Sentence Transformers, дообученная автором на korsts и kornli на базе intfloat/multilingual-e5-large. Она преобразует предложения и абзацы в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa и усреднение токенных представлений. Модель предназначена для сравнения смысла текстов, семантического поиска и других задач, где нужны текстовые эмбеддинги. Для вычисления сходства в README указана косинусная мера; максимальная длина последовательности — 512 токенов по README и 514 по метаданным. В README приведён результат оценки на sts-dev: корреляция Спирмена для косинусного сходства — 0,8699. Модель поддерживает корейский и другие языки; среди языков в метаданных перечислены, в частности, корейский и английский. Репозиторий использует формат safetensors, библиотека — sentence-transformers. Лицензия — MIT.
E5-large-trm-nl — модель эмбеддингов предложений на базе XLM-RoBERTa, дообученная CLiPS на модели clips/e5-large-trm для нидерландского языка. Она кодирует запросы и фрагменты текста в векторы для поиска и сравнения по смыслу; карточка приводит пример работы с ранжированием фрагментов MS MARCO и оценку на бенчмарке MTEB-NL. Модель содержит 453,9 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель предназначена для семантического поиска, сопоставления запросов с документами и других задач сходства предложений на нидерландском языке. Распространяется в формате safetensors и использует библиотеку Sentence Transformers. Лицензия — MIT. Качество зависит от соответствия домена и языка входных текстов обучающим данным; опубликованные результаты относятся к бенчмаркам нидерландского языка. Модель выдаёт векторные представления, а не готовые ответы на вопросы.
E5-large-v2-t2t — нидерландская адаптация модели intfloat/e5-large-v2, созданная методом transtokenizer на основе токенизатора BERTje. Веса модели основаны на BERT; размер составляет около 433,4 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для преобразования нидерландских запросов и документов в текстовые эмбеддинги, чтобы находить семантически близкие тексты и сравнивать предложения. Модель можно применять для семантического поиска, ранжирования passage и оценки сходства текстов на нидерландском языке. В README приведены результаты оценки на нидерландском бенчмарке MTEB-NL. Модель принимает текст и выдаёт векторные представления; она опубликована в формате safetensors по лицензии MIT. Карточка не описывает ограничения качества или области применения.
e5-sk-large — модель текстовых эмбеддингов для словацкого языка, выпущенная в рамках проекта SkMTEB. Она создана на основе intfloat/multilingual-e5-large: словарь сокращён с 250 тысяч до 60 тысяч токенов, после чего модель дообучена на словацких данных. В метаданных указаны архитектура XLM-RoBERTa, 464,1 млн параметров и контекст до 514 токенов; README сообщает о 365 млн параметров и 1024-мерных эмбеддингах, поэтому размеры расходятся между источниками. Модель предназначена для семантического поиска и извлечения документов, сравнения смысла текстов, кластеризации и классификации по эмбеддингам, а также поиска между словацким, английским и чешским языками. Для запросов поиска рекомендуется добавлять префикс «query: », а для индексируемых документов — «passage: »; для симметричных задач префикс не нужен. Модель показывает сопоставимые с multilingual-e5-large результаты на словацком бенчмарке SkMTEB и подходит для локального развёртывания. Модель оптимизирована для словацкого языка; перенос на другие языки, кроме указанных межъязыковых сценариев, не оценён. Сокращение словаря может ухудшить работу с текстом, смешивающим языки, а обучающие данные преимущественно охватывают новости, парламентские материалы и энциклопедии. При дообучении использовалась длина последовательности 256 токенов, хотя архитектура поддерживает контекст до 512. Лицензия — MIT.
E5-small — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Она обучена методом слабого контролируемого контрастивного предобучения и предназначена для кодирования запросов и текстов в векторы для поиска и сравнения семантической близости. Модель основана на BERT и содержит 12 слоёв; размер эмбеддинга — 384, число параметров — около 40 млн. Она принимает английский текст и выдаёт векторы. Контекст ограничен 512 токенами. Для поиска рекомендуется добавлять к текстам префиксы «query: » и «passage: » в соответствии с типом задачи; без них качество может снижаться. Модель распространяется по лицензии MIT. В README рекомендуется перейти на e5-small-v2, у которой выше качество при том же способе использования. Тексты длиннее 512 токенов обрезаются; результаты могут немного отличаться в зависимости от версий PyTorch и Transformers.
upskyy/e5-small-korean — модель Sentence Transformer, созданная дообучением intfloat/multilingual-e5-small на наборах korsts и kornli. Она использует архитектуру BERT с усреднением токенных представлений и формирует плотные эмбеддинги размерности 384; сходство текстов оценивается косинусной близостью. Максимальная длина последовательности — 512 токенов. Модель предназначена для сравнения предложений и абзацев, семантического поиска, поиска перефразирований, кластеризации и классификации текста. В README приведена оценка на sts-dev: Spearman 0,8467 и Pearson 0,848 для косинусного сходства. Лицензия — MIT.
m-rudko-pn создал модель Sentence Transformers, дообучив multilingual-e5-small на 79 912 парах текстов из украинской Википедии. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и название модели указывают на специализацию на украинских текстах. В карточке нет сведений о лицензии, поэтому условия использования определить нельзя.
Это Sentence Transformer, дообученный на базе intfloat/e5-small-v2. Модель разработана для преобразования предложений и абзацев в плотные текстовые векторы размерностью 384; архитектура включает BERT-энкодер и усредняющий пуллинг токенов. Максимальная длина последовательности — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель подходит для семантического поиска, оценки сходства и поиска перефразировок, а также для кластеризации и классификации текстов на основе эмбеддингов. Базовая E5-small-v2 предназначена для английского языка; README не сообщает о дополнительной языковой специализации этой версии. Репозиторий распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
jangedoo/e5-small-v2-pruned — компактная модель эмбеддингов на базе intfloat/e5-small-v2, представленная автором как версия с прореженным токенным эмбеддингом. Она использует архитектуру BERT и библиотеку Sentence Transformers, содержит 36,8 млн параметров по метаданным и принимает последовательности длиной до 512 токенов. Модель преобразует текст в векторы для семантического поиска, сопоставления предложений и оценки их сходства. В README указано сокращение словаря с 30 522 до 22 225 токенов и числа параметров с 33 360 000 до 30 173 952. На приведённых тестах STS-B и NanoBEIR качество немного ниже базовой модели: например, корреляция STS-B Pearson составляет 0,8234 против 0,8317. Для использования требуется Sentence Transformers; в примере загрузки включён trust_remote_code=True. Лицензия в предоставленных данных не указана.
api19750904/efeverde-cat — модель на базе RoBERTa, обученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно использовать для семантического поиска и кластеризации текстов, а также для сравнения сходства предложений. В репозитории представлены веса PyTorch; размер модели — около 151,8 млн параметров, контекст — до 514 токенов. Модель рассчитана на получение текстовых эмбеддингов, а не на генерацию текста. В README указано обучение с CosineSimilarityLoss; для работы предлагаются Sentence-Transformers либо Transformers с подходящей операцией pooling. Язык обучения и лицензия в доступных данных не установлены.
addy88/eli5-all-mpnet-base-v2 — модель Sentence-Transformers на базе RoBERTa, дообученная на данных ELI5. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости, поиска и кластеризации текстов. В обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством; число параметров — 95,2 млн, контекст — до 514 токенов. Модель подходит для семантического поиска и группировки похожих текстов. Для использования с Transformers требуется корректно применить pooling к контекстным представлениям токенов; README также описывает применение через Sentence-Transformers. В репозитории указан формат PyTorch. Лицензия в доступных данных не приведена.
Англоязычная модель Sentence Transformer, созданная дообучением sentence-transformers/all-MiniLM-L6-v2 на наборе вопросов и ответов gooaq. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; векторы нормализуются, а сходство можно оценивать косинусной мерой. В README указан предел последовательности 256 токенов, а метаданные каталога указывают контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Дообучение на парах «вопрос — ответ» ориентирует её на сопоставление вопросов с релевантными ответами. По результатам TripletEvaluator на gooqa-dev указана cosine accuracy 0,5936; качество на других данных может отличаться. Для работы с моделью подходит библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
ayushexel/emb-bge-base-en-v1.5-squad-2-epochs — англоязычная Sentence Transformer-модель, дообученная разработчиком на базе BAAI/bge-base-en-v1.5. Она использует архитектуру BERT с пуллингом CLS-токена и нормализацией и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок, а также может использоваться для кластеризации и классификации текстов. Карточка указывает обучающую выборку из 44 282 примеров с вопросами, контекстами и негативными примерами. Максимальная длина последовательности — 512 токенов. Модель подходит для поиска релевантных фрагментов в RAG-системах; ответы на вопросы она не генерирует. Лицензия в предоставленных данных не указана. Результаты оценки на gooqa-dev составляют 0,4116 по cosine accuracy; качество зависит от данных и задачи, поэтому перед применением стоит проверить модель на целевом наборе.
Это дообученный на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений на архитектуре BERT, разработанный пользователем ayushexel. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и подходит для вычисления семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Для оценки сходства используется косинусная близость. В README указана максимальная длина последовательности 256 токенов; метаданные каталога указывают контекст 512 токенов. Модель содержит 25,9 млн параметров, принимает текст и выдаёт векторы. Примеры и описание обучающих данных ориентированы на пары вопросов и контекстов, а базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.
embed-andegpt-H384 — модель Sentence Transformer, созданная дообучением nreimers/MiniLM-L6-H384-uncased авторами enpaiva. Она преобразует предложения и абзацы на испанском языке в плотные векторы размерностью 384 для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В основе — шестислойная архитектура BERT/MiniLM с усреднением токенных представлений; максимальная длина входа — 512 токенов. Модель распространяется по лицензии Apache-2.0. В README приведены результаты TripletEvaluator на наборах andegpt-dev и andegpt-test, однако они не заменяют оценку на данных конкретного применения.
Англоязычная модель Sentence Transformer, созданная DannyAI дообучением BAAI/bge-large-en-v1.5 на датасете all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 1024, нормализованные для сравнения по косинусному сходству. Архитектура включает BERT-трансформер, слой pooling по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразирований, кластеризации и классификации текста по эмбеддингам. В README приведены значения точности cosine_accuracy около 0,95 на проверках all-nli. Лицензия — MIT. Результаты ориентированы на английский язык и могут уступать на других языках или за пределами задач, похожих на обучающие данные.
IoannisKat1 выпустил дообученную модель Sentence Transformers на базе google/embeddinggemma-300m для поиска и сопоставления текстов. Модель кодирует предложения и абзацы в плотные векторы размерностью 768; для оценки сходства используется косинусная мера. Контекст — до 2048 токенов, входная модальность — текст. В README указано обучение на 4268 парах текстов и приведены результаты оценки поиска при усечении векторов до 768, 512, 256, 128 и 64 измерений. Карточка указывает английский язык, однако примеры обучающих данных на греческом, поэтому фактическую языковую поддержку следует проверять на целевых данных. Лицензия — Apache-2.0.
embeddinggemma-pt-br — португалоязычная модель для создания текстовых эмбеддингов, подготовленная tardellirs на основе google/embeddinggemma-300m. Это плотный текстовый энкодер семейства Gemma 3 с 151,8 млн параметров, библиотекой Sentence Transformers и контекстом до 2048 токенов. Размер словаря сокращён до 64 тыс. наиболее частотных португальских токенов: матрица токенов была усечена, а энкодер и слои pooling и Dense сохранены без изменений. По README, вариант сохраняет 98,8% результата исходной модели на MTEB(por), при этом обучение не проводилось. Модель предназначена для получения эмбеддингов и семантического сравнения португалоязычных текстов, например для поиска, классификации, кластеризации и ранжирования. Для других языков качество может быть низким из-за возврата к побайтовой токенизации. Указанная лицензия — Gemma; применяйте модель в соответствии с её условиями.
alibayram/embeddingmagibu-200m — модель SentenceTransformers на архитектуре Gemma 3 Text, разработанная для создания эмбеддингов турецких текстов. Она содержит 202,1 млн параметров, формирует нормализованные векторы размерности 768 и поддерживает контекст до 8192 токенов. В README описаны адаптация токенизатора для турецкого языка и дистилляция эмбеддингов от EmbeddingGemma; метаданные также указывают на дистилляцию. Модель предназначена для семантического поиска и извлечения длинных документов, оценки сходства предложений, кластеризации и классификации на основе эмбеддингов. В README приведены результаты STSbTR, однако оценка TR-MTEB ещё продолжается. Модель опубликована под лицензией MIT. При обработке длинных текстов без разбиения на части возрастает потребление памяти; README рекомендует для инференса bfloat16 или float32 вместо float16.
embeddingmagibu-200m — модель эмбеддингов предложений, разработанная М. Али Байрамом, Бану Дири и Савашем Йылдырымом как артефакт исследования по адаптации многоязычных эмбеддингов для турецкого языка. Это плотная текстовая модель семейства Gemma 3 Text с примерно 202,1 млн параметров, реализованная в формате SentenceTransformers. Она выдаёт нормализованные векторы размерности 768 и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для семантического поиска и извлечения документов на турецком языке, в том числе для RAG, а также для оценки сходства предложений, кластеризации и классификации на основе эмбеддингов. Она адаптирована с помощью модификации многоязычного токенизатора и дистилляции эмбеддингов от учительской модели; обучение проводилось в многоязычном режиме с охватом 40 языков. Основной язык — турецкий, но модель подходит и для многоязычных сценариев с акцентом на турецкий. В репозитории указана лицензия MIT. Ограничения: качество на языках помимо турецкого может различаться, а обработка длинных входов может требовать значительной видеопамяти; для длинных документов может быть полезно разбиение на фрагменты. Результаты также зависят от настроек оценки и формата запросов.
embedinggemma_arkts — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m, разработчик указан как hreyulog. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, классификации и кластеризации. Модель содержит 302,8 млн параметров и предназначена для работы с текстом; в README указана максимальная длина последовательности 512 токенов, а метаданные каталога сообщают контекст 2048 токенов. Обучение проводилось на 39 122 парах примеров с MultipleNegativesRankingLoss. В README приведены результаты на тестовой части arkts-code-docstring: MRR 0,7788 и Recall@5 0,8769. Данные обучения включают соответствия между описаниями и фрагментами кода, в том числе на китайском и английском; поэтому модель особенно подходит для семантического поиска по документации и коду ArkTS. Лицензия в предоставленных данных не указана.