I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейPaDaS-Lab/xlm-roberta-base-msmarco-webfaq — модель Sentence Transformers от PaDaS-Lab для сопоставления предложений и абзацев по смыслу. Она основана на XLM-RoBERTa-base-MSMARCO и обучена на наборе WebFAQ Retrieval Dataset из 2,56 млн пар текстов с функцией потерь MultipleNegativesRankingLoss. Архитектура объединяет XLM-RoBERTa с усредняющим пулингом токенов; модель формирует плотные векторы размерности 768, а близость текстов оценивается косинусным сходством. Модель подходит для семантического поиска, поиска похожих вопросов и ответов, сопоставления перефразировок, кластеризации и классификации текстов. Она принимает последовательности длиной до 512 токенов; в примерах обучающего набора есть тексты на немецком языке. Репозиторий распространяется в формате safetensors, лицензия — MIT. Качество на конкретных языках и прикладных задачах в карточке не оценено.
symanto/xlm-roberta-base-snli-mnli-anli-xnli — многоязычная модель классификации текста на основе XLM-RoBERTa Base с архитектурой XLMRobertaForSequenceClassification и 305,2 млн параметров. Разработчик описывает её как cross-attention NLI-модель, обученную на SNLI, MNLI, ANLI и XNLI для классификации без примеров и с небольшим числом примеров. Модель подходит для отнесения текста к пользовательским категориям по их описаниям, когда для каждой категории не требуется отдельное обучение классификатора. Поддерживает арабский, болгарский, немецкий, греческий, английский, испанский, французский, русский, тайский, турецкий, урду, вьетнамский и китайский языки. Нативный контекст — 514 токенов; репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
vicgalle/xlm-roberta-large-xnli-anli — модель XLM-RoBERTa-large, дообученная на нескольких наборах данных для распознавания логического следования (NLI), включая MNLI, XNLI и ANLI. Она предназначена для классификации текстов без заранее заданного набора классов: пользователь передаёт текст и названия возможных категорий, а модель оценивает их соответствие. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает текст длиной до 514 токенов. Она поддерживает многоязычную классификацию; в карточке приведены результаты на испанском и французском наборах XNLI, а также на трёх раундах ANLI. Лицензия — MIT. На тестах XNLI точность составила 93,7% для испанского и 93,2% для французского; на раундах ANLI — от 68,5% до 49,0%. Результаты на ANLI указывают на заметное снижение качества на более сложных раундах, поэтому оценки следует проверять на данных целевого применения.
Moritz Laurer дообучил мультиязычную модель XLM-V-base от Meta AI для вывода по естественному языку (NLI) и классификации без заранее заданных обучающих примеров. Модель сопоставляет premise и hypothesis, а в zero-shot-сценарии оценивает, насколько текст соответствует каждому из предложенных пользователем классов. Она основана на архитектуре XLM-RoBERTa и содержит около 805,7 млн параметров; словарь XLM-V включает 1 млн токенов. Контекст — до 514 токенов. Модель заявлена для 116 языков благодаря предварительному обучению на CC100 и переносит NLI между языками. Она дообучена на английском MNLI и профессионально переведённых данных XNLI для 15 языков. Средняя точность в приведённой оценке XNLI составляет 0,78; на других языках качество может быть ниже, а длинный текст ограничен окном контекста. Лицензия — MIT.
ayushexel/xynft-embeddinggemma-300m-5e — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов, поиска перефразирований, классификации и кластеризации. Использует архитектуру Gemma 3 Text, поддерживает контекст до 2048 токенов и косинусное сравнение эмбеддингов. Модель обучена на примерах запросов, ответов и негативных ответов; для одного набора из 741 примера в README приведена точность cosine_accuracy 0,68 по TripletEvaluator. Это указывает на настройку для поиска соответствий между запросами и ответами, но оценка относится к указанному набору данных и не гарантирует такое же качество на других текстах. Базовая модель описана как многоязычная. Файлы доступны в формате safetensors; лицензия в предоставленных данных не указана.
lmxhappy/yule_bagua_bert — модель на базе BERT, опубликованная пользователем lmxhappy в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и семантического поиска. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на получение полезных эмбеддингов предложений. Модель содержит 129,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Для работы доступны Sentence-Transformers и Transformers с подходящей операцией pooling. В карточке не указаны конкретные языки, поэтому языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.
zerank-2-reranker-MLX-bf16 — это конвертированная в формат MLX модель ZeroEntropy для Apple Silicon, основанная на zerank-2-reranker и архитектуре Qwen3-4B. Это cross-encoder-реранкер: он принимает запрос вместе с одним документом и выдаёт оценку их релевантности, по которой можно переставить результаты поиска. Для оценки каждого кандидата нужен отдельный проход модели. Модель имеет 3,7 млрд параметров, использует веса bfloat16 без квантизации и поддерживает контекст до 40 960 токенов. Оценка извлекается из логита токена «Yes»; её можно преобразовать в диапазон 0–1, но значения сопоставимы только для документов одного запроса. Карточка сообщает о проверках согласованности оценок с исходной моделью на наборах пар запрос–документ. Указана лицензия Apache-2.0.
DAMO-NLP-SG разработала zero-shot-модель классификации текста на основе XLM-RoBERTa. Модель дообучена методом SSTuning: на неразмеченных англоязычных данных она учится предсказывать индекс метки с помощью задачи First Sentence Prediction. В архитектуре XLMRobertaForSequenceClassification около 305,2 млн параметров; модель принимает текст и названия классов и выдаёт оценки классов. Контекст составляет до 514 токенов. Модель предназначена для классификации без дополнительного дообучения, например для анализа тональности и определения тематики. В README указано, что она обучалась на 20,48 млн примеров на английском языке, но может применяться и на других языках, поддерживаемых XLM-RoBERTa. Рекомендуемое число меток — от 2 до 20. Распространяется по лицензии MIT.
gte-tiny — компактная модель для получения эмбеддингов предложений и абзацев, опубликованная avsolatorio. Она основана на архитектуре BERT, содержит 25,9 млн параметров и преобразует текст в плотные векторы размерности 384. Модель дистиллирована из thenlper/gte-small; по данным карточки, её качество сопоставимо с базовой моделью, но немного ниже при примерно вдвое меньшем размере. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения сходства предложений. Контекст модели — 512 токенов. Для использования доступны веса safetensors; README описывает работу через Sentence-Transformers или Transformers с соответствующей операцией pooling. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.
jamiehudson/579-STmodel-brand-rem-v5 — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов; для получения векторов можно использовать библиотеку sentence-transformers или Transformers с подходящей операцией pooling. Модель подходит для поиска близких по смыслу фрагментов и группировки текстов. В README указано обучение с CosineSimilarityLoss, но языки и предметная область не описаны. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
jamiehudson/600-STmodel-brand-rem — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает текстовые входные данные; для работы доступны Sentence-Transformers и Hugging Face Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. В карточке не указаны специализированная предметная область или поддерживаемые естественные языки. Репозиторий содержит веса PyTorch; лицензия не приведена в доступных сведениях.
Это англоязычная модель Sentence Transformers, созданная сообществом overfitting-co путём дообучения sentence-transformers/all-MiniLM-L6-v2 на 4 505 парах предложений с контрастивной функцией потерь. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; сходство между ними оценивается косинусной мерой. Метаданные указывают размер модели 25,9 млн параметров и контекст до 512 токенов, а карточка README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического сравнения текстов, поиска по смыслу, поиска перефразировок, кластеризации и классификации текстов на основе векторов. Её можно применять для подбора похожих предложений и построения семантического поиска. В README приведены высокие значения точности и F1 на бинарной оценке сходства, однако они относятся к указанным в карточке оценочным наборам и не гарантируют такого же качества на других данных. Опубликованы форматы Safetensors и ONNX; библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.
teven/all_bs320_vanilla — модель на базе MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости. По описанию модели, её можно применять для семантического поиска и кластеризации; обучение включало MultipleNegativesRankingLoss с косинусной функцией сходства. Модель содержит 136,7 млн параметров и принимает текст с контекстом до 514 токенов. Модель подходит для получения эмбеддингов текстовых фрагментов и поиска похожих предложений или документов. В карточке не названы разработчик базового чекпойнта, целевые языки, датасеты или прикладные области, поэтому языковую специализацию установить нельзя. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
flax-sentence-embeddings/all_datasets_v3_distilroberta-base — модель эмбеддингов предложений, разработанная участниками Community Week Hugging Face по проекту обучения sentence embeddings на 1 млрд пар. За основу взята distilroberta-base, дообученная контрастивным обучением на объединении разнообразных наборов данных. Модель кодирует предложение в вектор, отражающий его семантическое содержание. Векторы предназначены для поиска по смыслу, кластеризации текстов и оценки сходства предложений. Модель имеет архитектуру DistilRoBERTa и содержит 95,2 млн параметров; метаданные указывают контекст до 514 токенов, а обучение ограничивало последовательности 128 токенами. В карточке указан английский язык. Доступны веса PyTorch; библиотека SentenceTransformers подходит для получения эмбеддингов. Модель не предназначена для генерации текста: её основной результат — векторное представление предложения. Эффективность может зависеть от языка и предметной области, поскольку карточка описывает обучение на смешанных данных и указывает английский как язык модели. Условия лицензии в предоставленных данных не приведены.
flax-sentence-embeddings/all_datasets_v4_MiniLM-L12 — модель эмбеддингов предложений, разработанная участниками Community Week Hugging Face в рамках проекта по обучению моделей на большом наборе пар предложений. За основу взята MiniLM-L12, дообученная контрастивным обучением на более чем миллиарде пар из объединённых датасетов. Модель принимает текстовое предложение и выдаёт векторное представление его смысла. Эмбеддинги подходят для поиска по смыслу, сравнения сходства предложений и кластеризации. Это плотная BERT-подобная модель на 40 млн параметров; контекст ограничен 512 токенами. В карточке указано обучение на последовательностях длиной до 128 токенов. Поддерживаемый язык — английский. Модель рассчитана на прикладное использование как sentence encoder. Репозиторий содержит веса PyTorch; лицензия в доступных сведениях не приведена.
LazarusNLP/all-indobert-base-v2 — модель эмбеддингов предложений на базе BERT, опубликованная LazarusNLP. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель распространяется в формате safetensors и рассчитана на контекст до 512 токенов. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на получение векторов, полезных для поиска и сопоставления текстов. Данные карточки указывают на индонезийский язык и наборы данных для индонезийских задач понимания и поиска информации. Лицензия в предоставленных источниках не указана.
aneforge/all-MiniLM-L12-v2 — это копия модели sentence-transformers/all-MiniLM-L12-v2, подготовленная для запуска через ANEForge на Apple Neural Engine. По README, веса побайтно совпадают с исходной моделью; архитектура — компактный плотный BERT с 40 млн параметров и контекстом до 512 токенов. Модель кодирует предложения и короткие фрагменты текста в эмбеддинги для семантического сравнения и поиска. Она рассчитана на английский язык; ANEForge компилирует граф модели в одну программу для Apple Neural Engine. Репозиторий распространяется по лицензии Apache-2.0.
ashraq/all-MiniLM-L12-v2-distil-cos-cohere-90k — модель на базе BERT, распространяемая в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для поиска семантически близких текстов и кластеризации; в обучении использовалась функция потерь CosineSimilarityLoss. Модель насчитывает около 40 млн параметров и принимает последовательности длиной до 512 токенов. Модель можно использовать с библиотекой Sentence-Transformers для построения векторного поиска и группировки текстов по смыслу. Карточка не сообщает конкретных языков обучения или специализированных областей применения. Лицензия в предоставленных данных не описана.
KhaledReda/all-MiniLM-L6-v21-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v20-pair_score на наборе пар текстов с оценками сходства, синонимами и опечатками. Она кодирует предложения и абзацы в плотные векторы размерностью 384; сходство между текстами оценивается косинусной близостью. Архитектура основана на BERT и использует усреднение токенных представлений с последующей нормализацией. Модель предназначена для семантического сравнения текстов и поиска: её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. Модель поддерживает английский язык, содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Обучение ориентировано на пары коротких текстов; качество на других языках и существенно отличающихся доменах README не подтверждает.
qxakshat/all-MiniLM-L6-v2-32dim — модель Sentence Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 32. Её можно применять для семантического поиска, кластеризации и оценки сходства текстов. Репозиторий содержит веса в формате safetensors; модель насчитывает 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Это уменьшенная по размерности версия all-MiniLM-L6-v2: README указывает, что 32-мерное представление получено снижением размерности исходного 384-мерного. На тесте STS с оценкой косинусного сходства версия на 32 измерения показала Pearson 0,7256 и Spearman 0,7481, ниже исходной версии с 384 измерениями (0,8274 и 0,8203 соответственно). Модель ориентирована на английский язык и выпущена по лицензии Apache-2.0.
MLX-версия модели all-MiniLM-L6-v2-4bit, созданная сообществом mlx-community на основе sentence-transformers/all-MiniLM-L6-v2. Модель предназначена для генерации текстовых эмбеддингов и задач сравнения предложений, включая оценку семантической схожести, поиск и извлечение признаков из текста. Модель использует архитектуру MiniLM с шестью слоями и 4-битным квантованием, преобразована в формат MLX с помощью mlx-lm версии 0.0.3. Она работает с библиотекой mlx-embeddings, возвращает нормализованные эмбеддинги и поддерживает вычисление сходства между текстами через скалярное произведение. В карточке указано English как язык модели; сведения о размере эмбеддингов, максимальной длине контекста и других модальностях отсутствуют. К сильным сторонам относятся компактность, 4-битное представление и возможность эффективного использования в MLX-среде для семантического поиска и сопоставления текстов. Ограничения, результаты бенчмарков и подробные требования к ресурсам в README не указаны. Модель распространяется по лицензии Apache-2.0.
Это дообученная модель семейства BERT на базе all-MiniLM-L6-v2, представленная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения текстов и кластеризации. Веса доступны в формате PyTorch; модель содержит 25,9 млн параметров и поддерживает контекст до 512 токенов. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих высказываний и оценки сходства предложений. В обучении использовалась CosineSimilarityLoss. В README приведён идентификатор all-MiniLM-L6-v2-fine-tuned-epochs-1, но явно не описаны обучающие данные и целевая предметная область. Условия лицензии в доступных сведениях не приведены.
Англоязычная модель Sentence Transformer, разработанная на базе sentence-transformers/all-MiniLM-L6-v2 и дообученная для сопоставления описаний профессий и должностей. Энкодер BERT преобразует предложения и абзацы в плотные векторы размерности 384; сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения описаний вакансий и профессий, а также может применяться для поиска перефразирований, кластеризации и классификации текстов. Она обучена на 897 примерах и показала точность cosine_accuracy 0,7289 на указанной в карточке оценке TripletEvaluator. Лицензия в предоставленных данных не указана.
along26/all-MiniLM-L6-v2_multilingual_malaysian-v2 — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Энкодер архитектуры BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска, а также для поиска перефразировок, кластеризации и классификации текстов. По примерам обучающих данных она адаптирована к сопоставлению текстов на малайском и английском языках. В README приведена оценка cosine_accuracy 0,0044; без описания протокола и набора метрик эту цифру сложно интерпретировать, поэтому качество на конкретной задаче следует проверять отдельно. Веса доступны в формате Safetensors; модель использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.
all-MiniLM-L6-v2-pruned — англоязычный энкодер предложений, созданный на основе sentence-transformers/all-MiniLM-L6-v2 с сокращённым словарём токенов. Модель разработал владелец репозитория jangedoo; она использует архитектуру BERT и библиотеку Sentence Transformers. В метаданных указано 22,1 млн параметров и контекст до 512 токенов; README приводит 18 983 040 параметров после сокращения словаря на 31,83%.
Hyperakan/all-MiniLM-L6-v2-smoke — англоязычная модель Sentence Transformer, дообученная на базе sentence-transformers/all-MiniLM-L6-v2 на данных all-nli. Энкодер архитектуры BERT с 25,9 млн параметров преобразует предложения и абзацы в плотные векторы размерности 384; для объединения токенных представлений используется mean pooling. Максимальная длина входа — 512 токенов, сходство векторов оценивается косинусной мерой. Модель предназначена для семантического поиска и извлечения релевантных текстов, а также для сравнения предложений и абзацев. Её можно применять для поиска документов по запросу, ранжирования кандидатов по семантической близости и кластеризации текстов. В README приведены оценки на небольших наборах NanoMSMARCO и NanoNFCorpus, а данные обучения включали 50 примеров, поэтому эти результаты не гарантируют качество на других данных. Модель принимает текст и выдаёт эмбеддинги; указана поддержка английского языка. Лицензия — Apache-2.0.
KhaledReda/all-MiniLM-L6-v57-pair_score — англоязычная модель Sentence Transformers, дообученная KhaledReda на датасете пар текстов pairs_with_scores_v46. Она кодирует предложения и абзацы в плотные векторы размерности 384 для оценки семантического сходства по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; в README указана максимальная длина последовательности 256 токенов, а в метаданных — контекст до 512 токенов. Модель принимает текст и выдаёт векторные представления. Она рассчитана на английский язык. Лицензия Apache-2.0. Карточка не приводит результатов независимых оценок качества; качество для языков, отличных от английского, не подтверждено.
KhaledReda/all-MiniLM-L6-v60-pair_score — англоязычная модель Sentence Transformers, дообученная на pairs_with_scores_v48 на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для сравнения смысловой близости текстов по косинусному сходству. Архитектура включает энкодер BERT, mean pooling и нормализацию; в метаданных указаны 25,9 млн параметров и контекст до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, а также для построения эмбеддингов. Карточка указывает Apache 2.0. Модель рассчитана на английский язык; качество для других языков не подтверждено.
KhaledReda разработал all-MiniLM-L6-v67-pair_score — модель Sentence Transformers, дообученную на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной близостью. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию. Модель рассчитана на английский язык; в README указана максимальная длина последовательности 256 токенов, а метаданные Hugging Face указывают контекст 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Она содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Качество для языков помимо английского и применимость к длинным текстам свыше указанного предела последовательности не подтверждены.
Англоязычный Sentence Transformer, дообученный Khaled Reda на наборе пар предложений pairs_with_scores_v63 для оценки семантической близости текстов. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT с усреднением токенных представлений и нормализацией. Она преобразует предложения и абзацы в плотные векторы размерности 384; сходство между векторами можно оценивать косинусной мерой. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов, тогда как метаданные задают нативный контекст в 512 токенов. Распространяется по лицензии Apache-2.0. Карточка описывает обучение на парах с оценками сходства, но не приводит результаты сравнительных тестов; качество на других доменах и языках отдельно не подтверждено.