I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейcambridgeltl/mirror-roberta-base-sentence-drophead — несупервизируемый энкодер предложений, разработанный Liu et al. (2021). Он основан на RoBERTa-base и обучен на неразмеченных предложениях; для получения представления текста рекомендуется брать вектор токена [CLS] до слоя pooler. В качестве аугментации пространства признаков используется drophead вместо dropout. Модель предназначена для извлечения векторных представлений предложений и задач сравнения их семантического сходства. Она содержит около 151,8 млн параметров, принимает текст и поддерживает контекст длиной до 514 токенов. Карточка указывает английский язык. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
mal-sh/mith-embed-v2-train — модель Sentence Transformers на базе арабоязычной aubmindlab/bert-base-arabertv2, дообученная для получения плотных векторных представлений предложений и абзацев. Она предназначена для поиска семантически близких текстов, оценки сходства, поиска перефразировок, кластеризации и классификации текстов; особенно полезна для задач с арабскими вопросами и ответами. Модель выдаёт векторы размерности 768, для сравнения текстов использует косинусное сходство и принимает последовательности длиной до 512 токенов. В README перечислены арабский, китайский, немецкий, английский, французский, итальянский, польский, русский, испанский и турецкий языки; обучающие данные включают наборы арабских QA, NLI и межъязыкового сходства предложений. Архитектура состоит из BERT-трансформера и mean pooling. Репозиторий содержит веса в формате safetensors, размер модели — 162,4 млн параметров. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Mitsua Japanese CLIP ViT-B-16 — двуязычная модель сопоставления изображений и текста, разработанная ELAN MITSUA Project / Abstract Engine. Она предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов и для вычисления соответствия между изображениями и японскими или английскими запросами. Модель основана на контрастивном подходе CLIP с визуальным энкодером ViT-B и обучена с нуля, без использования знаний предварительно обученных моделей. В карточке указаны японский и английский языки; веса опубликованы в формате safetensors. Авторы описывают обучающие данные как состоящие из материалов с явным согласием, открытых лицензий и общественного достояния, без AI-сгенерированных данных. Модель распространяется по лицензии CC BY-SA 4.0: требуется указать авторство, отметить изменения и распространять адаптированные материалы на тех же условиях. Качество может снижаться для изображений и понятий, слабо представленных в обучающих данных; описание не приводит количественных оценок качества.
MixEmbed-base-20240113172018-best — компактная модель эмбеддингов на основе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации. Модель содержит 18,8 млн параметров и рассчитана на контекст до 512 токенов. Согласно README, модель дистиллирована из bge-small-en-v1.5 и имеет вчетверо меньше параметров без эмбеддингов, чем исходная модель. README также сообщает, что у неё вдвое меньше параметров, чем у all-MiniLM-L6-v2, при сопоставимом качестве. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется корректное pooling contextualized word embeddings. В метаданных указаны safetensors и задачи извлечения признаков и сходства предложений. Модель предназначена для поиска и группировки текстов по смыслу. README указывает на английскую базовую модель bge-small-en-v1.5; поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.
bge-micro — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio в январе 2024 года. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для семантического поиска, кластеризации и сравнения текстов. Модель содержит 18,8 млн параметров и поддерживает контекст до 512 токенов. Модель дистиллирована из bge-small-en-v1.5; в ней в четыре раза меньше параметров, не относящихся к эмбеддингам. По README, она содержит вдвое меньше параметров, чем all-MiniLM-L6-v2, при сопоставимом качестве. Доступны веса в формате safetensors; для использования описаны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель рассчитана на англоязычные тексты. Она подходит для построения векторного поиска и кластеризации, но сама не генерирует ответы; контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.
MixEmbedBert-base-20240115112530-best, представленная в карточке как bge-micro, — компактная модель эмбеддингов на архитектуре BERT. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. По README модель дистиллирована из BAAI/bge-small-en-v1.5 и имеет четверть параметров, не относящихся к эмбеддингам, по сравнению с исходной моделью; заявлено также, что при примерно половине параметров all-MiniLM-L6-v2 она показывает сопоставимое качество. Модель содержит 18,8 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате Safetensors. В метаданных указана задача sentence-similarity, а каталог также отмечает извлечение признаков и эмбеддинги. README указывает на английскую базовую модель; лицензия в предоставленных данных не указана.
MixEmbedBert-base-20240115163419-best — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в карточке как bge-micro. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из avsolatorio/bge-small-en-v1.5 и содержит примерно в четыре раза меньше неэмбеддинговых параметров; по README, при половине параметров all-MiniLM-L6-v2 показывает сопоставимое качество. Модель содержит 18,8 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Метаданные указывают задачи sentence-similarity и feature-extraction. README описывает англоязычную базовую модель и не заявляет поддержку других языков. Для использования доступны веса safetensors; лицензия в предоставленных данных не указана.
MixEmbedBert-base-20240115163419-latest — компактная модель эмбеддингов на базе BERT для представления предложений и абзацев в виде плотных векторов размерности 384. Карточка описывает её как дистилляцию bge-small-en-v1.5; число параметров составляет 18,8 млн, контекст — до 512 токенов. Модель предназначена для семантического поиска, кластеризации и сравнения текстов. Она выдаёт текстовые эмбеддинги и поддерживает задачи извлечения признаков и оценки сходства предложений. В README заявлено, что модель содержит в четыре раза меньше неэмбеддинговых параметров, чем bge-small-en-v1.5, и имеет примерно вдвое меньше параметров, чем all-MiniLM-L6-v2, при сопоставимом качестве. Указанные семейство и учебная база ориентированы на английский язык. Для использования доступны варианты Sentence-Transformers и Transformers; при работе через Transformers необходимо применить подходящий pooling к контекстным представлениям токенов. В карточке не указана лицензия, поэтому условия использования по ней определить нельзя.
avsolatorio/MixEmbedMean-base-20240116012638-best — компактная модель эмбеддингов на архитектуре BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации. В README указано, что модель дистиллирована из BAAI/bge-small-en-v1.5 и имеет вчетверо меньше параметров вне эмбеддингового слоя; её автор сравнивает качество с all-MiniLM-L6-v2 при примерно половине числа параметров. Метаданные указывают 18,8 млн параметров, контекст до 512 токенов и формат safetensors. Модель рассчитана на текстовые задачи поиска и сравнения семантически близких фрагментов. В карточке отдельно не описаны лицензия и конкретные языки обучения, поэтому их нельзя уточнить по доступным сведениям.
ronanki выпустил модель sentence-transformers на основе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; её обучали с MultipleNegativesRankingLoss и косинусным сходством. Репозиторий содержит веса PyTorch, а контекст модели составляет 514 токенов. Модель принимает текст и выдаёт векторные представления, которые можно использовать для семантического поиска и группировки текстов. В метаданных нет сведений о лицензии или языковой специализации, поэтому они не указаны.
ronanki/ml_mpnet_768_MNR_10 — модель Sentence-Transformers для получения плотных векторных представлений предложений и абзацев размерностью 768. Она основана на XLM-RoBERTa и предназначена для семантического поиска и кластеризации текстов. В метаданных указано 305,2 млн параметров и контекст длиной 514 токенов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. В README описано использование с Sentence-Transformers или Hugging Face Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch; лицензия не приведена в доступных данных.
hatemestinbejaia/mmarco-Arabic-AraDPR-bi-encoder-NoKD-v1 — арабоязычная модель Sentence Transformers на базе BERT, дообученная на наборе RARAELECTRAandRARABERTusedDATASET. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и ранжирования текстов; близость оценивается косинусным сходством. Модель подходит для поиска релевантных фрагментов в системах вопросов и ответов, поиска перефразировок и кластеризации текстов. Максимальная длина входа — 512 токенов. В архитектуре используется усреднение токенных представлений BERT. В README приведены результаты оценки ранжирования: MAP 0,5211 и MRR@10 0,5216. Модель ориентирована на арабский язык; метаданные указывают 205,1 млн параметров и формат safetensors. Лицензия в предоставленных сведениях не указана.
qilowoq/mmarco-mMiniLMv2-L12-H384-v1-en-ru — компактная двуязычная версия модели jeffwan/mmarco-mMiniLMv2-L12-H384-v1 для ранжирования пар «запрос — текст». Её разработчик сократил словарь до токенов английского и русского языков; в карточке указана архитектура XLM-RoBERTa с классификационной головой, 51,5 млн параметров и контекстом до 514 токенов. Модель обучена как cross-encoder на MMARCO — машинном переводе MS MARCO на 14 языков. README описывает применение для поиска: оценивать пары запроса и найденного фрагмента, затем сортировать фрагменты по оценкам релевантности. Модель предназначена для этапа reranking в информационном поиске, например после первичного поиска в ElasticSearch. Несмотря на словарь, ограниченный английским и русским, автор сообщает о хороших результатах и на других языках. Лицензия — Apache-2.0. README не приводит количественных оценок качества; контекст ограничивает длину обрабатываемой пары.
Omartificial-Intelligence-Space разработала mmbert-base-arabic-nli — арабоязычную модель Sentence Transformer для получения эмбеддингов предложений и абзацев. Это дообученная версия jhu-clsp/mmBERT-base с архитектурой ModernBERT; модель содержит 306,9 млн параметров и выдаёт векторы размерности 768. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации арабских текстов, в том числе для поиска по документам в RAG-системах. Она принимает текстовые последовательности длиной до 8192 токенов; для сравнения векторов в карточке указана косинусная мера сходства. На STS-бенчмарках приведён результат Spearman 0,8311. Модель распространяется в формате safetensors и использует библиотеку Sentence Transformers. Лицензия Apache-2.0 разрешает коммерческое и иное использование на её условиях.
mmE5-mllama-11b-instruct — мультимодальная многоязычная модель эмбеддингов, представленная авторами работы «mmE5: Improving Multimodal Multilingual Embeddings via High-quality Synthetic Data» в 2025 году. Она дообучена на базе Llama-3.2-11B-Vision и предназначена для получения эмбеддингов изображений и текста, в том числе для классификации изображений по текстовым описаниям без специального обучения на классах.
MMLW-e5-base — польский текстовый энкодер, разработанный для получения векторных представлений текста. Модель основана на multilingual E5, инициализирована его чекпойнтом и обучена методом дистилляции на разнообразном корпусе из 60 миллионов пар текстов на польском и английском языках; учителями служили английские модели FlagEmbeddings (BGE). Архитектура — XLM-RoBERTa, размер — 305,2 млн параметров, выходные эмбеддинги имеют 768 измерений, максимальный контекст — 514 токенов. Модель подходит для семантического поиска и сравнения текстов, кластеризации и информационного поиска, а также может служить основой для дальнейшего дообучения. При кодировании запросов требуется префикс «query: », а для текстов-кандидатов — «passage: ». В README приведены результаты 59,71 среднего балла на польском бенчмарке MTEB и NDCG@10 53,56 на PIRB. Модель распространяется по лицензии Apache-2.0. Она ориентирована на польский язык, хотя обучалась на польско-английских парах; для корректного использования важно соблюдать требуемые префиксы.
MMLW-e5-small — компактный текстовый энкодер для польского языка, разработанный авторами семейства MMLW. Модель построена на архитектуре BERT и преобразует текст в векторы размерности 384 для семантического поиска и других задач сопоставления текстов. Она была инициализирована мультиязычным чекпойнтом E5 и дистиллирована с помощью мультиязычного метода на 60 миллионах польско-английских пар текстов; учителями служили английские модели FlagEmbeddings (BGE).
Карточка модели artdev99/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой artdev99/MNLP_M3_document_encoder, поэтому описание составлено по ней. artdev99/MNLP_M3_document_encoder — модель для кодирования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их семантику. Это форк all-MiniLM-L6-v2, дообученный на базе nreimers/MiniLM-L6-H384-uncased с контрастивной целью на более чем миллиарде пар предложений. Модель использует архитектуру BERT и библиотеку Sentence Transformers; число параметров — 25,9 млн. Векторы подходят для семантического поиска, оценки сходства предложений и кластеризации. Модель принимает текст и выдаёт векторные представления; в README указано усечение входа длиннее 256 word pieces, а контекстное окно по метаданным составляет 512 токенов. В карточке заявлен английский язык. Модель распространяется по лицензии Apache-2.0.
Карточка модели AShi846/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Карточка модели cristiano-sartori/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой KingName1/sentence_transformer, поэтому описание составлено по ней. KingName1/sentence_transformer — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и коротких абзацев в плотные семантические векторы размерности 768. README описывает её как дообученную на основе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений; метаданные указывают 136,7 млн параметров и библиотеку sentence-transformers. Входной текст кодируется для семантического поиска, сравнения сходства и кластеризации.
Карточка модели Jenjamin3000/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой KingName1/sentence_transformer, поэтому описание составлено по ней. KingName1/sentence_transformer — модель Sentence Transformers на архитектуре MPNet, предназначенная для преобразования предложений и коротких абзацев в плотные семантические векторы размерности 768. README описывает её как дообученную на основе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений; метаданные указывают 136,7 млн параметров и библиотеку sentence-transformers. Входной текст кодируется для семантического поиска, сравнения сходства и кластеризации.
Alireza1044 дообучил MobileBERT от Google для классификации пар вопросов в задаче Quora Question Pairs (QQP) из набора GLUE. Модель принимает текст и определяет, задают ли два вопроса один и тот же вопрос. Она использует архитектуру MobileBERT с примерно 59,7 млн параметров; максимальная длина контекста — 512 токенов. На оценочной выборке QQP модель показала accuracy 0,8989, F1 0,8670 и комбинированную оценку 0,8829. Репозиторий содержит веса PyTorch, модель распространяется по лицензии Apache-2.0. README не описывает обучение и ограничения подробнее.
MobileCLIP2-S2-OpenCLIP — веса модели MobileCLIP2-S2, разработанной Apple и адаптированные для использования с OpenCLIP: в репозитории применены стандартные конфигурации OpenCLIP и имена весов. Это двухбашенная модель, которая сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без дообучения, а также для оценки сходства между изображением и текстом. Вариант S2 содержит 35,7 млн параметров в визуальной части и 63,4 млн в текстовой; в таблице результатов указана точность zero-shot на ImageNet-1k 77,2%. По данным авторов, S2 быстрее и компактнее сопоставляемой SigLIP ViT-B/16. Модель подходит для мобильных и других сценариев, где важны скорость и размер, например для классификации по пользовательским категориям и поиска изображений по текстовому запросу. Она принимает изображения и текстовые описания и выдаёт оценки соответствия; это не генеративная модель. Карточка не приводит сведения о поддерживаемых языках и длине контекста. Указана лицензия apple-amlr.
MobileCLIP-B — модель сопоставления изображений и текста, разработанная Apple и представленная в работе MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training (CVPR 2024). Этот репозиторий содержит чекпойнт MobileCLIP-B для OpenCLIP; модель предназначена для классификации изображений по текстовым описаниям без дообучения и других сценариев поиска соответствия между изображением и текстом. Вариант MobileCLIP-B (LT) достигает точности zero-shot классификации ImageNet Top-1 77,2%. Архитектура использует визуальную и текстовую части CLIP; точные размеры этих частей в карточке для данного чекпойнта не приведены. Модель принимает изображения и текстовые метки или описания и выдаёт оценки их соответствия. Лицензия — Apple AMLR.
MobileCLIP-B — модель семейства CLIP, разработанная Apple и представленная в исследовании «MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training» (CVPR 2024). Этот репозиторий содержит чекпойнт MobileCLIP-B для библиотеки timm в формате PyTorch; модель сопоставляет изображения и текст и предназначена для быстрого визуально-текстового поиска и классификации с нулевым обучением на целевых классах. Вариант MobileCLIP-B (LT) показывает точность top-1 77,2% на ImageNet в режиме zero-shot. Модель принимает изображения и текстовые описания, а на выходе формирует представления для сопоставления и оценки сходства. README также приводит результаты меньших вариантов семейства, но не раскрывает размер и скорость именно этого чекпойнта MobileCLIP-B. Поддерживаемые языки отдельно не перечислены; обучение описано как мультимодальное, без уточнения языкового охвата. Лицензия — apple-amlr. Модель может ошибаться при переносе на категории и данные, отличающиеся от оценочных наборов; точность зависит от формулировок текстовых меток и характеристик изображений.
MobileCLIP-S1 — компактная модель сопоставления изображений и текста, разработанная Apple и представленная в работе о быстром обучении мультимодальных моделей с подкреплением, опубликованной на CVPR 2024. Этот репозиторий содержит чекпойнт для библиотеки timm в формате PyTorch. Модель предназначена для классификации изображений и распознавания объектов по текстовым описаниям без специального обучения на целевых классах. В README для MobileCLIP-S1 указаны 21,5 млн параметров визуальной части и 63,4 млн параметров текстовой части, точность zero-shot классификации ImageNet top-1 72,6% и средний результат 61,3% на 38 наборах данных. Лицензия — apple-amlr. Модель позволяет связывать изображения с текстовыми описаниями; сведения о поддерживаемых языках и длине контекста в предоставленных источниках отсутствуют. Результаты зависят от формулировки текстовых меток и распределения данных, поэтому модель может ошибаться на новых или специализированных категориях.
MobileCLIP-S2 — компактная модель сопоставления изображений и текста от Apple, представленная в работе MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training на CVPR 2024. Этот репозиторий содержит чекпойнт для timm в формате PyTorch. Модель предназначена для классификации изображений и распознавания объектов по текстовым описаниям без дополнительного обучения (zero-shot). Вариант S2 включает 35,7 млн параметров в визуальном энкодере и 63,4 млн в текстовом. По данным авторов, он показывает 74,4% точности top-1 на ImageNet в zero-shot режиме и в среднем 63,7% на 38 наборах данных; авторы также сообщают, что он быстрее и компактнее SigLIP ViT-B/16. Модель принимает изображения и текстовые описания, а для поиска и классификации сопоставляет их представления. Лицензия — Apple AMLR. В README не приведены сведения о длине контекста или перечне поддерживаемых естественных языков; результаты зависят от набора меток и описаний, используемых при zero-shot классификации.
moco-sentencebertV2.0 — двуязычная модель эмбеддингов предложений от bongsoo. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Архитектура основана на BERT; размер модели — 230,4 млн параметров, контекст — до 512 токенов. Для получения эмбеддинга используется mean pooling над контекстными векторами токенов. Модель обучена на базе bongsoo/mbertV2.0: после обучения Sentence-BERT её дополнительно дистиллировали с учителем paraphrase-multilingual-mpnet-base-v2 и дообучили на задачах семантического сходства. В README приведены корейские и английские оценочные наборы и результаты сравнения, однако полная строка результатов этой модели в карточке отсутствует. Поддерживаются корейский и английский языки; словарь содержит 152 537 токенов. Лицензия в предоставленных данных не указана.
hunkim/model1 — модель на базе RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Параметры модели включают 137,8 млн, максимальная длина контекста — 512 токенов. Векторы можно использовать для поиска предложений по смыслу, кластеризации и сравнения текстов по семантическому сходству. Модель также поддерживает извлечение признаков; для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. README рекомендует библиотеку Sentence-Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Условия лицензии в предоставленных данных не указаны.
jfarray/Model_all-distilroberta-v1_50_Epochs — модель Sentence-Transformers на основе RoBERTa, разработанная jfarray. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 95,2 млн параметров и принимает контекст длиной до 514 токенов. Модель обучена с функцией CosineSimilarityLoss и предназначена для получения эмбеддингов предложений. Её можно использовать в семантическом поиске и других задачах сравнения текстов через библиотеку Sentence-Transformers. Репозиторий содержит веса PyTorch. Сведения о лицензии и языках в предоставленных данных отсутствуют.