I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейMoritz Laurer дообучил мультиязычную модель multilingual-MiniLMv2-L12 на MNLI и XNLI для вывода о логической связи между посылкой и гипотезой и классификации текста без заранее заданного набора классов. Она основана на 12-слойной архитектуре XLM-RoBERTa и содержит 124,3 млн параметров; базовую multilingual-MiniLM-L12 разработала Microsoft, дистиллировав её из XLM-RoBERTa-large. Модель принимает текст, а для классификации — также список меток-кандидатов, и выдаёт оценки классов или категорий NLI. Модель предназначена для мультиязычной классификации текста и NLI на более чем 100 языках. В карточке приведены результаты XNLI для 15 языков, включая русский: средняя точность указанной реализации — 0,75. Дистилляция делает её быстрее и менее требовательной к памяти, чем XLM-RoBERTa-large, но качество ниже, чем у более крупной модели. Контекст — до 514 токенов. Лицензия MIT.
Moritz Laurer дообучил multilingual-MiniLM-L6 от Microsoft для распознавания логических отношений между текстами (NLI) и классификации без заранее заданного набора классов. Модель основана на XLM-RoBERTa и использует архитектуру XLMRobertaForSequenceClassification; в ней 6 слоёв и 110,2 млн параметров. Контекст — до 514 токенов. Доступны веса в форматах PyTorch, Safetensors и ONNX. Модель принимает пару текстов для оценки отношений между ними либо текст и список возможных меток для zero-shot-классификации. Она обучена на MNLI и переводах XNLI; карточка сообщает о поддержке NLI более чем на 100 языках и приводит результаты оценки на 15 языках. Компактность модели обеспечивает более быстрый вывод и меньшие требования к памяти по сравнению с XLM-RoBERTa-large, но качество ниже, чем у более крупной модели-учителя. Для языков вне набора оценки качество может быть ниже. Лицензия — MIT.
WENGSYX/Multilingual_SimCSE — модель для извлечения признаков на основе архитектуры DeBERTa-v2, содержащая 306 млн параметров. Карточка указывает на мультиязычное назначение; модель принимает текст и формирует векторные представления, которые можно использовать для сравнения текстов и поиска похожих фрагментов. Модель подходит для создания текстовых эмбеддингов в мультиязычных поисковых и семантических системах. Контекст ограничен 512 токенами. Доступны веса в форматах PyTorch и Safetensors. В README приведены заголовки разделов с кодом обучения и запуска, но сами фрагменты опущены. Сведения о лицензии в доступных данных отсутствуют.
Multilingual Zero-Shot Classifier large — модель классификации текста без дополнительного обучения, разработанная Horizon Labs. Она сопоставляет текст с заданными пользователем метками через оценку логического следования и подходит для тематической классификации, определения намерений и других задач в стиле NLI. Модель основана на BGE-M3 и архитектуре XLM-RoBERTa; в метаданных указано 658,7 млн параметров. Принимает текст на многих языках, но метки и шаблон гипотезы рекомендуется задавать на английском. Заявлен контекст до 8194 токенов, хотя до 1024 токенов модель дообучалась. Доступны веса safetensors и формат ONNX; лицензия Apache-2.0. Модель предназначена для многоязычной классификации с произвольным набором меток без обучения на конкретной таксономии. Среди сильных сторон — широкий охват языков и возможность применять единый интерфейс zero-shot classification к разным задачам. Качество зависит от формулировок меток и шаблона: общие метки могут преобладать над конкретными, а близкие категории путаться. На языках с меньшими обучающими ресурсами качество ниже; существенная часть обучающих данных синтетическая или машинно-переведённая.
MultiLinguSwahili-bge-small-en-v1.5-nli-matryoshka — компактная модель Sentence Transformer, разработанная Sartify LLC на базе BAAI/bge-small-en-v1.5 и дообученная на наборе Mollel/swahili-n_li-triplet-swh-eng. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и сравнения текстов. Архитектура включает BERT, пулинг по токену CLS и нормализацию; модель содержит 40 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена сопоставлять тексты на суахили и английском, в том числе находить близкие по смыслу пары и различать отрицательные примеры. Её можно использовать для многоязычного семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. README приводит результаты оценки сходства предложений на нескольких вариантах тестового набора. Лицензия в предоставленных данных не указана. Качество на других языках, вне описанных сценариев и на текстах длиннее 512 токенов не установлено; как и у других моделей эмбеддингов, результаты зависят от данных и способа применения в поисковой или классификационной системе.
celik-muhammed/multi-qa-mpnet-base-cos-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработчик — Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, использует библиотеку sentence-transformers и поддерживает контекст до 514 токенов; доступны форматы PyTorch, safetensors и TFLite. При обучении использовались MultipleNegativesRankingLoss с косинусным сходством и OnlineContrastiveLoss. Модель подходит для получения текстовых эмбеддингов и оценки семантической близости. В предоставленных сведениях лицензия не указана, поэтому условия использования установить нельзя; также не приведены языки обучения или оценки качества.
Это версия mxbai-embed-large-v1 в формате MLX, преобразованная сообществом mlx-community из модели mixedbread-ai/mxbai-embed-large-v1 с помощью mlx-lm. Модель на архитектуре BERT предназначена для получения плотных текстовых эмбеддингов, семантического поиска и сравнения предложений; библиотека карточки — sentence-transformers. Модель содержит 433,9 млн параметров, принимает текст и имеет контекстное окно 512 токенов. В карточке указан английский язык. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0. README указывает на использование через пакет mlx-embeddings.
MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в репозитории asfafagf45/MyAwesomeModel-TestRepo. Согласно метаданным, она предназначена для извлечения признаков и работает с библиотекой Transformers на PyTorch. Лицензия — MIT.
MyAwesomeModel — модель, размещённая пользователем liuf12123456 и доступная через библиотеку Transformers. Согласно метаданным Hugging Face, она относится к архитектурному семейству BERT, использует PyTorch и предназначена для извлечения признаков из текста, то есть преобразования текстовых входов в векторные представления для последующего анализа.
MyAwesomeModel — модель на базе архитектуры BERT для извлечения признаков из текста. Она предназначена для преобразования текстовых входов в векторные представления, которые можно использовать в задачах семантического поиска, сравнения текстов, классификации и кластеризации. Модель реализована с использованием PyTorch и библиотеки Transformers. В метаданных указана лицензия MIT. Данные о размере модели, поддерживаемых естественных языках и длине контекста отсутствуют.
MyAwesomeModel — модель из репозитория yfeng123456/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она относится к семейству BERT и предназначена прежде всего для извлечения признаков из текста.
lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
Карточка модели lewtun/my-awesome-setfit-model-4 на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
Карточка модели ameerak/my-awesome-setfit-model-ameer на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.
feng-x/my-embedding-gemma — модель Sentence Transformer, дообученная автором на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина входа — 2048 токенов. Модель предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразировок, классификации и кластеризации. Для дообучения указаны три примера с парами похожих и непохожих фраз и функция MultipleNegativesRankingLoss. Такой малый набор данных ограничивает основания для оценки качества и обобщения модели. В карточке не указана лицензия, поэтому условия использования следует проверять у автора и базовой модели. Модель принимает текст и выдаёт эмбеддинги.
Martinkoling/my-first-setfit — модель на базе архитектуры MPNet, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Обучение использовало CosineSimilarityLoss. Модель принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. В карточке нет сведений о специализации на конкретном языке или прикладной области. Лицензия не указана в предоставленных данных.
Это Sentence Transformer на базе intfloat/multilingual-e5-large, дообученный автором vrnP66 на наборе inhouse_devanagari. Модель использует XLM-RoBERTa-large с усреднением токенных представлений и нормализацией, преобразуя предложения и абзацы в плотные векторы размерности 1024. Максимальная длина последовательности — 512 токенов; для сравнения векторов применяется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Обучение на парных примерах запросов и положительных и отрицательных текстов ориентирует её на работу с данными набора inhouse_devanagari; README также приводит результаты оценки на этом наборе и all-nli-test. Языки явно не перечислены, поэтому нельзя определить, насколько хорошо модель работает за пределами обучающих данных. Лицензия в предоставленных сведениях не указана.
Карточка модели NAMAA-Space/Namaa-ARA-Reranker-V1 на Hugging Face совпадает с карточкой Omartificial-Intelligence-Space/ARA-Reranker-V1, поэтому описание составлено по ней. ARA-Reranker-V1 — модель Omartificial-Intelligence-Space для переранжирования результатов поиска на арабском языке. Она оценивает пару «запрос — фрагмент документа» и выдаёт оценку релевантности, по которой можно упорядочить кандидатов; в отличие от моделей эмбеддингов, она не формирует векторы для сравнения. Оценку можно преобразовать функцией sigmoid в диапазон от 0 до 1. Модель основана на XLM-RoBERTa и использует архитектуру классификации последовательностей; размер — 658,7 млн параметров, длина контекста — 8194 токена. Она обучалась на парах запросов и фрагментов с положительными и трудными отрицательными примерами. README приводит оценку на наборе из 3000 примеров, но таблица результатов для этой модели в предоставленном тексте неполна. Модель подходит для переранжирования результатов арабского поиска и отбора документов для систем вопросно-ответного поиска. Лицензия — Apache-2.0. Данные подтверждают поддержку арабского языка; о поддержке других языков сведений нет.
Модель lucaswychan/Nemotron-Research-Reasoning-Qwen-1.5B-Reasoning-Embedding — дообученная методом контрастивного обучения модель эмбеддингов на базе NVIDIA Nemotron-Research-Reasoning-Qwen-1.5B. Она преобразует текст в векторные представления для сравнения семантической близости предложений и поиска по смыслу. В карточке описана как часть исследования влияния моделей с обучением через RLVR на качество семантических представлений; результаты MTEB и BRIGHT не показали устойчивого преимущества таких начальных весов перед базовой моделью при одинаковом обучении. Модель построена на плотной архитектуре Qwen2, содержит 1,5 млрд параметров, поддерживает контекст до 131 072 токенов и предназначена для многоязычного текста. Используется библиотека Sentence Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0.
NepaliKD-SentenceTransformers-paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence Transformers на базе архитектуры BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 384. Она разработана для семантического поиска по данным на английском и непальском языках, а также подходит для кластеризации и сравнения смысловой близости текстов. Модель содержит 124,3 млн параметров, принимает текст и возвращает векторные представления. Максимальная длина контекста составляет 512 токенов. Для использования доступны веса PyTorch и совместимость с библиотеками Sentence Transformers и Transformers; при использовании Transformers требуется применить подходящую операцию pooling к выходам модели. Лицензия в предоставленных данных не указана.
Карточка модели Nerdofdot/Nerdofdot_nickprock_sentence-bert-base-italian-uncased_TM_FTM на Hugging Face совпадает с карточкой Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM, поэтому описание составлено по ней. Nerdofdot/Nerdofdot_nickprock_mmarco-bert-base-italian-uncased_TM_FTM — модель на базе BERT, подготовленная в формате Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов и может применяться для кластеризации и семантического поиска. Обучение использовало TripletLoss с евклидовой метрикой и отступом 0,4; объём модели составляет 137,1 млн параметров, максимальный контекст — 512 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать для оценки сходства. Название указывает на итальянскую uncased-версию mMARCO-BERT, однако README не приводит явного подтверждения базовой модели или поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Условия лицензии в доступных данных не приведены.
annazdr/new-nace-pl-up-3 — модель на базе BERT, опубликованная в формате sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 124,3 млн параметров, принимает текстовые входы, а максимальная длина контекста составляет 512 токенов. При обучении использовалась функция BatchAllTripletLoss. Модель подходит для построения эмбеддингов и сравнения текстов; сведений о поддерживаемых языках, лицензии и оценках качества в предоставленных данных нет.
NLLB-CLIP-SigLIP — мультиязычная модель сопоставления изображений и текста, объединяющая текстовый энкодер NLLB с визуальным энкодером SigLIP. Она предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах и для поиска соответствий между изображениями и текстом. Модель расширяет мультиязычные возможности CLIP до 201 языка набора Flores-200 и, согласно карточке, особенно хорошо работает на языках с малым объёмом ресурсов. На наборе Crossmodal-3600 она достигла лучших на момент публикации результатов. Модель доступна в формате PyTorch и интегрирована с OpenCLIP. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка отмечает, что существует более сильная версия; результаты классификации могут зависеть от формулировок текстовых меток и от того, насколько они соответствуют обучающим данным.
NLLB-CLIP-Large-SigLIP — мультиязычная модель для сопоставления изображений и текста, объединяющая текстовый энкодер NLLB и визуальный энкодер SigLIP. Её можно применять для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт варианты подписей, а модель оценивает их соответствие изображению. Модель расширяет возможности CLIP на 201 язык набора Flores-200 и, согласно карточке, особенно хорошо работает с языками с ограниченными ресурсами. В README заявлено, что версия превосходит стандартный вариант и показывает state-of-the-art результат на Crossmodal-3600. Модель интегрирована с OpenCLIP; веса доступны в формате PyTorch. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Карточка не приводит численный размер модели или длину контекста.
Xenova/nomic-embed-text-v1 — это версия модели эмбеддингов nomic-ai/nomic-embed-text-v1, подготовленная с ONNX-весами для совместимости с библиотекой Transformers.js. Репозиторий Xenova предназначен для запуска модели в JavaScript-окружении, включая веб-сценарии и другие среды, поддерживающие ONNX и Transformers.js. Модель предназначена для преобразования текста в числовые векторные представления с помощью задачи feature extraction. Такие эмбеддинги могут использоваться для семантического поиска, сопоставления текстов, кластеризации и других задач обработки естественного языка, где требуется сравнивать смысловое сходство текстовых фрагментов. README подтверждает поддержку текстового ввода, но не содержит сведений о точном размере модели или векторов, архитектуре, максимальной длине контекста, поддерживаемых языках и специальных модальностях. Ключевое преимущество этой версии — возможность использовать модель через Transformers.js и ONNX-веса, что упрощает интеграцию с JavaScript-приложениями. Ограничения и требования к качеству, производительности, языковому покрытию и аппаратному ускорению в README не указаны. Лицензия также не приведена, поэтому условия использования следует уточнять в исходном репозитории nomic-ai/nomic-embed-text-v1.
thivy/norbert4-base-scandinavian-embedding — модель эмбеддингов на базе ltg/norbert4-base, разработанная для норвежского букмола и нюнорска, датского и шведского языков. Она обучена на смеси наборов данных для семантического сходства, поиска по вопросам и документам, а также общего поиска; обучение включало 1,6 млн примеров с попарными данными и триплетами. Модель предназначена для преобразования текстов в векторы размерностью 640, чтобы выполнять семантический поиск, извлечение документов по запросу, сравнение предложений, кластеризацию и классификацию. Максимальная длина последовательности — 256 токенов. В приведённых бенчмарках MTEB модель улучшает показатели поиска относительно вариантов, обученных только на данных QA или NLI. Модель распространяется по лицензии MIT. Она оптимизирована для скандинавских языков и лучше всего подходит для задач поиска; тексты длиннее 256 токенов обрезаются, а модель не предназначена для следования инструкциям.
Octen-Embedding-8B W4A16 — квантизированный чекпойнт модели Octen-Embedding-8B, опубликованный пользователем groxaxo. Модель предназначена для получения векторных представлений текста и задач feature extraction, включая семантический поиск, retrieval и сопоставление запросов с документами, при локальном или размещённом на сервере инференсе. Модель использует формат AWQ/AutoRound с квантизацией W4A16: веса представлены в 4-битном формате, а активации — в 16-битном. Квантизировано 252 из 253 слоёв, размерность эмбеддингов составляет 4096, модель занимает около 8,1 ГБ в двух шардах против 15 ГБ у базовой версии. Валидация проводилась с last-token pooling и L2-нормализацией; среднее косинусное сходство с базовой моделью превысило 0,98, а на небольшом наборе из пяти пар запрос—документ ухудшения Recall не наблюдалось. На RTX 3060 с 12 ГБ VRAM модель успешно запускалась, потребляя около 4,53 ГБ памяти. Сильными сторонами являются заметное сокращение размера и требований к памяти при сохранении близкого к исходной модели поведения. Ограничения связаны с зависимостью от runtime, совместимого с данным форматом и архитектурой, а также с тем, что опубликованная проверка выполнена на небольшом наборе данных; качество на конкретном распределении текстов необходимо оценивать отдельно. Языки и максимальная длина контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0.
Ogma Base — компактная англоязычная модель для создания текстовых эмбеддингов, разработанная авторами семейства Ogma. Это плотная модель с 13,3 млн параметров и контекстом до 1024 токенов; она поддерживает симметричное кодирование и Matryoshka-размерности 256, 128, 64 и 32. В README указана средняя оценка 57,02 на 66 англоязычных задачах MTEB. Модель предназначена для семантического поиска, извлечения документов в RAG, векторного поиска, кластеризации, классификации, оценки сходства предложений и памяти агентных систем. Небольшой размер позволяет развертывать её локально и использовать на CPU. Она не генерирует текст и рассчитана на английский язык; для задач парного ранжирования в README отмечено отставание от MiniLM-L6-v2. Доступны форматы ONNX и safetensors. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; для него требуется отдельная лицензия или переобучение на подходящей модели-учителе.
swardiantara/one-cdk5-m0.5-e5-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Веса опубликованы в формате Safetensors. Карточка не сообщает о специализированной предметной области или лицензии; язык обучения и работы явно не указан.
swardiantara/one-crk10-m0.5-e5-b128-L6 — модель Sentence Transformers на основе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Это делает модель подходящей для построения текстовых эмбеддингов и поиска близких по смыслу фрагментов. В предоставленных материалах не названы поддерживаемые естественные языки и лицензия, поэтому их нельзя определить по этим данным.