I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейlodestone-base-4096-v1 — модель эмбеддингов предложений и абзацев от Hum-Works, созданная Griffin McCauley, Will Fortin и Dylan DiGioia в 2023 году. Это дообученная версия mosaic-bert-base-seqlen-2048: архитектура BERT с FlashAttention, ALiBi и GLU, около 136,7 млн параметров. Модель кодирует текст в плотный вектор размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель рассчитана на длинные предложения и абзацы: поддерживает последовательности до 4096 токенов, хотя при обучении использовалась длина до 2048 токенов. Она обучена контрастивным методом на большом наборе пар текстов и показывает сопоставимые результаты со стандартными моделями эмбеддингов на типовых бенчмарках. Основной язык карточки — английский; среди источников обучения указаны датасеты вопросов и ответов, научных текстов, Reddit и поиска кода. Лицензия — Apache-2.0. В README отмечены ограниченный размер обучающего батча и недостаток примеров максимально допустимой длины, поэтому качество эмбеддингов для очень длинных текстов может требовать дополнительной настройки. README также предупреждает о возможных смещениях в данных Reddit.
harsh-wk/long-seq-paraphrase-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. По метаданным, модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена Sentence Transformers и распространяется по лицензии Apache-2.0. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. README описывает семантический поиск и кластеризацию как основные сценарии; язык текстов, поддерживаемых моделью, в предоставленных данных не установлен.
dell-research-harvard/lt-mexicantrade4748 — модель LinkTransformer от исследователей Harvard, основанная на архитектуре BERT и дообученная на hiiamsid/sentence_similarity_spanish_es с функцией потерь SupCon. Она предназначена прежде всего для сопоставления записей: связывания сущностей, кластеризации, дедупликации и агрегирования данных. Также подходит для поиска семантически похожих предложений и абзацев. Модель преобразует текст в плотные векторы размерностью 768 и имеет максимальную длину входной последовательности 512 токенов. Среднее объединение токенных представлений используется для получения вектора предложения. Карточка описывает применение к задачам сопоставления торговых записей и работу с испаноязычной моделью-основой; метаданные указывают 137,1 млн параметров и формат safetensors. Для использования в сценариях LinkTransformer модель интегрируется с пакетом LinkTransformer; её векторные представления можно применять и в задачах sentence-transformers. Ограничение длины контекста — 512 токенов; качество на конкретных наборах данных следует оценивать отдельно. Условия лицензии в предоставленных данных не описаны.
lt-wikidata-comp-es — модель семейства LinkTransformer, разработанная исследователями Harvard для сопоставления записей и сущностей. Она дообучена на базе hiiamsid/sentence_similarity_spanish_es на псевдонимах компаний из Wikidata и предназначена для кластеризации, дедупликации, связывания и объединения записей. Модель также подходит для оценки сходства предложений и семантического поиска на испанском языке. В основе — BERT с Sentence Transformers: среднее объединение токенных представлений формирует плотный вектор размерности 768. Модель имеет 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Лицензия в доступных материалах не указана.
sharedalfalfa/market-matcher-trained-v1 — дообученный разработчиком модели энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2 для сопоставления текстов. Он преобразует предложения и абзацы в плотные векторы размерности 384; сходство между векторами оценивается косинусной мерой. Архитектура состоит из BERT-энкодера, среднего пулинга токенов и нормализации. По метаданным модели в ней 25,9 млн параметров, а длина контекста составляет до 512 токенов; в конфигурации из README указана максимальная длина последовательности 256 токенов. Модель предназначена для семантического сравнения, поиска похожих текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. README указывает на обучение на наборе из 179 пар предложений с оценками сходства; примеры посвящены прогнозным рынкам, но данных недостаточно, чтобы считать специализацию на этой области подтверждённой. Карточка не сообщает лицензию. Англоязычная базовая модель предполагает основной упор на английский; качество для других языков не подтверждено.
Matilda-Jev — модель принятия решений от Maincode на базе дообученной Qwen/Qwen3.8-27B. Она оценивает варианты, заданные в вопросе с выбором из списка, в формате «да/нет» или упорядоченной шкалы. Принимает текстовое или JSON-состояние и может учитывать изображения; выдаёт оценки вариантов через специальную голову решений с 255 позициями, а не генерирует текст. Веса backbone и головы, токенизатор, настройки обработки и калиброванная температура включены в репозиторий. Модель предназначена для классификации и ранжирования заданных пользователем вариантов в одном проходе, включая вопросы о содержимом изображений. В карточке приведены результаты оценки Decision Index 0.3 на 150 317 запросах; эти результаты пока ожидают официальной подачи. Указаны 26,1 млрд параметров и требование около 49 ГиБ памяти для bf16-весов. Проверки конфигурации проведены на AMD MI355X; другие ускорители для этой версии не проверялись. Лицензия — Apache-2.0.
xmanii/maux-gte-persian-v3 — модель Sentence Transformer, дообученная на базе Alibaba-NLP/gte-multilingual-base на наборе mshojaei77/Persian_sft из 80 000 пар предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью. Модель предназначена прежде всего для семантического сходства и поиска по персидским текстам, а также для поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Transformer с пулингом CLS-токена и нормализацией векторов; максимальная длина последовательности — 8192 токена. Карточка указывает библиотеку sentence-transformers и формат весов safetensors. Лицензия в предоставленных источниках не указана.
mdbr-leaf-mt — компактная модель эмбеддингов текста, разработанная командой MongoDB Research. Она предназначена для классификации, кластеризации, оценки семантического сходства предложений и суммаризации; для поиска и информационного извлечения разработчики рекомендуют отдельную модель mdbr-leaf-ir. Модель основана на архитектуре BERT и насчитывает 25,9 млн параметров, максимальная длина контекста — 512 токенов. В README отмечены поддержка асимметричного кодирования запросов и документов, усечение векторов методом MRL и их квантование, включая int8 и binary. По заявлению разработчиков, модель занимает первое место в англоязычном бенчмарке MTEB v2 среди моделей размером до 30 млн параметров. Модель рассчитана прежде всего на английский язык. Её можно применять для получения векторных представлений и вычисления сходства текстов в задачах классификации, кластеризации и сравнения предложений. Лицензия — Apache-2.0. Разработчики указывают, что на момент публикации модель не использовалась в коммерческих продуктах или сервисах MongoDB.
sileod/mdeberta-v3-base-tasksource-nli — многоязычная модель на архитектуре mDeBERTa-v3-base, разработанная для задач классификации текста и вывода по тексту. Она обучалась в течение 30 тысяч шагов на наборе задач mtasksource и подходит как основа для дальнейшего дообучения, а также для определения, следует ли гипотеза из текста, и классификации по заданным категориям без отдельного обучения на этих категориях. Для сотен задач можно подключать предоставляемые адаптеры через экосистему tasknet и tasksource. Модель содержит 306 млн параметров, принимает текст с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors. Карточка и метаданные указывают на многоязычное обучение; среди языков есть русский, английский, китайский, японский, арабский, немецкий, французский, испанский и другие. Лицензия — Apache-2.0. Это модель понимания и классификации текста, а не генеративная языковая модель; качество конкретной задачи зависит от выбранных меток или адаптера.
ghddls7799/medical-bgem3-dense-ko — текстовая модель эмбеддингов на базе BAAI/bge-m3, дообученная разработчиком ghddls7799 с использованием Sentence Transformers. Архитектура XLM-RoBERTa с объединением представлений CLS и нормализацией формирует плотные векторы размерности 1024; для сравнения используется косинусное сходство. Метаданные указывают контекст до 8194 токенов, а карточка модели — максимальную длину последовательности 512 токенов. Модель предназначена для поиска и сравнения предложений и абзацев: семантического поиска, оценки текстового сходства, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. В карточке указана дообучающая выборка из 11 005 текстовых примеров с положительными и отрицательными парами. Основа BGE-M3 многоязычная, однако конкретные языки, представленные в дообучающих данных, не названы. Модель принимает текст и выдаёт векторы; она не генерирует ответы. Лицензия в предоставленных сведениях не указана.
Карточка модели shtilev/medical_embedded_v6 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-mpnet-base-v2, поэтому описание составлено по ней. paraphrase-multilingual-mpnet-base-v2 — многоязычная модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, сравнения сходства и кластеризации текстов. Архитектура основана на XLM-RoBERTa; модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для поиска семантически близких фрагментов и группировки текстов на разных языках. Она доступна в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Результат модели — векторное представление текста, поэтому для получения оценки сходства или поиска требуется сравнить векторы подходящим методом.
MetaCLIP 2 ViT-B/16 (384px) worldwide — дистиллированная модель Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-16-384-worldwide из оригинальной реализации, предназначенный для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах. Модель сопоставляет изображение с текстовыми метками и позволяет выбирать наиболее подходящие варианты; поддерживает многоязычные сценарии. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
zeromodels/metaclip2_worldwide_huge_378 — конверсия MetaCLIP 2 от zeromodels в формат Keras 3. Это двухкодерная модель архитектуры CLIP: она сопоставляет изображения и текстовые описания в общем пространстве признаков и предназначена для классификации изображений без обучения на целевых классах. Версия worldwide обучена на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов, поэтому запросы-классы можно задавать на разных языках. Модель подходит для классификации изображений по текстовым меткам, в том числе для многоязычных сценариев и работы с классами, не заданными при обучении. Реализация Keras 3 запускается на TensorFlow, PyTorch и JAX; процессор подбирает размер изображения и токенизатор для варианта модели. Репозиторий содержит веса в формате TensorFlow. Модель основана на facebook/metaclip-2-worldwide-huge-378. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях. Точные ограничения качества и поддерживаемые размеры входных изображений в предоставленных материалах не описаны.
Distilled MetaCLIP 2 ViT-M/16 с входным разрешением 384 пикселя — мультимодальная модель Meta для классификации изображений без обучения на заданных классах. Этот чекпойнт соответствует варианту ViT-M-16-384-worldwide из оригинальной реализации и представлен в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Модель сопоставляет изображения с текстовыми описаниями классов, чтобы выбрать наиболее подходящие метки. Модель предназначена для мультиязычной классификации изображений по пользовательским текстовым категориям. Её можно применять для поиска изображений по смыслу и быстрой разметки наборов изображений без отдельного обучения под каждый набор классов. Репозиторий содержит веса в формате safetensors; карточка демонстрирует использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства при соблюдении некоммерческих условий. Карточка не сообщает размер модели и длину контекста; производительность на конкретных наборах данных и языках требует отдельной проверки.
MetaCLIP H/14 — модель семейства CLIP, выпущенная командой MetaCLIP и представленная в работе Xu и соавторов «Demystifying CLIP Data». Это крупная версия с разрешением патчей 14, обученная на 2,5 миллиарда примеров CommonCrawl. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов. Она предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по запросу и поиска текста по изображению. Карточка не приводит сведения о поддерживаемых языках или длине контекста. Доступны веса PyTorch и Safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
MetaCLIP L/14 — модель семейства CLIP, разработанная командой MetaCLIP и представленная в работе Demystifying CLIP Data. Это крупная версия с разрешением патчей 14, обученная на 2,5 млрд примеров CommonCrawl. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов, поэтому подходит для классификации изображений без дополнительного обучения и поиска изображений по текстовому описанию или текстов по изображению. Модель принимает изображения и текстовые запросы и формирует их представления для сравнения по сходству. Весовые файлы представлены в формате PyTorch; лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое. Карточка не приводит сведений о контекстном окне или перечне поддерживаемых языков.
MEXMA-SigLIP2 — мультимодальная модель для сопоставления изображений и текста, объединяющая многоязычный текстовый энкодер MEXMA и визуальный энкодер SigLIP2. Она предназначена для поиска изображений по текстовому запросу и поиска текста, соответствующего изображению, а также для классификации изображений по текстовым описаниям без обучения на конкретных метках. По карточке модель поддерживает 80 языков; в метаданных среди языковых тегов указаны, в частности, русский и английский. На наборе Crossmodal-3600 авторы сообщают результаты Recall@1 62,54% для поиска изображений и 59,99% для поиска текста. Репозиторий содержит веса в форматах ONNX и safetensors; лицензия — MIT. Размер модели и длина контекста в предоставленных данных не указаны.
keeeeenw/MicroLlama-text-embedding — англоязычная модель Sentence Transformers, дообученная разработчиком на базе keeeeenw/MicroLlama. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения смысловой близости и поиска по тексту. Модель использует архитектуру LlamaModel с усреднённым пулингом токенов, принимает текстовые последовательности длиной до 2048 токенов и рассчитывает сходство по косинусной мере. Модель обучалась на наборах all-nli, STSB, Quora и Natural Questions. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Она рассчитана на английский язык; качество для других языков не заявлено. Лицензия в предоставленных данных не указана.
miCSE — модель для получения семантических векторных представлений предложений и коротких абзацев, разработанная Tassilo Klein и Moin Nabi. Она использует архитектуру BERT и обучена контрастивным методом с регуляризацией распределения self-attention: согласование представлений разных dropout-аугментированных вариантов текста помогает эффективнее обучаться на небольших наборах данных. Векторы извлекаются из токена [CLS] и подходят для сравнения сходства предложений, поиска и кластеризации. Модель обучалась на английских предложениях из Википедии; в статье также исследуется обучение на малых выборках корпуса SimCSE. Контекст составляет 512 токенов, размер модели — 136,7 млн параметров. Для адаптации few-shot подхода к собственным данным README указывает на необходимость обучения модели на этих данных. Лицензия — Apache-2.0.
dataera2013/midterm-ft-2 — дообученная модель Sentence Transformers на базе Snowflake/snowflake-arctic-embed-l, разработанная для сравнения и поиска текстов по смыслу. Она преобразует предложения и абзацы в плотные векторы размерности 1024; близость оценивается косинусным сходством. Архитектура включает BERT-трансформер, объединение представлений по токену CLS и нормализацию векторов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. Максимальная длина входа — 512 токенов. В README приведены результаты оценки поиска по информации, включая точность cosine_accuracy@1 0,7519 и cosine_accuracy@5 0,8372. В карточке указана лицензия не приведена, поэтому условия использования по доступным данным определить нельзя. Набор для дообучения содержит 238 пар текстов, поэтому результаты могут зависеть от соответствия пользовательских данных этому ограниченному набору.
jamescalam/minilm-arxiv-encoder — модель Sentence Transformers на базе архитектуры BERT, разработанная James Calam. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для семантического поиска и кластеризации текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Полученные эмбеддинги можно сравнивать для поиска семантически близких текстов или группировать для кластеризации. Репозиторий содержит веса PyTorch; при использовании через Transformers поверх выходов трансформера требуется применить подходящую операцию pooling. Лицензия в предоставленных данных не указана.
ronanki/MiniLM-L12-v2-SEP-token — модель Sentence-Transformers для получения векторных представлений предложений и абзацев. Она основана на архитектуре BERT и выдаёт плотные эмбеддинги размерностью 384; в метаданных указано 124,3 млн параметров и контекст до 512 токенов. Модель предназначена для семантического поиска, кластеризации текстов и сравнения предложений по смыслу. При обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. Для использования подходит библиотека Sentence-Transformers; через Transformers требуется отдельно применить подходящую операцию pooling к контекстным представлениям токенов. README и метаданные не указывают лицензию или целевые языки, поэтому их нельзя определить по имеющимся сведениям. Модель публикуется в формате PyTorch.
marrodion/minilm-l12-v2-simple — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2, разработанная автором репозитория marrodion. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией векторов. Метаданные указывают размер около 40 млн параметров и нативный контекст до 512 токенов; в README указан максимальный размер последовательности 128 токенов. Обучение описано на парах предложений с оценками сходства, а в README приведена оценка на наборе SemEval-15-dev. Модель рассчитана на текст на английском языке, как и базовая all-MiniLM-L12-v2. Она выдаёт эмбеддинги, а не готовые ответы; качество зависит от предметной области и данных, а длинные последовательности ограничены указанным размером. В метаданных лицензия не приведена. Для использования требуется библиотека Sentence Transformers.
SetFit/MiniLM_L3_clinc_oos_plus_distilled — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 384; модель можно применять для семантического поиска, кластеризации и оценки сходства текстов. Для кодирования предусмотрен контекст длиной до 512 токенов. Модель содержит 18,8 млн параметров и обучалась с функцией потерь CosineSimilarityLoss. Она подходит для построения векторного поиска и группировки текстов, но карточка не приводит результатов оценки качества или перечня поддерживаемых языков. Лицензия в предоставленных данных не указана.
KennethTM/MiniLM-L6-danish-reranker — компактная модель ранжирования текстовых пар на основе архитектуры BERT, разработанная для обработки датского языка. Она принимает запрос и кандидатный текст и вычисляет оценку их релевантности, чтобы ранжировать результаты поиска или извлечения информации. Модель содержит 25,9 млн параметров, использует библиотеку Sentence Transformers и поддерживает контекст до 512 токенов. Модель адаптирована от англоязычной cross-encoder/ms-marco-MiniLM-L-6-v2 с датским токенизатором и обучена на датских переводах данных ELI5 и SQuAD. Подходит для поиска по запросу, сортировки кандидатов и ранжирования ответов. Выпущена под лицензией MIT. В README указана более новая версия v2, обученная на большем объёме данных.
McGill-NLP/MiniLM-L6-dmr — дообученная на WebLINX модель Sentence Transformers, разработанная авторами исследования WebLINX. Она преобразует предложения и абзацы в плотные векторы размерности 384 для сравнения семантической близости, семантического поиска и кластеризации. Модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает вход длиной до 512 токенов. Модель подходит для построения поиска по смыслу и группировки текстов, в том числе связанных с многоходовым диалогом и навигацией по сайтам. В карточке указана библиотека PyTorch и обучение с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.
valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
gaussalgo/MiniLM-L6-v2-Canard-Fullwiki — модель эмбеддингов на базе BERT, опубликованная пользователем gaussalgo. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения сходства текстов. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством; модель доступна в формате PyTorch и рассчитана на контекст до 512 токенов. Модель подходит для поиска семантически близких фрагментов и группировки текстов по смыслу. В карточке не приведены поддерживаемые языки и результаты оценки качества, поэтому нельзя уверенно определить языковой охват или сравнительную эффективность. Размер модели — около 40 млн параметров. Условия лицензии в предоставленных данных не указаны.
MIReAD-Neuro-Contrastive — модель семейства Sentence Transformers, опубликованная пользователем atrytone. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости, кластеризации и семантического поиска. По метаданным, модель основана на архитектуре BERT, содержит 137,1 млн параметров и обрабатывает до 512 токенов контекста. Обучение проводилось с TripletLoss и евклидовой метрикой расстояния. Модель подходит для построения эмбеддингов текстов, поиска похожих фрагментов и группировки текстов по смыслу. В карточке не указаны поддерживаемые языки и специализированные области применения. Лицензия в предоставленных данных не указана.
UMCU опубликовал Sentence Transformer на основе UMCU/mirrorbert_medroberta.nl_meantoken, дообученный для преобразования предложений и абзацев в плотные векторы размерности 768. Модель использует архитектуру RoBERTa с усреднением токенных эмбеддингов и сравнивает векторы по косинусному сходству; в метаданных указано 153,2 млн параметров и библиотека sentence-transformers. Модель подходит для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 30 токенов, тогда как метаданные каталога сообщают контекст 514 токенов; для практического использования следует учитывать лимит 30 токенов из карточки модели. Лицензия в предоставленных данных не указана.