I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейsemanlink_all_mpnet_base_v2 — модель Sentence Transformers на архитектуре MPNet, дообученная разработчиком raphaelsty на графе знаний Semanlink с помощью библиотеки MKB для задачи предсказания связей. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации терминов. Модель ориентирована на техническую и общую терминологию в машинном обучении, NLP и новостях; поддерживает английский и французский языки и принимает текст. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Контекст модели — до 514 токенов.
espejelomar/sentece-embeddings-BETO — модель на основе BERT, обученная для получения векторных представлений предложений и абзацев. Разработчик описывает её как Sentence-Transformers-модель: текст преобразуется в плотные векторы размерности 768, пригодные для семантического поиска и кластеризации. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для обучения использовалась функция MultipleNegativesRankingLoss с косинусным сходством; среди связанных с моделью датасетов указаны StackExchange XML и CodeSearchNet. Для работы можно использовать Sentence-Transformers либо Transformers с соответствующим pooling. Модель подходит для поиска похожих предложений и организации текстов по смысловому сходству. Метаданные указывают формат PyTorch, но сведения о лицензии и поддерживаемых языках отсутствуют.
nickprock разработал модель sentence-transformers на архитектуре BERT для представления итальянских предложений и абзацев в виде плотных векторов размерностью 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; для работы с ней можно использовать Sentence-Transformers, FastEmbed или Transformers с подходящей операцией pooling. Модель насчитывает 137,1 млн параметров, имеет контекстное окно до 512 токенов и обучалась с функцией потерь CosineSimilarityLoss на данных, связанных с STS-Benchmark для нескольких языков. Доступны форматы PyTorch, safetensors и ONNX. Лицензия — MIT.
sonoisa/sentence-bert-base-ja-mean-tokens — модель Sentence-BERT для японского языка, представленная разработчиком sonoisa. Она преобразует японские предложения в векторные представления для вычисления сходства и поиска семантически близких текстов. Карточка также отмечает существование версии 2 с точностью примерно на 1,5 процентного пункта выше. Модель основана на BERT, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Она предназначена для извлечения признаков и построения эмбеддингов предложений; метаданные также указывают поддержку заполнения масок и оценки сходства предложений. Доступны веса PyTorch и Safetensors. Лицензия — CC BY-SA 4.0.
ys7yoo/sentence-bert-klue-sts-all — модель Sentence-Transformers на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Она обучалась с функцией CosineSimilarityLoss и подходит для поиска семантически близких текстов, кластеризации и вычисления сходства предложений. Модель содержит 137,8 млн параметров, принимает текст и формирует векторы; максимальная длина контекста составляет 512 токенов. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. README не сообщает поддерживаемые естественные языки или лицензию, поэтому они не уточняются.
Карточка модели PapaMoth/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.
manu/sentence_croissant_alpha_v0.1 — модель семейства Llama, созданная на базе Sentence-Transformers для получения плотных векторных представлений предложений и абзацев. Она содержит 1,3 млрд параметров, формирует эмбеддинги размерностью 2048 и рассчитана на входной контекст до 2048 токенов. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации предложений и абзацев. Карточка сообщает о тренировке с использованием MultipleNegativesRankingLoss; в метаданных также отмечены возможности чата и эмбеддингов, однако основное назначение модели — векторизация и сравнение текстов. Язык модели в предоставленных данных не определён. Файлы опубликованы в формате safetensors; сведения о лицензии отсутствуют.
manu/sentence_croissant_alpha_v0.3 — модель эмбеддингов на базе архитектуры Llama, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 2048 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 1,3 млрд параметров, принимает текст, выдаёт векторы и поддерживает контекст до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss. Репозиторий создан в апреле 2024 года; веса сохранены в формате safetensors. Сведений о языках обучения, лицензии и результатах бенчмарков в предоставленных данных нет.
bachngo/sentence_hsu — модель sentence-transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. В метаданных указано окно контекста 514 токенов; модель принимает текст и выдаёт эмбеддинги. Обучение проводилось с BatchAllTripletLoss. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Карточка не сообщает, на каких языках обучалась модель, поэтому нельзя определить её языковой охват. Лицензия в предоставленных данных не указана.
Sentence-Llama-Bi-JP-0.5B — двунаправленный энкодер семейства Llama от iamtatsuki05 для создания японских эмбеддингов предложений. Модель дообучена на размеченных парах из cl-nagoya/ruri-v3-dataset-ft и предназначена для семантического поиска, сопоставления и оценки сходства текстов. Модель содержит около 661,9 млн параметров, формирует векторы размерностью 1280 с помощью mean pooling и поддерживает последовательности длиной до 8192 токенов. Для сравнения векторов рекомендуется косинусная мера. Карточка заявляет поддержку японского языка; метаданные указывают лицензию MIT.
ys7yoo/sentence-roberta-large-klue-nli-sts-all — модель на базе RoBERTa large, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации. При обучении использовалась функция потерь CosineSimilarityLoss; модель содержит 435,4 млн параметров и рассчитана на контекст до 514 токенов. Модель подходит для построения семантического поиска, группировки похожих текстов и других задач сравнения предложений по смыслу. Для использования доступны PyTorch и библиотека Sentence Transformers; при работе через Transformers требуется применить подходящую операцию pooling к контекстным эмбеддингам. В карточке не указана лицензия, поэтому условия использования по ней определить нельзя. Указание KLUE в названии не подтверждает само по себе, какие языки модель поддерживает.
hiiamsid/sentence_similarity_hindi — модель Sentence-Transformers на архитектуре BERT, разработанная для работы с предложениями и абзацами на хинди. Она преобразует текст в плотные векторы размерностью 768 и предназначена для сравнения семантической близости, семантического поиска и кластеризации текстов. Модель содержит 498,1 млн параметров и поддерживает контекст до 512 токенов. Её можно использовать через Sentence-Transformers либо через Transformers с подходящей операцией pooling для контекстных представлений токенов. Модель обучена с функцией CosineSimilarityLoss и основана на setu4993/LaBSE. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных отсутствуют.
imvladikon/sentence-transformers-alephbert — модель эмбеддингов предложений на базе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и рассчитана на семантический поиск, сравнение текстов и кластеризацию. Размер модели — 153,2 млн параметров, максимальная длина контекста — 512 токенов; карточка указывает поддержку иврита. По README, текущая версия получена дистилляцией LaBSE на частном корпусе и обучалась с MultipleNegativesRankingLoss и косинусным сходством. Модель подходит для построения векторных представлений и оценки семантической близости текстов на иврите. Она не генерирует текст; сведения о составе частного обучающего корпуса и его ограничениях не приведены. Формат файлов — PyTorch; лицензия в предоставленных данных не указана.
Это модель Sentence Transformer, разработанная на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 и дообученная на данных Torob. Она преобразует предложения и абзацы в плотные векторы размерности 384; сходство текстов можно оценивать по косинусному сходству. Архитектура включает BERT-трансформер и mean pooling. В README указана максимальная длина последовательности 128 токенов, а метаданные каталога задают контекст 512 токенов. Модель предназначена для семантического сравнения и поиска текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Её многоязычная база поддерживает работу с текстами на разных языках; дообучение на данных Torob специализирует её на сходстве текстов из этого набора данных. Для использования требуются Sentence Transformers или совместимая система инференса. Лицензия в предоставленных данных не указана.
Это англоязычная модель SentenceTransformer, созданная дообучением sentence-transformers/all-MiniLM-L6-v2 разработчиком dekshitha-k. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; представления нормализуются, а сходство между ними оценивается косинусной мерой. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов согласно метаданным; в README указано ограничение 256 токенов. Модель предназначена для семантического сравнения предложений, поиска по смыслу, поиска перефразировок, классификации и кластеризации текстов. Она обучалась на 5 749 парах предложений с оценками сходства с использованием CosineSimilarityLoss. Библиотека для работы с моделью — Sentence Transformers; веса доступны в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
Serafim 100m Portuguese PT Sentence Encoder — модель семейства Serafim PT*, разработанная Luís Gomes, António Branco, João Silva, João Rodrigues и Rodrigo Santos. Это sentence-transformers энкодер на архитектуре BERT с 136,1 млн параметров, который преобразует предложения и абзацы на португальском языке в плотные векторы размерности 768. Максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. Она обучалась с функцией потерь CoSENT и поддерживается библиотекой Sentence-Transformers. Репозиторий содержит веса в формате safetensors. Лицензия MIT.
mann2107/setfitbcmpii — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для вычисления семантической близости, поиска по смыслу и кластеризации текстов. В качестве функции потерь при обучении использовалась CosineSimilarityLoss. Модель принимает текст и выдаёт векторные представления. Контекст составляет 514 токенов. Репозиторий содержит веса PyTorch; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Указаний на базовую модель, поддерживаемые языки и лицензию в предоставленных данных нет.
scaperex/SetFitTest — модель на архитектуре MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов по сходству. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. В карточке указано обучение с CosineSimilarityLoss. Модель можно применять для поиска семантически близких фрагментов и группировки текстов. Репозиторий содержит веса PyTorch. Сведения о лицензии и языковой специализации не приведены в использованных источниках.
Muennighoff/SGPT-125M-lasttoken-msmarco-specb — модель для получения эмбеддингов предложений на базе GPT-Neo, разработанная для семантического поиска и сравнения текстов. В ней около 137,7 млн параметров; модель обучена с функцией MultipleNegativesRankingLoss на парах для ранжирования по косинусному сходству. Репозиторий содержит веса PyTorch, максимальная длина контекста — 2048 токенов. Модель подходит для поиска документов и фрагментов по смыслу, сопоставления запросов с текстами и вычисления семантического сходства. Она выдаёт векторные представления текста. Данные подтверждают обучение на MS MARCO, но не дают оснований утверждать поддержку конкретных языков или наличие мультиязычной настройки. Лицензия в предоставленных материалах не указана.
Muennighoff/SGPT-125M-mean-nli-bitfit — модель семейства GPT-Neo, разработанная Muennighoff для получения векторных представлений предложений и оценки их семантического сходства. Она обучалась с помощью Sentence Transformers на MultipleNegativesRankingLoss с косинусной мерой сходства; в обучающем загрузчике использовались пакеты по 64 примера без дубликатов. Модель содержит 137,7 млн параметров, принимает текст и формирует эмбеддинги. Максимальная длина контекста — 2048 токенов. Модель подходит для поиска семантически близких предложений и ранжирования текстов по смысловому сходству. В метаданных указаны форматы PyTorch и задачи sentence-similarity и feature-extraction. Сведения о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.
Muennighoff/SGPT-125M-mean-nli-linear5 — модель для получения векторных представлений предложений на основе GPT-Neo. Она содержит 137,7 млн параметров и принимает текстовые входы; максимальная длина контекста — 2048 токенов. По карточке модель обучалась с помощью MultipleNegativesRankingLoss на косинусном сходстве, что делает её подходящей для сравнения смысловой близости предложений и поиска похожих текстов. Модель можно применять для семантического поиска, ранжирования кандидатов по релевантности и группировки похожих фраз. В README приведены ссылки на код и результаты оценки, но конкретные показатели качества не указаны. Данных о лицензии в предоставленных источниках нет.
Muennighoff/SGPT-125M-weightedmean-nli — модель эмбеддингов предложений на архитектуре GPT-Neo, разработанная для представления текста в виде векторов и сравнения семантической близости предложений. Она содержит 137,7 млн параметров, принимает текст и поддерживает контекст до 2048 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусным сходством, что подходит для сопоставления текстовых запросов и документов, поиска похожих предложений и ранжирования кандидатов по близости. Модель опубликована в формате PyTorch. В карточке не указаны лицензия и поддерживаемые естественные языки, поэтому их нельзя определить по имеющимся данным. README отсылает к коду проекта и статье за инструкциями и результатами оценки, но сами результаты и детали применения в карточке не приведены.
Модель dinghong-ner/siamese-name-matcher-v7 — дообученный Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанный для семантического сопоставления текстовых фрагментов. Архитектура BERT с усредняющим pooling преобразует предложения и короткие абзацы в плотные векторы размерности 384; близость оценивается косинусным сходством. Модель принимает текст, максимальная длина последовательности по README — 128 токенов, а метаданные указывают контекст до 512 токенов. Основной сценарий — сравнение имён и псевдонимов: обучающие примеры включают варианты написания имён, транслитерацию и японские имена. Модель также подходит для семантического поиска и извлечения похожих текстов. На валидационном наборе v7 указаны cosine accuracy 0,865 и F1 0,9078; результаты относятся к этому набору и не гарантируют качество на других данных. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.
SigLIP 2 Base — модель визуального энкодера, разработанная Google. Она предназначена для сопоставления изображений и текста, классификации изображений по заданным текстовым меткам без специального дообучения, а также для использования в качестве визуального энкодера в мультимодальных моделях и других задачах компьютерного зрения. Модель относится к семейству SigLIP, имеет плотную архитектуру и доступна в формате safetensors для библиотеки Transformers. Предобучение выполнено на наборе WebLI с использованием объединённой схемы обучения, расширяющей подход SigLIP методами для улучшения семантического понимания, локализации и плотных визуальных признаков. README также указывает на пригодность модели для поиска соответствий между изображениями и текстом. Лицензия — Apache 2.0. Модель принимает изображения и текстовые кандидаты или запросы и выдаёт оценки соответствия, которые можно использовать для ранжирования меток и поиска пар изображение—текст. В карточке не приведены численный размер модели, длина контекста и перечень поддерживаемых естественных языков.
SigLIP 2 Base Patch16-256 — визуальный энкодер, разработанный Google. Модель обучена на наборе WebLI по унифицированной схеме предобучения SigLIP 2; в репозитории доступны веса Safetensors для Transformers. Размер изображения на входе — 256 пикселей, патч — 16 пикселей. Модель предназначена для классификации изображений по пользовательским текстовым меткам и поиска соответствий между изображениями и текстом. Её также можно использовать как визуальный энкодер для VLM и других задач компьютерного зрения. Лицензия — Apache-2.0. README описывает улучшенное семантическое понимание, локализацию и плотные визуальные признаки как цели SigLIP 2. В карточке нет сведений о поддерживаемых естественных языках или длине контекста. Для классификации необходимо передавать изображение и варианты меток; сама модель не является диалоговой генеративной VLM.
SigLIP 2 Base — базовая модель семейства SigLIP 2, разработанная Google. Это плотный визуально-языковой энкодер класса Siglip2Model для сопоставления изображений и текста; модель доступна в формате Safetensors и используется через библиотеку Transformers. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска соответствий между изображениями и текстом, а также в качестве визуального энкодера для мультимодальных моделей и других задач компьютерного зрения. SigLIP 2 объединяет улучшения предобучения SigLIP для семантического понимания изображений, локализации и получения плотных признаков. Она предобучена на наборе WebLI. Модель принимает изображения и текстовые описания или метки и выдаёт оценки соответствия, пригодные для ранжирования вариантов. Карточка не сообщает конкретный размер параметров и длину контекста. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Оценки из карточки относятся к исследовательской публикации; качество может различаться на задачах и данных, отличающихся от предобучения.
Карточка модели Veritone/siglip2-so400m-patch16-256 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch16-256, поэтому описание составлено по ней. SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это плотный визуальный энкодер, обученный на датасете WebLI; вариант So400m использует патчи размером 16 пикселей и входное разрешение 256 пикселей. Модель сопоставляет изображения и текст, поддерживает классификацию изображений по произвольным текстовым меткам без дообучения и поиск изображений по тексту или текста по изображению. Модель подходит для извлечения визуальных признаков и встраивания в мультимодальные языковые модели, а также для задач локализации и получения плотных визуальных представлений. В README не приведены сведения о числе параметров, контекстном окне или языковом охвате. Репозиторий распространяется по лицензии Apache-2.0.
Карточка модели Veritone/siglip2-so400m-patch16-384 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch16-384, поэтому описание составлено по ней. SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google и предназначенная для сопоставления изображений и текста. Её применяют для классификации изображений по произвольным текстовым меткам, поиска изображений по текстовому запросу и как визуальный энкодер для мультимодальных моделей и других задач компьютерного зрения. Модель использует плотную архитектуру SigLIP и представлена в формате safetensors; работать с ней можно через Transformers. Предобучение проведено на наборе WebLI. SigLIP 2 развивает подход к предобучению SigLIP, объединяя его с ранее разработанными методами для улучшения семантического понимания, локализации и извлечения плотных признаков. Лицензия — Apache 2.0. Модель обрабатывает изображения и текстовые метки и выдаёт оценки соответствия; качество зависит от формулировок меток и характеристик изображений. README не приводит конкретных ограничений применения.
Карточка модели m-toman/siglip2-so400m-patch16-512 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch16-512, поэтому описание составлено по ней. SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это визуальный энкодер, обученный на WebLI и предназначенный для сопоставления изображений с текстовыми описаниями. Модель поддерживает классификацию изображений по произвольным текстовым меткам без отдельного обучения и поиск изображений по тексту или текста по изображению; её также можно использовать как визуальную часть мультимодальных систем и в других задачах компьютерного зрения. Модель принимает изображения и текстовые описания, кодирует их для сравнения и выдаёт оценки соответствия. Архитектура SigLIP, вариант So400m; доступные веса представлены в формате safetensors и используются через Transformers. В README отмечены улучшенное семантическое понимание, локализация и плотные визуальные признаки. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.
Карточка модели Veritone/siglip2-so400m-patch16-512 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch16-512, поэтому описание составлено по ней. SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это визуальный энкодер, обученный на WebLI и предназначенный для сопоставления изображений с текстовыми описаниями. Модель поддерживает классификацию изображений по произвольным текстовым меткам без отдельного обучения и поиск изображений по тексту или текста по изображению; её также можно использовать как визуальную часть мультимодальных систем и в других задачах компьютерного зрения. Модель принимает изображения и текстовые описания, кодирует их для сравнения и выдаёт оценки соответствия. Архитектура SigLIP, вариант So400m; доступные веса представлены в формате safetensors и используются через Transformers. В README отмечены улучшенное семантическое понимание, локализация и плотные визуальные признаки. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.