I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейRuri-Reranker-Small — японская модель ранжирования текстовых пар, разработанная cl-nagoya и основанная на Sentence Transformers. Она дообучена на cl-nagoya/ruri-reranker-stage1-small и использует архитектуру DistilBERT с классификационной головой; размер модели составляет 68 млн параметров, максимальная длина последовательности — 512 токенов. Модель предназначена для повторного ранжирования результатов поиска: она оценивает релевантность пары «запрос — документ», чтобы расположить наиболее подходящие результаты выше. В README приведены оценки на японских наборах JQaRA, JaCWIR и MIRACL; модель компактнее вариантов Ruri Base и Large. Модель принимает текст и выдаёт оценку релевантности. Она рассчитана на японский язык и опубликована под лицензией Apache 2.0. Длина входной последовательности ограничена 512 токенами; в приведённых бенчмарках показатели отличаются от более крупных моделей семейства Ruri.
Карточка модели 0x3/ruri-v3-30m на Hugging Face совпадает с карточкой cl-nagoya/ruri-v3-30m, поэтому описание составлено по ней. Ruri v3 30M — модель эмбеддингов японского текста, разработанная cl-nagoya на базе ModernBERT-Ja и дообученная от cl-nagoya/ruri-v3-pt-30m. Она преобразует предложения и фрагменты текста в векторы размерностью 256 для сравнения смысловой близости, поиска, ранжирования и кластеризации. Модель содержит 36,7 млн параметров, поддерживает последовательности до 8192 токенов и использует токенизатор SentencePiece; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для японских текстовых задач. В оценке JMTEB версия 30M показала средний результат 74,51; карточка также приводит метрики поиска, семантического сходства, классификации, переранжирования и кластеризации. Указана функция сходства cosine similarity. Репозиторий содержит веса safetensors, лицензия — Apache 2.0.
Ruri v3 310M — модель текстовых эмбеддингов для японского языка, разработанная cl-nagoya на базе cl-nagoya/ruri-v3-pt-310m. Это дообученная Sentence Transformer-модель с архитектурой ModernBERT-Ja и 314,6 млн параметров; она преобразует текст в векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель использует словарь из 100 тысяч токенов, SentencePiece и FlashAttention; для токенизации не требуется внешняя сегментация японского текста. Модель предназначена для поиска по смыслу, оценки сходства предложений и документов, ранжирования и других задач на японском тексте. В README приведена оценка JMTEB: средний результат 77,24; также представлены результаты по поиску, семантическому сходству, классификации, переранжированию и кластеризации. Модель поддерживает японский язык и распространяется по лицензии Apache 2.0.
Ruri v3 PT 70M — японская модель для получения эмбеддингов текста, разработанная cl-nagoya на основе ModernBERT-Ja от SB Intuitions. Она предназначена для представления предложений и текстов в виде векторов, пригодных для сравнения семантической близости и поиска похожих фрагментов. Модель содержит 70 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Это предварительно обученная версия Ruri v3; карточка рекомендует для готового применения дообученный вариант cl-nagoya/ruri-v3-70m. Модель ориентирована на японский язык. Распространяется по лицензии Apache-2.0.
SA-BERT-V1 — дообученная командой Omartificial-Intelligence-Space модель эмбеддингов предложений для арабского языка, ориентированная на саудовский диалект. Она основана на MARBERTv2 и использует BERT-энкодер с mean pooling: 12 слоёв, размер скрытого состояния и эмбеддинга 768. Модель принимает текст и преобразует предложения в векторы; заявленные сценарии — семантическое сходство, кластеризация, поиск и классификация. Для дообучения использовано более 500 тысяч предложений на саудовском диалекте, включая хиджазский и надждийский варианты. В README приведена оценка на отложенной выборке из 1280 предложений по 44 категориям; она описывает сходство эмбеддингов внутри и между категориями, но не устанавливает качество для всех задач и наборов данных. Контекст составляет 512 токенов. Модель распространяется по лицензии Apache 2.0.
sarashina2.2-Bi-0.5b — дообученная модель семейства Sarashina от разработчика репозитория iamtatsuki05. Она преобразует японские предложения в векторные представления для сравнения по смыслу и поиска. Модель построена на архитектуре Llama как двунаправленный энкодер в стиле LLM2Vec; размер составляет 661,9 млн параметров, размерность эмбеддингов — 1280, используется mean pooling. Максимальная длина последовательности — 8192 токена, позиционное кодирование — RoPE, токенизатор SentencePiece.
DMetaSoul/sbert-chinese-dtm-domain-v1 — китайскоязычная модель эмбеддингов на основе BERT, разработанная DMetaSoul. Она дообучена на наборе диалоговых соответствий BUSTM из диалогов OPPO Xiaobu и предназначена для сопоставления разговорных реплик в открытой предметной области. Модель кодирует предложения в векторы, которые можно сравнивать по сходству; это подходит для поиска подходящего ответа, семантического поиска и ранжирования вариантов реплики. Для работы доступны Sentence-Transformers и Hugging Face Transformers. Модель содержит 129,5 млн параметров, использует архитектуру BERT и принимает текст; её максимальный контекст составляет 512 токенов. README приводит результаты на китайских наборах семантического сопоставления, включая Xiaobu, LCQMC и PAWS-X. Указаны веса PyTorch и происхождение от bert-base-chinese. Лицензия в предоставленных данных не описана.
sbert-jsnli-luke-japanese-base-lite — модель Sentence-Transformers на архитектуре LUKE, дообученная на один проход по датасету shunk031/jsnli на базе studio-ousia/luke-japanese-base-lite. Она преобразует предложения и абзацы на японском языке в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и оценки сходства. Контекст модели составляет до 514 токенов, число параметров — 138,4 млн; доступен формат PyTorch. Модель предназначена для семантического поиска и сравнения японских текстов. Лицензия — Apache-2.0. Карточка также указывает результаты оценки на JSTS и JSICK, но не приводит их числовые значения.
pushpdeep/sbertmsmarco-en_to_indic_ur-murilv1 — модель на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. В репозитории указано обучение с MSELoss; модель доступна в формате PyTorch и опубликована под именем Sentence-Transformers. Модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. По названию репозитория она связана с MS MARCO и индийскими языками, включая урду; точный перечень поддерживаемых языков и базовая модель в предоставленных данных не подтверждены. Лицензия в источниках не указана.
SciRus-tiny — компактная модель MLSA Lab Института ИИ МГУ для получения эмбеддингов научных текстов на русском и английском языках. Она использует архитектуру RoBERTa и содержит 25,5 млн параметров; для обработки текста указан контекст до 2050 токенов. Модель обучена на данных eLibrary с применением контрастивного обучения. Она предназначена для представления научных текстов в виде векторов и оценки сходства предложений; в README сообщается о высоких результатах на бенчмарке ruSciBench. Лицензия — MIT.
mlsa-iai-msu-lab разработала компактную многоязычную модель эмбеддингов научных текстов на архитектуре ModernBERT. Модель обучена с нуля: сначала на задаче masked language modeling, затем совместно с контрастивным обучением и дистилляцией от Qwen/Qwen3-Embedding-8B. Для неё также с нуля создан токенизатор, ориентированный на научную терминологию. Модель предназначена для получения векторных представлений научных публикаций на русском, английском и китайском языках. Обучение на аннотациях, парах «название — аннотация», цитированиях и совместных цитированиях помогает сопоставлять семантически близкие тексты, в том числе между языками. Размер модели — 20,1 млн параметров, контекст — до 8192 токенов. Подходит для поиска научных работ по смыслу, сравнения публикаций и межъязыкового поиска. Доступна под лицензией MIT.
linhphanff/semantic-base-vi — модель на архитектуре RoBERTa с 162,4 млн параметров, опубликованная пользователем linhphanff. Она предназначена для оценки сходства предложений и может применяться для поиска семантически близких фраз и сравнения текстовых запросов. Метаданные указывают поддержку вьетнамского и английского языков, библиотеку Transformers и контекст до 258 токенов. Карточка содержит лишь краткую инструкцию по установке Transformers, поэтому подробности обучения и использования не описаны. Лицензия указана как other, без уточнения условий.
dlicari/sentence-ita-eurlex-bert-base — модель Sentence-Transformers на базе BERT, разработчик — dlicari. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 137,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Название указывает на связь с итальянским и корпусом EUR-Lex, однако README и метаданные не подтверждают конкретный состав обучающих данных или языковую специализацию. В README указано обучение с DenoisingAutoEncoderLoss. Лицензия в предоставленных данных не указана.
Huffon/sentence-klue-roberta-base — модель на базе RoBERTa для получения векторных представлений предложений и текстов. Она использует подход Sentence-BERT с сиамскими сетями и предназначена для работы с библиотекой Sentence-Transformers. Модель содержит 137,8 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель рассчитана на корейский язык и обучена на данных KLUE. Её можно применять для сравнения семантической близости предложений и извлечения текстовых эмбеддингов для поиска и группировки. В репозитории представлены веса PyTorch. Условия лицензии в предоставленных данных не указаны.
Sentence-Sarashina-Bi-0.5B-PT — японская модель эмбеддингов предложений, разработанная iamtatsuki05. Она дообучена на базе iamtatsuki05/sarashina2.2-Bi-0.5b с помощью слабоконтролируемого контрастивного обучения на наборе cl-nagoya/ruri-dataset-v2-pt. Модель использует архитектуру Llama и sentence-transformers; содержит 661,9 млн параметров и формирует векторы размерности 1280 с помощью mean pooling. Модель предназначена для семантического сравнения японских текстов и поиска по смыслу, включая получение эмбеддингов для retrieval-систем. Поддерживает последовательности до 8192 токенов, использует SentencePiece и косинусную меру сходства. В README английский указан в заголовке, но среди заявленных языков поддержки указана только японская. Модель распространяется по лицензии MIT. Это специализированный энкодер для векторного представления текста; README не описывает генерацию ответов или диалоговое применение.
Serafim 100m Portuguese (PT) Sentence Encoder — модель семейства Serafim PT*, представленная Луишем Гомешем, Антониу Бранку, Жуаном Силвой, Жуаном Родригешем и Родригу Сантушем. Это энкодер предложений на архитектуре BERT, опубликованный в рамках исследовательской работы о векторных представлениях португальского языка. Модель содержит 136,1 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов на португальском языке. Она использует mean pooling и доступна в формате Safetensors для библиотеки Sentence Transformers. Лицензия — MIT. Ограничения: обучающие настройки указывают max_seq_length 128, поэтому полезная длина входа при исходной конфигурации может быть меньше заявленного архитектурного контекста. README не приводит конкретных численных результатов оценки качества.
Serafim 900m Portuguese PT Sentence Transformer — модель для получения плотных векторных представлений предложений и абзацев на португальском языке. Её разработали Luís Gomes, António Branco, João Silva, João Rodrigues и Rodrigo Santos в рамках семейства энкодеров Serafim PT; работа представлена на EPIA 2024 и опубликована Springer. Модель предназначена для семантического поиска и задач информационного поиска, а также для кластеризации и сравнения сходства текстов. Она построена на DeBERTa-v2, имеет около 1,1 млрд параметров, выдаёт векторы размерностью 1536 и принимает последовательности длиной до 512 токенов. Для работы доступны веса в формате safetensors и библиотека Sentence-Transformers; лицензия MIT. Модель ориентирована на португальский язык. Контекст ограничен 512 токенами, поэтому длинные документы потребуется делить на фрагменты; качество для других языков не заявлено.
mitra-mir/setfit_model_Calgary_epochs2 — модель на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерностью 768. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель имеет 136,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. Обучение проводилось с функцией потерь CosineSimilarityLoss. Модель можно использовать в приложениях на Sentence-Transformers для поиска похожих фрагментов и группировки текстов. В карточке не приведены сведения о языковой специализации и лицензии.
mitra-mir/setfit_model_Ireland_binary_label1_epochs2 — модель на базе MPNet, разработанная mitra-mir для преобразования предложений и абзацев в плотные векторы размерности 768. Она рассчитана на поиск семантически близких текстов и кластеризацию; также может использоваться для сравнения сходства предложений. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих предложений и построения эмбеддингов для последующей обработки. В карточке указано обучение с CosineSimilarityLoss; сведений о языковой специализации и лицензии в предоставленных данных нет.
SFR-Embedding-Mistral — текстовая модель эмбеддингов, разработанная Salesforce Research. Она основана на E5-mistral-7b-instruct и Mistral-7B-v0.1 и предназначена для преобразования текста в векторы, которые можно использовать для поиска и сравнения семантической близости. Архитектура — плотная Mistral с 7,1 млрд параметров, контекст — до 32 768 токенов; доступны веса в формате safetensors. В карточке заявлена поддержка английского языка. Модель подходит для создания векторного поиска, поиска похожих предложений и оценки сходства текстов; она также отмечена в контексте бенчмарка MTEB. Выпуск предназначен для исследований, а датасеты третьих сторон могут иметь дополнительные условия лицензирования. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование не разрешено её условиями. Перед применением следует отдельно оценивать точность, безопасность и возможную предвзятость.
Карточка модели Veritone/siglip2-base-patch16-256 на Hugging Face совпадает с карточкой google/siglip2-base-patch16-256, поэтому описание составлено по ней. SigLIP 2 Base Patch16-256 — визуальный энкодер, разработанный Google. Модель обучена на наборе WebLI по унифицированной схеме предобучения SigLIP 2; в репозитории доступны веса Safetensors для Transformers. Размер изображения на входе — 256 пикселей, патч — 16 пикселей. Модель предназначена для классификации изображений по пользовательским текстовым меткам и поиска соответствий между изображениями и текстом. Её также можно использовать как визуальный энкодер для VLM и других задач компьютерного зрения. Лицензия — Apache-2.0. README описывает улучшенное семантическое понимание, локализацию и плотные визуальные признаки как цели SigLIP 2. В карточке нет сведений о поддерживаемых естественных языках или длине контекста. Для классификации необходимо передавать изображение и варианты меток; сама модель не является диалоговой генеративной VLM.
Veritone/siglip2-base-patch16-512-vision — это отдельная зрительная башня SigLIP 2 Base, созданная на основе google/siglip2-base-patch16-512. Репозиторий содержит только vision tower: она кодирует изображения и видеокадры в общее пространство эмбеддингов и рассчитана на отдельную загрузку при индексации. Текстовая башня для этапа поиска размещена в Veritone/siglip2-base-patch16-512-text. Модель на базе архитектуры SigLIP предназначена для классификации изображений по текстовым меткам без дообучения, поиска по сходству изображений и текста, а также использования в качестве визуального энкодера для мультимодальных моделей. SigLIP 2 предварительно обучена на наборе WebLI; версия Base использует изображения с разрешением 512 пикселей и патчи 16. Модель распространяется в формате Safetensors и доступна по лицензии Apache-2.0. Для сравнения изображения с текстовыми запросами нужна совместимая текстовая башня; этот репозиторий содержит только зрительную часть.
Veritone/siglip2-base-patch32-256-vision — отдельная зрительная башня SigLIP 2 Base, созданная Veritone на основе Google SigLIP 2. Это сокращённая копия google/siglip2-base-patch32-256, содержащая только визуальный энкодер; она преобразует изображения и видеокадры в эмбеддинги общего пространства. Модель предназначена для классификации изображений по кандидатным текстовым меткам без дополнительного обучения, поиска изображений по тексту и использования в составе мультимодальных систем. Башня рассчитана на работу отдельно при индексации, что позволяет загружать только визуальную часть и экономить память и время загрузки. Для сценариев, которым нужна текстовая башня, в README указана отдельная модель Veritone/siglip2-base-patch32-256-text. SigLIP 2 обучалась на наборе WebLI и развивает предобучение SigLIP для семантического понимания, локализации и плотных визуальных признаков. Репозиторий распространяется в формате safetensors, используется с Transformers и лицензирован Apache-2.0.
SigLIP 2 Large — модель компьютерного зрения и языка от Google на архитектуре SigLIP. Она обучена на наборе WebLI и предназначена для сопоставления изображений с текстом: модель выполняет классификацию изображений по заданным текстовым меткам и поиск изображений по текстовым запросам. Её также можно использовать как визуальный энкодер в мультимодальных языковых моделях и других системах компьютерного зрения. Модель принимает изображения и текстовые описания или метки, а на выходе формирует оценки соответствия между ними. Вариант Large с патчами 16×16 рассчитан на обработку изображений с разрешением 384 пикселя; веса опубликованы в формате Safetensors и доступны для Transformers. Лицензия Apache-2.0.
SigLIP 2 So400m — модель визуального кодировщика от Google, обученная для совместного понимания изображений и текста. Она развивает подход SigLIP, объединяя несколько методов предобучения; в карточке Hugging Face указана архитектура семейства SigLIP и библиотека Transformers. Модель предварительно обучена на наборе WebLI. Модель подходит для классификации изображений по текстовым меткам без специального обучения, поиска соответствий между изображениями и текстом, а также для использования в качестве визуального энкодера в мультимодальных языковых моделях и других задачах компьютерного зрения. Она принимает изображения и текстовые описания или метки и формирует представления, используемые для сопоставления и классификации. Модель распространяется по лицензии Apache-2.0. Оценочные результаты приведены в README со ссылкой на исследовательскую работу; конкретные ограничения и показатели качества для отдельных сценариев в доступных материалах не описаны.
Карточка модели Veritone/siglip2-so400m-patch14-384 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch14-384, поэтому описание составлено по ней. SigLIP 2 So400m — модель визуального кодировщика от Google, обученная для совместного понимания изображений и текста. Она развивает подход SigLIP, объединяя несколько методов предобучения; в карточке Hugging Face указана архитектура семейства SigLIP и библиотека Transformers. Модель предварительно обучена на наборе WebLI. Модель подходит для классификации изображений по текстовым меткам без специального обучения, поиска соответствий между изображениями и текстом, а также для использования в качестве визуального энкодера в мультимодальных языковых моделях и других задачах компьютерного зрения. Она принимает изображения и текстовые описания или метки и формирует представления, используемые для сопоставления и классификации. Модель распространяется по лицензии Apache-2.0. Оценочные результаты приведены в README со ссылкой на исследовательскую работу; конкретные ограничения и показатели качества для отдельных сценариев в доступных материалах не описаны.
SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это плотный визуально-языковой энкодер класса Siglip2Model, обученный на наборе WebLI; веса доступны в формате safetensors по лицензии Apache-2.0. Модель предназначена для классификации изображений по заданным текстовым меткам и поиска соответствий между изображениями и текстом. Её также можно использовать как визуальный энкодер для мультимодальных языковых моделей и других задач компьютерного зрения. Архитектура использует патчи 16×16 с обработкой NaFlex; размер модели и длина контекста в предоставленных данных не указаны.
SigLIP base patch16-224 — мультимодальная модель Google для сопоставления изображений и текста, предобученная на англоязычных парах WebLI. Она использует архитектуру SigLIP и функцию потерь на основе sigmoid, которая обучает оценивать пары изображение–текст без нормализации по общей матрице сходства. Модель обрабатывает изображения с разрешением 224×224 и текстовые последовательности длиной до 64 токенов. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения и поиска изображений по тексту или текста по изображению. Её можно применять для классификации по пользовательским категориям и поиска подходящих изображений в коллекции. Данные карточки не приводят размер модели и количественные результаты оценки; обучение проводилось на английских парах изображений и текста, поэтому качество для других языков не подтверждено. Лицензия — Apache-2.0.
SigLIP base patch16 256 — мультимодальная модель Google для сопоставления изображений и текста, предобученная на англоязычных парах WebLI. Она использует архитектуру SigLIP и функцию потерь на основе sigmoid, которая работает с парами изображение–текст без нормализации по всей матрице сходства. Модель обрабатывает изображения с разрешением 256×256 и текст длиной до 64 токенов. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения и для поиска изображений по текстовым запросам или текста по изображению. Английский язык указан для обучающих пар; модель принимает изображения и текст и выдаёт оценки их соответствия. Распространяется по лицензии Apache-2.0. Карточка не приводит сведений о числе параметров.
kornwtp разработал модель эмбеддингов на основе многоязычного BERT (mBERT), обученную методом SimCSE на тайской Википедии. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель подходит для семантического поиска и сравнения предложений на тайском языке; её контекст ограничен 512 токенами, размер составляет 205,1 млн параметров, формат весов — PyTorch. Лицензия Apache-2.0.