I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейStella-PL — двуязычный польско-английский текстовый энкодер, созданный авторами модели на основе stella_en_1.5B_v5. Его адаптировали для польского языка методом мультиязычной дистилляции на корпусе из 20 миллионов польско-английских пар текстов. Модель имеет архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 131 072 токенов. Энкодер преобразует текст в векторы размерностью 1024 для семантического поиска, сравнения предложений и поиска информации. Он сравнивает тексты на польском или английском языках, а также сопоставляет тексты между этими языками. В README указано значение NDCG@10 60,52 на польском бенчмарке информационного поиска PIRB. Модель распространяется по лицензии MIT. Заявленные сценарии ограничены текстовыми эмбеддингами; README не описывает её как универсальную генеративную модель, несмотря на архитектуру причинного языкового моделирования и соответствующий тег в метаданных.
sentence-transformers/stsb-distilroberta-base-v2 — модель sentence-transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства, семантического поиска и кластеризации. Архитектура основана на RoBERTa; модель содержит 95,2 млн параметров и принимает текст длиной до 514 токенов. Модель подходит для построения векторных представлений текстов и оценки близости предложений. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Распространяется по лицензии Apache-2.0.
Gameselo/STS-multilingual-mpnet-base-v2 — дообученная Gameselo модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов предусмотрена косинусная мера сходства. README указывает максимальную длину последовательности 128 токенов, а метаданные — размер модели 305,2 млн параметров и контекст 514 токенов. Модель рассчитана на многоязычные тексты. В README приведены результаты на мультиязычных наборах STS, включая примеры для арабского и английско-арабского; карточка также описывает обучение на парах предложений с оценками сходства. Метаданные указывают формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
maiyad/sustain-sbert — модель на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь DenoisingAutoEncoderLoss. Её можно использовать через библиотеку Sentence-Transformers либо через Transformers с подходящей операцией pooling для получения векторов из контекстных представлений токенов. Лицензия в предоставленных данных не указана.
mlx-community/tasksource-ModernBERT-base-embed-4bit — англоязычная модель эмбеддингов на архитектуре ModernBERT, подготовленная mlx-community для запуска в формате MLX на устройствах Apple. Она дообучена на базе answerdotai/ModernBERT-base для извлечения признаков и вычисления сходства между предложениями; README указывает на преобразование из tasksource/ModernBERT-base-embed и применение 4-битного формата. Модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Её можно использовать для поиска по смыслу, ранжирования текстов по сходству и построения векторных представлений для семантического поиска и других задач NLP. Обучение опиралось на наборы данных для поиска вопросов и ответов, NLI, семантического сходства и ранжирования; заявленный язык — английский. Для запуска README рекомендует пакет mlx-embeddings. Лицензия в предоставленных данных не указана.
dbourget/test-6epochs — модель на архитектуре BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, подходящие для семантического поиска, кластеризации и сравнения текстов. В метаданных указаны 433,9 млн параметров и контекст до 512 токенов. Модель можно использовать через библиотеку Sentence-Transformers или Transformers с подходящей операцией pooling. Она обучалась с функцией потерь DenoisingAutoEncoderLoss. Карточка не указывает лицензию или языки обучения, поэтому нельзя определить условия использования и конкретный языковой охват.
SentenceTransformer на базе BAAI/bge-large-en-v1.5, дообученный на 16 909 примерах с парами anchor, positive и negative. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT, пулинг CLS и нормализацию. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают нативный контекст 512 токенов. Обучающие примеры и описание базовой модели ориентированы на английский язык. Лицензия в предоставленных данных не указана.
Карточка модели borgcollectivegmbh/testing-jina-stuff на Hugging Face совпадает с карточкой jinaai/jina-embeddings-v2-small-en, поэтому описание составлено по ней. jina-embeddings-v2-small-en — англоязычная модель эмбеддингов, разработанная Jina AI. Она построена на архитектуре JinaBERT на базе BERT: энкодер предварительно обучен на C4, а затем модель дообучена на наборе Jina AI из более чем 400 миллионов пар предложений и сложных негативных примеров из разных областей. Модель преобразует текст в векторы для поиска по длинным документам, семантического сравнения текстов, ранжирования, рекомендаций и систем RAG. Контекст поддерживает до 8192 токенов благодаря двунаправленному варианту ALiBi; при обучении использовалась длина последовательности 512 токенов. Для получения эмбеддинга предложения или фрагмента текста README рекомендует применять mean pooling. Размер модели — около 32,4 млн параметров по метаданным. Компактный размер обеспечивает быстрое и экономное по памяти получение эмбеддингов. Модель предназначена для английского языка и не является мультиязычной. Для работы через Transformers может потребоваться параметр trust_remote_code=True; модель доступна в форматах PyTorch, Safetensors, ONNX и Core ML. Лицензия — Apache-2.0.
BlueAvenir/Testiter4 — модель на базе XLM-RoBERTa, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства, кластеризации и семантического поиска. Обучение использовало CosineSimilarityLoss. Модель содержит 305,2 млн параметров и принимает текст; длина контекста — 514 токенов. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.
Это точечный ранжировщик пассажей utahnlp, созданный на базе Qwen3-8B и обученный с помощью Tevatron 3.0. Модель оценивает релевантность пары «запрос — фрагмент текста», используя один регрессионный логит классификационной головы на последнем токене EOS. При обучении пара формировалась из запроса, заголовка и текста пассажa; обучение было контрастивным и выполнялось полным дообучением на RLHN-680K. Модель предназначена для повторного ранжирования результатов поиска и passage ranking. Она принимает текстовую пару запроса и фрагмента, а выдаёт числовую оценку релевантности. Это не генеративный reranker с оцениванием продолжений «yes» и «no»; для загрузки README рекомендует AutoModelForSequenceClassification. Используются архитектура Qwen3 с 7,6 млрд параметров, библиотека Transformers и контекст до 32 768 токенов. Лицензия — Apache-2.0.
utahnlp/tevatron3-reranker-8b-distill — точечная модель-переранжировщик пассажей на базе плотной авторегрессионной Qwen3-8B, обученная командой Utah NLP с помощью инструментария Tevatron 3.0. Она предназначена для ранжирования найденных фрагментов по релевантности запросу: для каждой пары «запрос — пассаж» вычисляет разность логитов ответов «yes» и «no» после вопроса о релевантности. Модель прошла полное дообучение с дистилляцией listwise-KL на наборе RLHN-680K и сохраняется в формате safetensors. Модель принимает текст запроса и текста пассажа, включая заголовок, и выдаёт оценку релевантности для сортировки результатов поиска. Размер составляет 7,6 млрд параметров, длина контекста — 32 768 токенов. Лицензия Apache-2.0. Карточка описывает конкретный контракт оценки; при использовании нужно сохранить указанный шаблон запроса и не добавлять EOS-токен перед вычислением оценки.
Карточка модели 1289dfaj/text2vec-base-chinese на Hugging Face совпадает с карточкой shibing624/text2vec-base-chinese, поэтому описание составлено по ней. text2vec-base-chinese — модель эмбеддингов предложений, обученная проектом text2vec на базе hfl/chinese-macbert-base с методом CoSENT. Она кодирует китайские предложения и короткие абзацы в плотные векторы размерности 768 для семантического поиска, сопоставления текстов, кластеризации и оценки сходства. Модель построена на архитектуре BERT, содержит около 129,5 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; README указывает усечение входа длиннее 256 WordPiece-токенов. Модель предназначена прежде всего для китайских текстов. В README описана настройка на китайских данных STS-B с контрастивной функцией потерь и приведены результаты на китайских наборах для сопоставления предложений. Доступны веса в форматах PyTorch, Safetensors, ONNX и OpenVINO; автор также сообщает об ускоренных вариантах ONNX и OpenVINO. Лицензия — Apache-2.0. Модель выдаёт векторы, а не готовые ответы или текст; для поиска и сравнения требуется последующая обработка эмбеддингов. Её специализация на китайском языке и усечение длинных входов ограничивают применение к другим языкам и длинным документам.
Карточка модели ChenZ95/text2vec-base-chinese на Hugging Face совпадает с карточкой shibing624/text2vec-base-chinese, поэтому описание составлено по ней. text2vec-base-chinese — модель эмбеддингов предложений, обученная проектом text2vec на базе hfl/chinese-macbert-base с методом CoSENT. Она кодирует китайские предложения и короткие абзацы в плотные векторы размерности 768 для семантического поиска, сопоставления текстов, кластеризации и оценки сходства. Модель построена на архитектуре BERT, содержит около 129,5 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; README указывает усечение входа длиннее 256 WordPiece-токенов. Модель предназначена прежде всего для китайских текстов. В README описана настройка на китайских данных STS-B с контрастивной функцией потерь и приведены результаты на китайских наборах для сопоставления предложений. Доступны веса в форматах PyTorch, Safetensors, ONNX и OpenVINO; автор также сообщает об ускоренных вариантах ONNX и OpenVINO. Лицензия — Apache-2.0. Модель выдаёт векторы, а не готовые ответы или текст; для поиска и сравнения требуется последующая обработка эмбеддингов. Её специализация на китайском языке и усечение длинных входов ограничивают применение к другим языкам и длинным документам.
Карточка модели leif1557/text2vec-base-chinese-sentence на Hugging Face совпадает с карточкой shibing624/text2vec-base-chinese-sentence, поэтому описание составлено по ней. shibing624/text2vec-base-chinese-sentence — модель text2vec, разработанная проектом text2vec. Это дообученный методом CoSENT китайский энкодер предложений на базе nghuyong/ernie-3.0-base-zh. Модель преобразует предложение или короткий абзац в плотный вектор размерностью 768 для сравнения семантической близости; она предназначена для поиска по смыслу, сопоставления текстов, кластеризации и задач sentence-to-sentence. Архитектура основана на ERNIE, размер модели — 144 млн параметров. Контекст модели составляет до 2048 токенов по метаданным, а карточка указывает усечение входа после 256 word pieces. Модель обучена на отобранных китайских данных семантической близости shibing624/nli-zh-all и рассчитана прежде всего на китайский язык. Она выдаёт векторные представления, пригодные для поиска и ранжирования по косинусной близости. По карточке приведены оценки на китайских наборах NLI и STS, но они не дают гарантии качества на других языках и доменах. Распространяется по лицензии Apache-2.0.
Модель rohit-vt/tink-reranker-phase6_minilm_multikind — текстовый cross-encoder, дообученный на базе cross-encoder/ms-marco-MiniLM-L6-v2 с помощью библиотеки Sentence Transformers. Она совместно обрабатывает пару текстов и выдаёт оценку их релевантности для переранжирования результатов поиска и семантического поиска. Архитектура — BERT с классификационной головой, 25,9 млн параметров; максимальная длина входной последовательности — 512 токенов. Обучение описано на парах текстов с бинарными метками релевантности. Модель подходит, например, для повторной сортировки кандидатов, полученных поиском или извлечением документов. Базовая модель ориентирована на английский язык; README не подтверждает поддержку других языков. Распространяется под лицензией, указанной в карточке Hugging Face, но в предоставленных метаданных она не приведена.
wkcn/TinyCLIP-ViT-40M-32-Text-19M-LAION400M — компактная модель семейства CLIP, основанная на сопоставлении изображений и текста. Она разработана в рамках метода TinyCLIP, представленного на ICCV 2023: при обучении используются дистилляция межмодальных связей и наследование весов, чтобы уменьшить размер модели при сохранении полезности для задач CLIP. Вариант из репозитория сочетает визуальный энкодер ViT примерно на 40 млн параметров с текстовым энкодером примерно на 19 млн параметров; предобучение выполнено на LAION-400M. Модель предназначена для классификации изображений по произвольным текстовым описаниям без отдельного обучения на каждом наборе классов. Её можно применять для поиска изображений по текстовым запросам и сопоставления изображения с набором подписей. Компактная архитектура рассчитана на более быстрый и экономный инференс по сравнению с крупными CLIP-моделями, хотя конкретные показатели качества и скорости именно этого варианта в карточке не приведены. Репозиторий содержит веса PyTorch и SafeTensors и предназначен для использования с Transformers. Лицензия — MIT.
TIPS S/14 (v1) — контрастивная модель «изображение–текст» семейства TIPS, представленная в карточке как конверсия официальных чекпойнтов. Модель сочетает визуальный энкодер ViT-S/14 на 22 млн параметров и 12-слойный текстовый трансформер на 34 млн параметров; размерность эмбеддингов — 384. Она создаёт пространственно информативные признаки изображений, согласованные с текстовыми эмбеддингами. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, а также для извлечения и сопоставления визуальных и текстовых признаков. Штатное разрешение изображений — 448 пикселей; поддерживаются другие разрешения, кратные размеру патча, с интерполяцией позиционных эмбеддингов. Изображения подаются в диапазоне [0, 1] без нормализации ImageNet; текст обрабатывается токенизатором SentencePiece в нижнем регистре, максимум 64 токена. Визуальная башня обучалась с двумя CLS-токенами: первый согласован с текстовой башней, второй обучался на синтетических подписях. Модель опубликована под лицензией Apache-2.0. Языковой охват в карточке не уточнён.
TIPS So400m/14 (v1) — контрастивная модель «изображение–текст» семейства TIPS, представленная в карточке как конверсия официальных чекпойнтов. Она объединяет визуальный энкодер ViT-So400m/14 с 27 слоями и текстовый трансформер с 27 слоями; размерность эмбеддингов — 1024, нативное разрешение — 448 пикселей. Визуальные признаки учитывают пространственную структуру изображения и сопоставляются с текстовыми эмбеддингами. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на заданных классах, а также для извлечения сопоставимых признаков изображений и текста. Можно кодировать изображения с разрешением 448 и другими размерами, кратными размеру патча, с интерполяцией позиционных эмбеддингов. Для изображений требуется диапазон значений [0, 1] без нормализации ImageNet; текст обрабатывается токенизатором SentencePiece в нижнем регистре, максимум 64 токена. В README также приведены варианты S/14, B/14 и L/14; данная карточка относится к варианту So400m/14, для которого README указывает 413 млн визуальных и 448 млн текстовых параметров. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.
zeromodels/tipsv2-l14 — конверсия модели TIPSv2-L/14 от Google DeepMind, опубликованная zeromodels в формате Keras 3. Это двухбашенная vision-language модель в стиле CLIP/SigLIP: визуальная башня на основе ViT в стиле DINOv2 с register-токенами и двунаправленная текстовая башня, обученные сопоставлять изображения с текстовыми описаниями контрастивным методом. Репозиторий содержит полную модель и обе башни; реализация работает с TensorFlow, PyTorch и JAX. Модель предназначена для классификации изображений по заданным текстовым названиям классов без дополнительного обучения: пользователь задаёт возможные категории, а модель оценивает соответствие изображения каждому текстовому описанию. Входное разрешение изображений — 448 пикселей. Лицензия — Apache-2.0, совпадает с лицензией исходного чекпойнта Google.
futuredatascience/to-classifier-v2 — модель на архитектуре MPNet, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства между предложениями. Модель относится к семейству Sentence Transformers и распространяется в формате PyTorch. Обучение использовало CosineSimilarityLoss. Контекст модели составляет 514 токенов. Лицензия в предоставленных данных не указана.
triBne-e5-small — модель текстовых эмбеддингов, созданная дообучением intfloat/multilingual-e5-small автором istiaqfuad. Она предназначена для семантического поиска, извлечения близких текстов, кластеризации и сравнения предложений на бенгальском языке, английском и бенгальском, записанном латиницей (Banglish), в том числе при вариативном написании слов. Модель основана на архитектуре BERT, содержит 124,3 млн параметров и создаёт нормализованные эмбеддинги размерности 384; для сравнения используется косинусное сходство. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов. Модель дообучена контрастивным методом с LoRA-адаптером, объединённым с базовой моделью. По описанной оценке она особенно хорошо справляется с поиском вариантов написания Banglish и сопоставлением бенгальского текста с Banglish; для поиска между английским и бенгальским показала конкурентные результаты. Лицензия — MIT, библиотека — sentence-transformers. Модель рассчитана на короткие тексты: более длинные последовательности усекаются. Часть обучающих пар Banglish создана с помощью LLM и может наследовать их смещения. Модель не предназначена для генерации текста или классификации.
Это модель Sentence Transformer, опубликованная Selman Baysan и дообученная для получения векторных представлений турецких предложений и абзацев. Она основана на BERT и содержит 137,8 млн параметров; Sentence Transformers преобразует входной текст в плотный вектор размерности 768, а сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучение проводилось на турецких версиях наборов MS MARCO, FIQA, SciFact, NFCorpus, MultiNLI, SNLI, STS-B и WMT16. В README приведены результаты оценки сходства на STS-B и классификации на нескольких наборах данных. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана. Модель ориентирована на турецкий текст; контекст ограничен 512 токенами, поэтому длинные тексты необходимо сокращать или разбивать на фрагменты.
atasoglu/turkish-small-bert-uncased-mean-nli-stsb-tr — модель Sentence Transformers на базе BERT, разработанная Atasoglu и дообученная на турецких наборах nli_tr и emrecan/stsb-mt-turkish. Она преобразует предложения и абзацы в плотные векторы размерности 512 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 33,2 млн параметров, принимает текст на турецком языке и поддерживает контекст до 512 токенов. При подготовке данных авторы вручную приводили текст к нижнему регистру с заменой латинской I на турецкую ı перед lowercasing; входные тексты следует обрабатывать аналогично. Модель опубликована под лицензией MIT.
swardiantara/two-crk10-m0.05-e2-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, которая преобразует предложения и абзацы в плотные векторы размерности 384. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства между предложениями. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
swardiantara/two-crk10-m0.15-e2-b128-L6 — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель использует библиотеку Sentence Transformers и имеет около 25,9 млн параметров; максимальная длина контекста составляет 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. В репозитории указаны веса в формате safetensors. Данные не устанавливают язык модели или её специализированную предметную область. Условия лицензии в доступных сведениях не приведены.
UForm uform3-image-text-multilingual-base — компактная мультимодальная модель Unum Cloud для сопоставления изображений и текста. Она кодирует оба типа входных данных в общее векторное пространство, формируя эмбеддинги размерностью до 256, и подходит для семантического поиска и ранжирования соответствий между изображениями и текстовыми запросами на 21 языке. Модель сочетает текстовый энкодер BERT из 12 слоёв и визуальный энкодер ViT-B/16; четыре слоя общие для обеих частей. Текстовый вход ограничен 50 токенами, изображения обрабатываются с разрешением 224 × 224. Доступны веса в форматах PyTorch, ONNX и CoreML, а также предварительно квантованные варианты и код для инференса. Модель предназначена для извлечения признаков, а не для генерации текста или изображений. Поддерживаются английский, арабский, армянский, китайский, французский, немецкий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, русский, испанский, тайский, турецкий, украинский и вьетнамский языки. В карточке приведены результаты поиска по изображениям на нескольких мультиязычных наборах данных; для MS-COCO отмечено, что обучающая часть набора присутствовала в обучающих данных, поэтому этот результат следует интерпретировать с учётом возможного пересечения. Модель распространяется по лицензии Apache-2.0.
Tiancheng Gu и соавторы разработали UniME-V2 — дообученную мультимодальную модель для сопоставления запросов и кандидатов по смыслу. Она предназначена для получения эмбеддингов, которые помогают находить релевантные изображения и текстовые материалы, а также различать близкие по смыслу варианты. В README описан подход с оценкой семантического соответствия пар с помощью MLLM и использованием этих оценок как мягких меток при обучении. Архитектура — плотная Qwen2-VL, около 1,5 млрд параметров; модель основана на Qwen/Qwen2-VL-2B-Instruct, принимает текст и изображения и выдаёт текст. Контекст — до 32 768 токенов. Репозиторий также упоминает отдельную модель UniME-V2-Reranker, но это описание относится к UniME-V2, а не к реранкеру. Модель распространяется по лицензии Apache-2.0.
farhana1996/unsupervised-simcse-bangla-sbert — Sentence Transformer, дообученный на базе shihab17/bangla-sentence-transformer. Модель использует XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768; сходство между ними рассчитывается косинусной мерой. Максимальная длина последовательности — 512 токенов (в метаданных указано 514 токенов). Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Карточка описывает обучение на датасете из 1 млн пар предложений с функцией потерь MultipleNegativesRankingLoss. Базовая модель рассчитана на бенгальский и английский языки; специализация этой версии — бенгальские предложения. Размер модели — 305,2 млн параметров. Для использования нужны текстовые входы; результатом являются векторы, подходящие для поиска и сравнения по сходству. Лицензия в предоставленных источниках не указана.
ZurichNLP выпустила эту модель как дообученную версию xlm-roberta-base для получения векторных представлений предложений методом unsupervised SimCSE. Используется архитектура XLM-RoBERTa с 305,2 млн параметров; представление предложения формируется усреднением последних скрытых состояний, что совместимо с Sentence-BERT. Модель принимает текст и выдаёт векторы признаков; максимальная длина контекста — 514 токенов. Модель подходит для построения мультиязычных эмбеддингов предложений, семантического поиска, сравнения сходства текстов и группировки похожих фраз. В README описано обучение на миллионе предложений из английской Википедии, а метаданные указывают поддержку многих языков. Лицензия — MIT. Указанное обучение на английских данных может ограничивать качество для отдельных языков и задач; качество следует проверять на целевом наборе текстов.
use-cmlm-multilingual — версия на PyTorch модели universal-sentence-encoder-cmlm/multilingual-base-br, опубликованная в репозитории sentence-transformers. Она преобразует тексты на 109 языках в векторы общего пространства, чтобы сопоставлять предложения между языками. Модель основана на LaBSE и предназначена для получения эмбеддингов и задач семантического сходства. Модель использует архитектуру BERT и содержит около 498,1 млн параметров. Максимальная длина контекста — 512 токенов. Доступны веса PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0. Карточка отмечает сопоставимое с LaBSE качество на последующих задачах, но не приводит конкретных оценок или бенчмарков.