I.11Классификация, ранжирование и сопоставление

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_correctness — модель Sentence Transformers на базе MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Её можно применять для семантического поиска и кластеризации текстов. Модель принимает текст и выдаёт эмбеддинги. Архитектура насчитывает 136,7 млн параметров, а длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Название указывает на дообучение для задачи проверки корректности на данных WebNLG 2020, однако README не приводит подробностей методики или результатов этой настройки. Лицензия в предоставленных данных не указана.

crossencoder-camembert-large-mmarcoFR — кросс-энкодер для ранжирования франкоязычных текстов, разработанный Antoine Louis. Модель совместно обрабатывает запрос и каждый кандидатный фрагмент, учитывает взаимодействие между ними и выдаёт оценку релевантности от 0 до 1. Её используют как второй этап семантического поиска: сначала система, например BM25 или би-энкодер, извлекает кандидатов, затем модель переупорядочивает их по релевантности запросу. Модель основана на CamemBERT large и дообучена на французской части mMARCO — многоязычной версии MS MARCO. В метаданных указаны 435,4 млн параметров, библиотека Sentence Transformers и контекст длиной 514 токенов; в обучении использовались пары запрос–фрагмент длиной до 256 токенов и сложные негативные примеры. Модель предназначена для французского языка и выдаёт оценки ранжирования, а не готовые ответы. Лицензия — MIT. Поскольку модель оценивает пары отдельно, для большого числа кандидатов ранжирование может быть вычислительно затратным; качество зависит также от того, насколько подходящие фрагменты нашёл первый этап поиска.

check2207/CS221_AITeamVN_reranker — перекрёстный энкодер, дообученный на базе AITeamVN/Vietnamese_Reranker с помощью библиотеки Sentence Transformers. Модель принимает пары текстов и вычисляет оценку их релевантности; оценки можно использовать для переранжирования результатов поиска и семантического поиска. Архитектура основана на XLM-RoBERTa и выдаёт один скалярный результат для пары текстов. В метаданных указано 658,7 млн параметров и контекст до 8194 токенов; README сообщает максимальную длину последовательности 512 токенов. Модель предназначена прежде всего для вьетнамских запросов и документов. README приводит результаты бинарной оценки на ALQAC-Val: accuracy 0,9393 и F1 0,7453; эти показатели относятся к указанному набору и не гарантируют такое же качество на других данных. Лицензия в предоставленных сведениях не указана.

michaelfeil/ct2fast-LaBSE — версия модели LaBSE, подготовленная для быстрого инференса через CTranslate2. Это BERT-энкодер предложений, разработанный Google: модель строит многоязычные эмбеддинги предложений и подходит для поиска соответствий между текстами на разных языках. Исходная LaBSE обучалась для 109 языков с использованием masked language modeling и translation language modeling. Вариант CTranslate2 предназначен для снижения потребления памяти и ускорения инференса на CPU или GPU; в README заявлено сокращение памяти в 2–4 раза при использовании int8. Размер модели — около 498,1 млн параметров, длина контекста — 512 токенов. Репозиторий указывает лицензию Apache-2.0. Метаданные включают языковые теги для 60 языков, а карточка описывает исходную LaBSE как модель для 109 языков.

cluebbers/deberta-base-paraphrase-detection-qqp — англоязычная модель классификации текста на основе DeBERTa-base от Microsoft, дообученная для обнаружения перефразировок в вопросах. Она предназначена для определения, задают ли две формулировки один и тот же вопрос, например, при поиске дубликатов в FAQ или группировке похожих запросов. Модель содержит 151,8 млн параметров, использует архитектуру DeBERTa для классификации последовательностей и принимает текст; максимальная длина контекста составляет 512 токенов. Доступна в формате safetensors и может применяться через библиотеку Transformers. Лицензия — MIT. Модель специализируется на сопоставлении пар вопросов и относится к задаче классификации текста. Она дообучена на базе GLUE, однако карточка не приводит метрики качества, подробности разметки или описание ограничений. Результаты могут зависеть от предметной области и формулировок, отличающихся от обучающих данных.

tasksource/deberta-small-long-nli — англоязычная модель Tasksource, созданная дообучением DeBERTa-v3-small на задачах естественного языкового вывода. Архитектура DeBERTa V2 для классификации последовательностей содержит около 155 млн параметров и поддерживает контекст до 1680 токенов. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache 2.0. Модель предназначена для классификации по произвольным меткам через zero-shot-подход на основе NLI, определения логического следования между текстами и дообучения для классификаторов и других задач понимания текста. Среди обучающих данных — наборы NLI, логического рассуждения, проверки фактов и предпочтений; для длинных задач NLI увеличивали долю примеров при обучении. Карточка приводит результаты проверок на нескольких задачах, но не гарантирует качество для конкретного применения. Основной язык модели — английский. Она принимает текстовые последовательности и выдаёт оценки классов или отношений следования. Контекст длиннее, чем у стандартной версии DeBERTa-v3-small, но ограничен 1680 токенами. Результаты zero-shot классификации зависят от формулировки текста и меток; языки, кроме английского, в карточке не заявлены.

team-lucid/deberta-v3-base-korean — корейская базовая модель на архитектуре DeBERTa V3, опубликованная командой team-lucid. Она использует disentangled attention, улучшенное маскирование языковой модели и предобучение в стиле ELECTRA с Gradient-Disentangled Embedding Sharing. В карточке показан вариант применения для классификации последовательностей; модель подходит для задач понимания корейского текста, включая анализ тональности, распознавание смыслового сходства и классификацию пар предложений. Модель содержит 162,5 млн параметров и рассчитана на контекст до 512 токенов. В репозитории представлены веса PyTorch, Flax и safetensors. В README приведены результаты на корейских наборах NSMC, PAWS, KorNLI, KorSTS и Question Pair, однако точные значения для этой модели в доступной части таблицы не видны. Лицензия Apache-2.0 допускает использование и распространение на её условиях. Для прикладных задач классификации последовательностей может потребоваться подходящая голова классификации и настройка под целевой набор данных.

Moritz Laurer дообучил DeBERTa-v3-base от Microsoft на 763 913 парах «посылка — гипотеза» из MultiNLI, Fever-NLI и Adversarial-NLI (ANLI). Это плотная модель DeBERTa-v2 для классификации последовательностей с 211,6 млн параметров и контекстом до 512 токенов; её основное применение — классификация текста без предварительно заданного набора классов, а также задачи вывода на естественном языке (NLI). Модель оценивает, следует ли гипотеза из текста, противоречит ему или не связана с ним, что позволяет сопоставлять текст с предложенными метками и ранжировать их. В карточке приведены результаты оценки на тестовых наборах MultiNLI и ANLI и на dev-наборе Fever-NLI; также заявлено преимущество на бенчмарке ANLI перед почти всеми крупными моделями. Поддерживается английский язык. Модель принимает текст и возвращает метки и оценки классов. Ограничения связаны с возможными смещениями, унаследованными от обучающих наборов. Карточка также отмечает, что для работы с DeBERTa-v3 может потребоваться Transformers версии 4.13 или новее и установленный SentencePiece. Лицензия — MIT.

Moritz Laurer разработал эту модель на базе DeBERTa-v3-base от Microsoft для классификации текстов методом zero-shot и решения задач логического вывода по тексту (NLI). Модель обучена на 1 279 665 парах «гипотеза — посылка» из восьми наборов данных, включая MultiNLI, Fever-NLI, LingNLI и DocNLI. Она предсказывает два класса: «следует из текста» и «не следует из текста»; в последнем объединены противоречие и нейтральный ответ. Модель подходит для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях, а также для проверки текстовых гипотез. Обучение на DocNLI помогает работать с длинными текстами и дальними зависимостями, но нативный контекст ограничен 512 токенами. Размер модели — 211,6 млн параметров; доступны веса PyTorch и Safetensors. Основной язык карточки — английский. По опубликованным оценкам точность на тестах MultiNLI составляет 0,935 и 0,933, на Fever-NLI — 0,897, на ANLI — 0,710, на LingNLI — 0,895. Возможны смещения, связанные с обучающими наборами и задачами NLI; автор рекомендует учитывать ограничения исходных исследований. Лицензия — MIT.

Moritz Laurер разработал DeBERTa-v3-base-zeroshot-v2.0 — англоязычную модель классификации текста с нулевым обучением, основанную на Microsoft DeBERTa-v3-base и дообученную для задачи Natural Language Inference. Модель сравнивает текст с гипотезой и оценивает, следует ли она из текста; этот подход позволяет классифицировать данные по заданным пользователем категориям без размечающих примеров и обучения под каждую задачу. Модель подходит для классификации отзывов, тем, намерений и других текстовых данных. Категории можно задавать в формулировке гипотезы, а режим multi_label определяет, выбрать один класс или несколько. В README приведены результаты оценки на 28 задачах классификации; модель показала качество выше указанного базового классификатора BART-large-MNLI в среднем по этим наборам. Она содержит 211,6 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах Safetensors и ONNX для Transformers. Может работать на CPU и GPU. Модель лицензирована по MIT. Карточка рекомендует DeBERTa-v3 для более высокой точности и отмечает, что она медленнее RoBERTa. Поддерживается только классификация текста; на результаты могут влиять смещения базовой модели, обучающих данных NLI и синтетических данных.

DeBERTa-v3-large-tasksource-nli — англоязычная модель sileod на базе DeBERTa-v3-large, дообученная многозадачным обучением на коллекции tasksource из 600 задач. Это общий энкодер с классификационной головой MNLI; обучение охватывало задачи вывода, классификации и множественного выбора. Модель предназначена для классификации текста по заданным категориям без отдельного дообучения, а также может служить основой для дальнейшей настройки под классификацию и тесты с вариантами ответа. Среди заявленных характеристик — сильные результаты zero-shot на ряде задач и хорошие показатели линейного зондирования CLS-эмбеддинга. Модель содержит около 533,8 млн параметров и принимает последовательности длиной до 512 токенов. Для использования доступны веса PyTorch и Safetensors через Transformers. Лицензия — Apache-2.0. Модель ориентирована на английский язык. Как и другие классификаторы на основе NLI, она может ошибаться при неоднозначных формулировках или категориях, отличающихся от обучающих; ограничение контекста — 512 токенов.

Moritz Laurer разработал DeBERTa-v3-large-zeroshot-v1 для классификации текстов без предварительно заданных классов. Модель формулирует классификацию как проверку гипотезы: определяет, следует ли утверждение из текста, используя пары меток entailment и not_entailment. Такой подход позволяет применять её к разным задачам, передавая текст и список возможных меток. Модель основана на архитектуре DeBERTa-v2 для классификации последовательностей, содержит 533,8 млн параметров и принимает тексты длиной до 512 токенов. Для обучения автор преобразовал 26 задач классификации и пять наборов данных для NLI в общий формат проверки гипотез; среди задач были анализ тональности, эмоций, токсичности, спама и тематическая классификация. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch и safetensors. Модель предназначена только для классификации текста. Результаты зависят от формулировок кандидатных меток и входного текста; README также предупреждает о возможных смещениях из обучающих наборов данных. Для работы с некоторыми версиями Transformers может потребоваться версия 4.13 или новее. Лицензия — MIT.

Moritz Laurer разработал deberta-v3-large-zeroshot-v1.1-all-33 для классификации текстов без заранее заданного набора меток. Модель преобразует категории в гипотезы и оценивает, следует ли каждая гипотеза из текста, используя схему Natural Language Inference с двумя классами: entailment и not_entailment. Модель основана на DeBERTa-v2 и содержит 533,8 млн параметров. Она обучена на английских данных из 33 наборов и 387 классов, включая задачи анализа тональности, эмоций, токсичности, спама и тематической классификации. Контекст ограничен 512 токенами. Для классификации текстов на других языках автор рекомендует сначала переводить их на английский. Подходит для оценки заданных категорий и классификации по пользовательским гипотезам; результаты на обучающих наборах не являются строго zero-shot, поскольку модель видела данные этих задач. Возможные смещения унаследованы от обучающих наборов. Лицензия — MIT.

Moritz Laurer разработал эту модель для классификации текстов без размечающих примеров. Она дообучена на базе microsoft/deberta-v3-large и использует архитектуру DeBERTa V2 для оценки того, следует ли гипотеза из текста: «верно» или «неверно». Через pipeline Hugging Face этот формат можно применять к разным задачам классификации, задавая формулировки классов и шаблон гипотезы. Модель содержит 533,8 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Её можно запускать на CPU и GPU. В приведённом сравнении она показала более высокую среднюю оценку F1 на 28 задачах классификации, чем указанные модели BART, RoBERTa и базовая DeBERTa, хотя скорость работы ниже, чем у RoBERTa. Карточка отмечает, что формулировки гипотез и названий классов могут влиять на результат. Модель предназначена только для классификации текста. Возможны смещения, унаследованные от базовой модели, данных NLI и синтетических обучающих данных. Лицензия репозитория — MIT; упомянутая в карточке гарантия коммерческой пригодности обучающих данных относится к вариантам с суффиксом «-c», которого в имени этой модели нет.

DETree Embedding — дообученный энкодер RoBERTa-large для получения векторных представлений предложений. Модель разработана автором репозитория heyongxin233 на основе FacebookAI/roberta-large и формирует эмбеддинги размерности 1024. Модель предназначена для извлечения признаков и представления текста в виде эмбеддингов, которые можно использовать в задачах поиска и сравнения предложений. Максимальная длина последовательности составляет 512 токенов; в метаданных указан контекст 514 токенов. Модель принимает текст и выдаёт векторы. Лицензия — MIT.

KennethEnevoldsen/dfm-sentence-encoder-large — датская модель для получения векторных представлений предложений. Это версия chcaa/dfm-encoder-large-v1, дообученная методом SimCSE в рамках Scandinavian Embeddings Benchmark как простой базовый ориентир. Архитектура — BERT; модель содержит около 453,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения эмбеддингов датского текста, например для сравнения смысловой близости предложений и поиска похожих фрагментов. Опубликована в форматах PyTorch и Safetensors. Лицензия — MIT.

Kenneth Enevoldsen разработал dfm-sentence-encoder-medium — модель на базе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерностью 768. Модель содержит 151,7 млн параметров и рассчитана на контекст длиной до 514 токенов. Векторы подходят для поиска семантически близких текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; для работы доступны Sentence-Transformers и Hugging Face Transformers с необходимой операцией pooling. Лицензия — MIT. Модель создаёт текстовые эмбеддинги, а не готовые ответы. README не уточняет, на каких языках она обучалась, поэтому языковую поддержку нельзя определить по имеющимся данным.

Dialog2Flow single target (D2F_single) — англоязычная модель эмбеддингов предложений на базе BERT-base, представленная в работе Dialog2Flow на конференции EMNLP 2024. Она дообучена для извлечения потоков диалога и преобразует предложения и абзацы в плотные векторы размерности 768; модель реализована с помощью Sentence Transformers. Модель подходит для поиска семантически близких реплик и группировки высказываний, а также для автоматического извлечения структуры потока диалога из задачо-ориентированных диалогов. Её можно использовать через Sentence Transformers либо Transformers с подходящей операцией pooling. Контекст ограничен 512 токенами, размер модели — 136,7 млн параметров. Лицензия — MIT.

DISASTER_MODEL_PRECHATS — модель на основе BERT, опубликованная пользователем omarelsayeed. Она преобразует предложения и абзацы в плотные векторы размерностью 256 для сравнения текстов по смыслу, семантического поиска и кластеризации. Модель можно использовать через библиотеку Sentence-Transformers либо Transformers с подходящей операцией pooling; в метаданных указаны 12,4 млн параметров и контекст до 512 токенов. Модель принимает текст и выдаёт векторные представления. Карточка описывает обучение с LoggingDenoisingAutoEncoderLoss, но не приводит сведения о языках обучения, датасете или результатах оценки. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

MaxNoichl/discipline-tuned_specter_2_024 — Sentence Transformers-модель, дообученная на базе научного энкодера allenai/specter2_aug2023refresh_base. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает BERT, усредняющий пулинг токенов и нормализацию. Максимальная длина входа — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель предназначена для поиска и сравнения текстов, в том числе семантического поиска, сопоставления научных материалов, кластеризации и поиска перефразировок. README указывает на дообучение с TripletLoss на наборе из 43 494 примеров и сообщает cosine accuracy 0,971 на оценке TripletEvaluator для указанного теста. Это не гарантирует аналогичного качества на других данных. Веса опубликованы в формате safetensors; модель рассчитана на использование с библиотекой Sentence Transformers. Поддерживаемая лицензия в предоставленных данных не указана.

Модель разработана TextAttack и представляет собой DistilBERT base uncased, дообученную для классификации новостных текстов на датасете AG News. Она относит входной текст к одной из категорий новостей; модель подходит для автоматической сортировки и тематической разметки новостных материалов. Архитектура — DistilBertForSequenceClassification, веса в формате PyTorch. В карточке указаны обучение в течение пяти эпох с максимальной длиной последовательности 128 токенов и точность 0,9479 на оценочной выборке. Метаданные указывают нативный контекст до 512 токенов. Лицензия в предоставленных данных не указана.

Модель typeform/distilbert-base-uncased-mnli разработана командой Typeform. Это DistilBERT без учета регистра, дообученная на наборе MultiNLI для классификации текста без предварительно заданного набора классов: пользователь может передать текст и варианты меток, а модель оценит их соответствие. Подходит для тематической разметки текстов и прототипирования классификаторов на английском языке. Модель принимает текст и выдаёт оценки классов. Контекст ограничен 512 токенами. В карточке приведены результаты на MNLI и MNLI-mm: точность 82% для каждого набора. Модель чувствительна к смещениям и стереотипам, присутствующим в данных и предсказаниях; также она не различает регистр букв. Лицензия в карточке обозначена как неизвестная, поэтому условия использования следует уточнить у разработчика.

Это модель DistilBERT, дообученная TextAttack для классификации пар предложений на наборе данных MRPC из бенчмарка GLUE. Она предназначена для определения того, выражают ли два предложения одно и то же значение. Модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые пары с максимальной длиной последовательности 512 токенов; при дообучении использовалось ограничение 256 токенов. Модель обучалась пять эпох с размером батча 32 и скоростью обучения 2e-05; лучшая точность на оценочной выборке составила около 85,8%. Это специализированный классификатор для задачи распознавания перефразирования, а не универсальная языковая модель. В карточке указана точность на eval-наборе, поэтому качество на других данных может отличаться. Лицензия в предоставленных материалах не указана.

Это англоязычная модель Sentence Transformers на базе distilbert/distilroberta-base, дообученная разработчиком tomaarsen на наборе sentence-transformers/all-nli. Модель кодирует предложения и абзацы в плотные векторы размерностью 768; для сравнения векторов используется косинусное сходство. Архитектура включает RoBERTa-трансформер с усреднением токенных представлений, а параметры хранятся в формате safetensors. Размер модели — 95,2 млн параметров, максимальная длина последовательности — 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В карточке приведены результаты оценки сходства на STS-dev и STS-test. Она принимает текст и выдаёт векторы, поэтому для поиска и классификации обычно требуется отдельный индекс или классификатор. Лицензия в предоставленных данных не указана.

Diver-Retriever-0.6B — модель текстовых эмбеддингов и ранжирования AQ-MedAI, дообученная на Qwen/Qwen3-Embedding-0.6B. Она предназначена для семантического поиска и сопоставления запросов с документами, в том числе в задачах, требующих рассуждений. При обучении использовались данные по математике, программированию и медицине с подобранными по сложности негативными примерами. Модель поддерживает китайский и английский языки, имеет 507,6 млн параметров и контекст до 32 768 токенов; архитектура относится к семейству Qwen3. README отмечает результаты на Bright и MTEB-Medical, но не приводит здесь полные таблицы оценок. Распространяется в формате safetensors по лицензии Apache-2.0.

MarkSelles/dutch-minilm-l6-v2 — компактная модель эмбеддингов предложений для нидерландского языка, созданная Mark Selles на основе sentence-transformers/all-MiniLM-L6-v2. Это энкодер BERT с шестью слоями и mean pooling; модель содержит 25,7 млн параметров по метаданным и формирует векторы размерности 384. Для нидерландского текста обучен отдельный WordPiece-токенизатор с 30 тысячами токенов. Модель дистиллирована на параллельных англо-нидерландских данных так, чтобы её векторы совпадали с векторами англоязычной модели-учителя; это позволяет сопоставлять нидерландские запросы с англоязычными документами и выполнять поиск между этими языками. Контекст по метаданным — 512 токенов, при этом README сообщает об усечении последовательностей длиннее 128 токенов. Модель предназначена для семантического поиска, сравнения сходства и кластеризации предложений на нидерландском языке, а также для межъязыкового поиска между нидерландским и английским текстом. В README приведены результаты на наборах STSb-multi-mt Dutch и STS17 nl-en, но это не гарантирует такого же качества на других данных. Модель оптимизирована только для нидерландского; для других языков и специализированных предметных областей качество может быть ниже, а некоторые пары нидерландских предложений с общими словами получают завышенную оценку сходства. Лицензия — Apache-2.0.

rithwik-db/e5-base_scifact_10000 — модель Sentence Transformers, разработанная пользователем rithwik-db. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и кластеризации. Архитектура основана на BERT, размер модели — 136,7 млн параметров, максимальная длина контекста — 512 токенов; модель распространяется в формате PyTorch. Модель обучена с TripletLoss на евклидовом расстоянии и подходит для построения семантического поиска, группировки текстов и сравнения сходства предложений. Название и README указывают на связь с SciFact, однако конкретный набор данных и языки обучения не описаны. Лицензия в предоставленных данных не указана.

danielheinz/e5-base-sts-en-de — модель эмбеддингов на базе multilingual-e5-base, дообученная для оценки семантического сходства немецких текстов. Разработчик дообучил её на немецких поднаборах корпуса парафразов Philip May, PAWS-X и STS-Benchmark Multilingual: сначала с Multiple Negatives Ranking Loss на данных парафразов, затем с Cosine Similarity Loss на данных семантического сходства. Архитектура — XLM-RoBERTa с плотными векторами, около 305 млн параметров; принимает текст и выдаёт векторные представления. Контекст — до 514 токенов. Модель предназначена для сравнения значений немецких предложений, поиска парафразов и семантического поиска. В README указаны результаты 0,920 на валидационной и 0,904 на тестовой части STS, без описания метрики. Лицензия — MIT. Карточка сообщает, что модель продолжает обновляться; заявленные результаты и качество на других задачах или языках не подтверждены.

alakxender/e5-dhivehi-combined-mnr — это дообученная модель Sentence Transformers на базе XLM-RoBERTa, разработанная alakxender для получения плотных векторных представлений предложений и абзацев на дивехи. Она обучена на 184 780 парах текстов с использованием MultipleNegativesRankingLoss; выходные векторы имеют размерность 768, а для сравнения предусмотрена косинусная близость. Репозиторий содержит веса в формате Safetensors, модель использует mean pooling и поддерживает последовательности до 514 токенов по метаданным; README указывает ограничение 256 токенов. Модель подходит для семантического поиска, сравнения смысловой близости, поиска перефразировок, кластеризации и классификации текстов на дивехи. В обучающих данных также представлены пары дивехи—английский, однако карточка не подтверждает, что модель рассчитана на полноценную двуязычную работу. Лицензия — MIT. Эмбеддинги отражают качество и охват обучающих данных; README не приводит оценок качества на независимых тестах.

iara-project/e5-large-matryoshka-sts-pt — модель Sentence Transformers, созданная дообучением intfloat/multilingual-e5-large на наборах для португалоязычного обучения: NLI, семантического сходства и поиска. Она кодирует предложения и абзацы в плотные векторы размерностью 1024; в архитектуре XLM-RoBERTa используются усреднение токенов и нормализация, а сходство можно оценивать косинусной мерой. Предельная длина входа — 512 токенов. Модель предназначена прежде всего для сравнения смысла португалоязычных текстов и может применяться для семантического поиска, поиска перефразирований, кластеризации и классификации текстов. В карточке приведены результаты оценки на STS-B, ASSIN2, IRIS STS и SICK-BR, включая варианты с сокращением размерности векторов. Модель выпущена под лицензией MIT. Метаданные указывают на 514 токенов контекста; README сообщает максимум 512 токенов последовательности.