I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейAdaptive Classifier — классификатор типов документов на основе answerdotai/ModernBERT-base, опубликованный под идентификатором adaptive-classifier/document-type. Модель использует эмбеддинги размерности 768 и поддерживает непрерывное обучение с добавлением новых классов. В карточке описаны пять классов: договор, электронное письмо, счёт, служебная записка и отчёт; для каждого приведено по пять примеров. Модель предназначена для классификации текстов документов и сценариев, где набор категорий может изменяться со временем. Прототипы классов обновляются каждые 10 примеров. Для каждого класса требуется не менее трёх примеров; поддерживается не более 150 примеров на класс. Файлы модели представлены в формате safetensors, лицензия — Apache-2.0.
Omartificial-Intelligence-Space разработала эту модель Sentence Transformer, дообучив multilingual-e5-small на арабском наборе пар anchor-positive-negative. Модель на базе BERT преобразует предложения и абзацы в нормализованные векторы размерностью 384; сходство текстов можно оценивать косинусной метрикой. Matryoshka-обучение поддерживает использование укороченных представлений размерностью 256, 128 или 64. Модель предназначена для семантического поиска и сравнения текстов, а также для поиска перефразировок, кластеризации и классификации на основе эмбеддингов. README приводит оценки на тестах семантического сходства, однако они сами по себе не гарантируют качество на произвольных данных. Базовая модель многоязычная, но дообучение проводилось на арабских данных; максимальная длина входа — 512 токенов. Лицензия в предоставленных данных не указана.
E5-base — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang и соавторами. Это плотная модель на архитектуре BERT с 12 слоями, размерностью эмбеддинга 768 и 136,7 млн параметров; она принимает текст и выдаёт векторные представления. Модель обучена методом контрастивного предобучения со слабым контролем и предназначена для сравнения смысловой близости текстов и поиска по текстовым коллекциям. E5-base подходит для семантического поиска, извлечения релевантных фрагментов для систем вопросов и ответов, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом задачи. В репозитории указаны веса PyTorch и safetensors; длина контекста — до 512 токенов. Модель работает только с английским текстом, а более длинные входы обрезаются до 512 токенов. Авторы рекомендуют перейти на e5-base-v2, который, по их сообщению, показывает лучшие результаты при том же способе использования. Лицензия — MIT.
omarelsayeed/e5_base_tsdae — модель эмбеддингов предложений и абзацев на базе XLM-RoBERTa, представленная в формате PyTorch. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения сходства предложений. В метаданных указано 305,2 млн параметров и контекст длиной до 514 токенов. Модель обучена с использованием LoggingDenoisingAutoEncoderLoss и предназначена для получения текстовых представлений, которые можно использовать в поисковых и аналитических системах. Карточка не сообщает поддерживаемые языки и лицензию, поэтому их нельзя уточнить по имеющимся данным.
m-rudko-pn/e5-base-ukr-wikipedia — модель Sentence Transformers, дообученная автором на базе intfloat/multilingual-e5-base для преобразования предложений и абзацев в плотные векторы размерности 768. Архитектура включает XLM-RoBERTa, mean pooling и нормализацию; для сравнения векторов подходит косинусное сходство. Максимальная длина последовательности — 512 токенов, библиотека — sentence-transformers. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Примеры обучающих данных связывают короткие запросы с длинными фрагментами статей Википедии на украинском языке, поэтому модель особенно подходит для семантического поиска по украинской Википедии и похожим текстам. Базовая модель многоязычная, однако карточка не подтверждает отдельные показатели качества по другим языкам. Сведения о лицензии в предоставленных данных отсутствуют.
juanmcristobal/e5-large-v2-mitre — дообученная модель Sentence Transformer на базе intfloat/e5-large-v2 для получения плотных текстовых эмбеддингов. Архитектура включает BERT, mean pooling и нормализацию; модель содержит 433,9 млн параметров, выдаёт векторы размерности 1024 и рассчитана на последовательности длиной до 32 токенов по README. Метаданные указывают максимальный контекст 512 токенов, поэтому фактический предел для этой версии в источниках расходится. Модель обучена на 2 268 288 парах предложений с MultipleNegativesRankingLoss. Она предназначена для семантического поиска и сравнения предложений, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста; близость векторов оценивается косинусным сходством. Примеры обучающих пар посвящены киберугрозам и защите, но данных недостаточно, чтобы считать модель специализированной только для этой области. Карточка не сообщает лицензию; базовая модель — англоязычная, а язык дообучения явно не указан.
ThanhLe0125/e5-math-ebd — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости с помощью косинусного сходства. Архитектура использует XLM-RoBERTa, усреднение токенных представлений и нормализацию; в метаданных указано 305,2 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов и классификации на основе эмбеддингов. Название репозитория указывает на математическую тематику, но README не уточняет специальную область применения или обучающие данные. Лицензия в предоставленных данных не указана.
Карточка модели soulfree89/e5-small-ko-v2-fix на Hugging Face совпадает с карточкой dragonkue/multilingual-e5-small-ko-v2, поэтому описание составлено по ней. dragonkue/multilingual-e5-small-ko-v2 — модель Sentence Transformer на архитектуре BERT, дообученная на основе intfloat/multilingual-e5-small и объединённая методом Model Soup с dragonkue/multilingual-e5-small. Она предназначена прежде всего для поиска документов по запросу на корейском языке и других задач семантического поиска. Модель преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов, после чего длинный текст обрезается. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. В карточке указана поддержка корейского и английского языков; обучение и оценка ориентированы на корейские retrieval-задачи, включая поиск в документах из медицинской, финансовой, правовой и других областей. Компактный размер упрощает использование в лёгких приложениях; для повышения качества поиска автор рекомендует сочетать её с реранкером. Указанная лицензия — Apache-2.0.
omarelsayeed/e5_tsdae_contrastive — модель эмбеддингов на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. Доступны веса PyTorch; для работы можно использовать библиотеку Sentence-Transformers. Карточка описывает обучение с LoggingCosineLoss, но не приводит результаты оценки. Лицензия в предоставленных данных не указана.
Eklav-9B-Reranker — дообученная модель AdarshSingh7647 на базе zai-org/GLM-Z1-9B-0414 для ранжирования текстовых фрагментов по их релевантности запросу. Это плотная причинно-языковая модель семейства GLM-4 с 8,8 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате Safetensors и предназначен для работы через Transformers. Модель использует точечную схему ранжирования: генерирует рассуждение и завершает его меткой true или false, а релевантность оценивается по логитам соответствующего конечного токена. При обучении применялся метод Eklav — обучение продолжению частичной цепочки рассуждений учителя, а не её дословному воспроизведению; при инференсе подсказка учителя не требуется. В README заявлены результаты выше стандартной дистилляции CoT на BRIGHT и сокращение вычислений обучения, но результаты основаны на одном прогоне по каждому домену. Модель предназначена для переупорядочивания результатов поиска и оценки соответствия пассажей запросам. Она обучена и описана для бенчмарков BRIGHT и NevIR. Карточка не указывает отдельную лицензию; перед использованием следует проверить условия базовой модели и репозитория.
Eklav-9B-Reranker-CotGen — контрольная модель проекта Eklav для ранжирования пассажей, дообученная на базе zai-org/GLM-Z1-9B-0414. Это плотная причинно-языковая модель семейства GLM-4 с 8,8 млрд параметров и контекстом до 32 768 токенов; веса доступны в формате safetensors. Модель обучена методом CotGen в варианте стандартного обучения с учителем на полных цепочках рассуждений и служит базовой линией для оценки улучшений Eklav. Для ранжирования модель получает запрос и пассаж, генерирует рассуждение, завершающееся меткой true или false, а релевантность оценивается по логитам финального токена. В README указаны оценки nDCG@10 на BRIGHT и NevIR. При использовании авторы рекомендуют запуск через vLLM с условием остановки по строке: при генерации с фиксированным лимитом токенов модель иногда продолжает рассуждение на сотни токенов, зацикливается и не выдаёт ответ. Лицензия в предоставленных данных не указана.
howey/electra-large-mnli — англоязычная модель классификации текста на базе архитектуры ELECTRA-Large, опубликованная пользователем howey и предназначенная для задач, связанных с MultiNLI. ELECTRA разработана Google как Transformer-энкодер; данная версия дообучена для классификации отношений между парами текстов, например определения entailment, contradiction и neutral. Модель содержит около 433,9 млн параметров и поддерживает контекст до 512 токенов. Она работает с текстом, использует библиотеку Transformers и доступна через PyTorch. Модель подходит для классификации текстовых пар и zero-shot-подобных сценариев при передаче подходящих гипотез, но не является генеративной моделью и не предназначена для свободного создания текста. В карточке модели лицензия не указана, поэтому условия коммерческого и производного использования следует уточнять у владельца репозитория и в файлах модели.
Это англоязычная модель Sentence Transformer, разработанная на базе sentence-transformers/all-MiniLM-L6-v2 и дообученная на наборе вопросов и ответов GooAQ. BERT-энкодер с 25,9 млн параметров преобразует предложения и абзацы в плотные векторы размерностью 384; для сходства используется косинусная мера. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов, особенно вопросов и ответов на английском языке. В README приведён результат cosine accuracy 0,5926 на TripletEvaluator для gooqa-dev. Она выдаёт векторы, а не готовые ответы на вопросы; качество зависит от данных и способа применения. Распространяется по лицензии базовой модели; сведения о лицензии в предоставленных данных отсутствуют.
Plasmoxy/embeddinggemma-300m-DiscordSum-RC-PD58 — англоязычная модель Sentence Transformers, дообученная автором Plasmoxy на датасете DiscordSum от google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 для поиска и сравнения текстов; сходство оценивается косинусной мерой. Модель построена на текстовой архитектуре Gemma 3, содержит 302,8 млн параметров и принимает последовательности длиной до 2048 токенов. Модель предназначена для семантического поиска по сообщениям и обсуждениям Discord, ранжирования подходящих документов, поиска перефразирований, кластеризации и классификации текстов. Обучающие примеры представлены парами запрос–документ из DiscordSum. Для инференса подходит библиотека Sentence Transformers; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
aufklarer/EmbeddingGemma-300M-MLX-8bit — конверсия Google EmbeddingGemma 300M для запуска на устройствах Apple с Apple Silicon через библиотеку MLX. Модель предназначена для получения 768-мерных эмбеддингов предложений и поиска по текстовым расшифровкам; в карточке указана архитектура плотного энкодера Gemma 3 с двунаправленной обработкой, mean pooling, плотной головой и L2-нормализацией. Размер модели — 302,8 млн параметров, точность — 8 бит с группой 64; контекст составляет 512 токенов по README, тогда как метаданные указывают нативный контекст 2048 токенов. Модель принимает текстовые запросы и документы, размеченные специальными префиксами для поиска, и выдаёт нормализованные эмбеддинги. README сообщает о высокой близости результатов к исходной версии в float32 на тестовых расшифровках. Языковые сведения в карточке описывают базовую модель как многоязычную, но конкретный набор языков не приведён. Репозиторий указывает лицензию Gemma; применяются её условия использования.
jangedoo/embeddinggemma-300m-pruned — версия Google DeepMind embeddinggemma-300m с сокращённой таблицей токенов, представленная автором репозитория как модель с pruning токенов. Она создаёт текстовые эмбеддинги для семантического поиска, сравнения предложений и других задач, основанных на близости векторов; применять её можно через Sentence Transformers. Архитектура — плотная Gemma 3 Text, размер — около 246 млн параметров по метаданным, контекст — 2048 токенов. Репозиторий содержит веса Safetensors. По README, размер словаря сокращён примерно на 28%, а общее число параметров — примерно на 18% относительно базовой модели. В приведённых оценках STS-B и NanoBEIR pruned-версия уступает базовой по указанным метрикам. Базовая модель описана как многоязычная, но конкретный перечень языков в данных не приведён. Лицензия в доступных сведениях не указана.
Модель quockhangdev/EmbeddingGemma-300m-Stage-1-model — дообученная версия google/embeddinggemma-300m на базе Sentence Transformers, разработанная автором репозитория quockhangdev. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768 для поиска документов и сравнения запросов с текстами. Обучение проводилось на 507 152 парах «запрос — документ» с функцией потерь CachedMultipleNegativesRankingLoss; сходство векторов оценивается косинусной мерой. Модель принимает текст, поддерживает последовательности длиной до 2048 токенов и предназначена для семантического поиска и задач на основе близости эмбеддингов. Пример обучающих данных содержит запросы и нормативные документы на вьетнамском языке, что указывает на полезность для поиска по вьетнамским текстам, но не подтверждает поддержку только этого языка. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.
Модель congvm/embeddinggemma-300M-triplet-vn-10000-20250924 — дообученная CongVM версия sentence-transformers на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по cosine similarity. Модель обучена на 690 222 примерах формата «запрос, ответ, негативный пример» и предназначена для семантического поиска, поиска парафраз, сопоставления запросов с ответами, классификации и кластеризации текстов. Модель использует текстовую архитектуру Gemma 3 и принимает последовательности длиной до 2048 токенов. Данные обучения — вьетнамские запросы и описания объявлений, поэтому модель особенно подходит для семантического поиска по вьетнамским текстам. Репозиторий использует Sentence Transformers и формат safetensors. Лицензия в предоставленных данных не указана.
VinitT/Embeddings-NLI-ContradictionMargin — англоязычная модель Sentence Transformer, дообученная разработчиком на базе VinitT/Embeddings-Trivia на наборе all-nli. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной близостью. Архитектура включает BERT, усредняющий пулинг токенов и нормализацию векторов. Размер модели — 25,9 млн параметров; метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 256 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации текста. Она обучена с ContradictionMarginLoss, что ориентирует векторы на различение логически противоречащих и согласованных высказываний. В README приведён результат cosine accuracy 0,95 на contra_eval; это оценка на конкретном наборе, а не гарантия качества на других данных. Модель рассчитана на английский язык. Лицензия в предоставленных данных не указана.
Adel Elgabry дообучил SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для семантического поиска по английским предложениям и абзацам. Модель кодирует текст в плотные векторы размерности 384, которые можно сравнивать косинусной близостью и использовать для поиска релевантных фрагментов. Архитектура включает энкодер BERT, усредняющий пулинг токенов и нормализацию векторов. В метаданных указано 25,9 млн параметров; предельный контекст составляет 512 токенов, а карточка модели указывает максимальную длину последовательности 256 токенов. Обучение описано для 2 225 пар предложений с функцией потерь MultipleNegativesRankingLoss. Модель принимает текст и выдаёт эмбеддинги; лицензия в предоставленных данных не указана.
Erlangshen-SimCSE-110M-Chinese — китайская модель эмбеддингов предложений из семейства Erlangshen, разработанного командой Fengshenbang (IDEA-CCNL). Она основана на BERT-base и обучена контрастивному обучению SimCSE: использованы неразмеченные данные и китайские пары из набора NLI. Модель формирует вектор предложения непосредственно из представления [CLS], поэтому может оценивать семантическое сходство без дополнительной настройки под конкретную задачу. Модель предназначена для сравнения китайских предложений и получения их векторных представлений, например для поиска семантически близких фраз или ранжирования кандидатов по сходству. Архитектура — BERT, размер по метаданным 129,5 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.
Moritz Laurer опубликовал мультиязычную модель классификации последовательностей на архитектуре ERNIE-M с 658,7 млн параметров. Она дообучена для вывода о естественном языке (NLI) на данных XNLI и английского MNLI и подходит для классификации текстов по заданным пользователем категориям без отдельного обучения на этих категориях. Модель сравнивает посылку и гипотезу, определяя, следует ли гипотеза из текста, противоречит ему или не связана с ним. Это позволяет классифицировать тексты по кандидатным меткам и выполнять NLI на многих языках. README сообщает о поддержке 100 языков; оценки приведены для 15 языков XNLI, а для остальных качество может быть ниже. Максимальная длина контекста — 514 токенов. Модель основана на ERNIE-M от Baidu, предварительно обученной на основе RoBERTa на многоязычном корпусе CC100. В README отмечено, что она превосходит RoBERTa сопоставимого размера. Доступны веса PyTorch и safetensors; лицензия — Apache-2.0. К ограничениям относятся возможное снижение качества на языках вне оценки XNLI и потенциальные смещения, связанные с данными NLI. Для архитектуры требуется Transformers версии 4.27 или новее.
spacemanidol/esci-es-mpnet-crossencoder — модель на базе MPNet, представленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения текстов. Обучение описано с использованием CosineSimilarityLoss; в README также приведён способ работы через Sentence-Transformers или Transformers с подходящим pooling. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. Максимальная длина контекста — 514 токенов. В метаданных основная задача обозначена как sentence-similarity, а каталог также относит модель к feature-extraction. Сведения о поддерживаемых естественных языках и лицензии в предоставленных данных отсутствуют.
spacemanidol/esci-mpnet-crossencoder — модель на базе MPNet, выпущенная сообществом spacemanidol и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Модель содержит 136,7 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и доступна в формате PyTorch. Векторы можно применять для семантического поиска и кластеризации текстов. README указывает на обучение с функцией потерь CosineSimilarityLoss; метаданные также отмечают поддержку извлечения признаков и сходства предложений. Лицензия в предоставленных данных не указана.
Это веса модели EVA02 Base Patch16 CLIP с входным разрешением 224 пикселя, опубликованные timm в формате OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: она сопоставляет изображение с предложенными категориями без отдельного обучения на этих категориях. Модель использует архитектуру CLIP с визуальным энкодером EVA02 и доступна в форматах PyTorch и safetensors; лицензия — MIT. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки, поэтому эти характеристики не приводятся.
FAE-v1 — модель для получения векторных представлений предложений, разработанная автором репозитория qinxianliu и основанная на e5-large-v2. Она использует архитектуру BERT и библиотеку Sentence Transformers: на вход подаются предложения, на выходе — эмбеддинги для сравнения смысловой близости и поиска похожих текстов. Модель содержит около 433,9 млн параметров, поддерживает английский язык и принимает последовательности длиной до 512 токенов. Её можно применять для семантического поиска, сопоставления предложений и построения признаков для текстовых систем. В README не приведены результаты оценки качества или специальные ограничения; веса опубликованы в формате Safetensors. Лицензия в предоставленных данных не указана.
Ngit/fail-detect — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория Ngit. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает текст; заявленная длина контекста — 514 токенов. Модель подходит для построения семантического поиска и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss. Доступен формат PyTorch; лицензия в предоставленных данных не указана.
Parallia разработала FMMB-BE-DE — немецкую версию модели эмбеддингов предложений на архитектуре ModernBERT, реализованную как Sentence Transformer. Она преобразует немецкие тексты длиной до 8192 токенов в плотные векторы размерности 768 и предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Для сравнения векторов рекомендуется косинусное сходство; входные тексты можно подавать без специальных префиксов. Модель содержит 148,7 млн параметров и использует немецкий токенизатор и соответствующую таблицу эмбеддингов. Она дообучена на параллельном корпусе предложений с парами английский—немецкий, английский—французский и английский—нидерландский; README характеризует этот вариант как монолингвальный немецкий. Лицензия — Apache-2.0. Модель подходит для построения семантического поиска и сопоставления немецких текстов. Карточка не приводит оценок качества, поэтому пригодность для конкретного сценария следует проверять на собственных данных; для работы с ModernBERT README указывает на необходимость актуальной версии библиотеки Transformers.
Parallia/Fairly-Multilingual-ModernBERT-Embed-BE-EN — англоязычная версия модели эмбеддингов предложений семейства Fairly Multilingual ModernBERT Embedding Model, созданной Parallia. Модель основана на ModernBERT и представлена как Sentence Transformer с mean pooling; она преобразует английские предложения и абзацы в плотные векторы размерности 768 для семантического сравнения и поиска. Контекст составляет до 8192 токенов. Модель обучена на параллельных парах английского с французским, нидерландским и немецким языками. README указывает, что эта версия использует веса исходной многоязычной модели с английским токенизатором и таблицей эмбеддингов, оптимизированными для английского; сама версия рассчитана на английские входные тексты. Подходящие сценарии — поиск семантически близких документов, оценка сходства предложений, поиск перефразирований, кластеризация и классификация текста на основе эмбеддингов. Модель использует архитектуру ModernBERT и распространяется в формате safetensors под лицензией Apache-2.0. Её эмбеддинги предназначены прежде всего для текстового сопоставления; несмотря на обучение на переводных парах, эта конкретная версия описана как англоязычная, поэтому её не следует считать универсальной мультиязычной моделью. Практическое качество зависит от предметной области и данных поиска.
Карточка модели jessietextstan/few-shot-model на Hugging Face совпадает с карточкой lewtun/my-awesome-setfit-model, поэтому описание составлено по ней. lewtun/my-awesome-setfit-model — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости текстов. Модель подходит для семантического поиска и кластеризации текстов, а также для получения эмбеддингов, используемых в других системах. В README указано обучение с функцией потерь CosineSimilarityLoss. Для применения описана работа через Sentence-Transformers или Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт векторы. В карточке нет сведений о лицензии или целевых языках, поэтому определить условия использования и языковую специализацию по доступным данным нельзя.