I.12Рекомендации и персонализация

CatkinChen дообучил модель sentence-transformers/all-MiniLM-L6-v2 для создания векторных представлений предложений и абзацев. Это плотный энкодер на архитектуре BERT размером 25,9 млн параметров: он преобразует текст в нормализованные векторы размерности 384, которые можно сравнивать косинусным сходством. Максимальная длина последовательности в README указана как 256 токенов; метаданные указывают контекст до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Она обучена с TripletLoss на наборе из 309 примеров; в README приведена точность cosine_accuracy 0,8 на тестовой оценке. Англоязычная базовая модель предполагает основное применение для английского текста. Для использования нужны Sentence Transformers или совместимая система извлечения эмбеддингов. Лицензия в предоставленных данных не указана.

Serafim 100m Portuguese PT Sentence Encoder — модель семейства Serafim PT*, разработанная Luís Gomes, António Branco, João Silva, João Rodrigues и Rodrigo Santos. Это sentence-transformers энкодер на архитектуре BERT с 136,1 млн параметров, который преобразует предложения и абзацы на португальском языке в плотные векторы размерности 768. Максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. Она обучалась с функцией потерь CoSENT и поддерживается библиотекой Sentence-Transformers. Репозиторий содержит веса в формате safetensors. Лицензия MIT.

princeton-nlp/sup-simcse-roberta-large — модель извлечения признаков, разработанная Princeton NLP на основе RoBERTa-large с методом supervised SimCSE. Она преобразует текст в векторные представления предложений для сравнения их семантической близости и использования в задачах поиска и последующей обработки текста. Обучение проводилось на 314 тысячах примеров из MNLI и SNLI; оценивание включало задачи семантического сходства предложений и переноса на другие задачи. Модель содержит 454,1 млн параметров и рассчитана на контекст до 514 токенов. В репозитории доступны веса PyTorch и Flax. Карточка не сообщает лицензию, поэтому условия использования следует проверить отдельно. Среди ограничений — возможные стереотипные и вредоносные смещения; модель не следует использовать для создания враждебной или отчуждающей среды.

Hoax0930/tf_paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, создающая плотные векторы размерностью 768 для предложений и абзацев. В репозитории указано 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для построения эмбеддингов, семантического поиска и кластеризации текстов. Её можно применять для поиска похожих фрагментов и сравнения семантической близости предложений; README описывает обучение с CosineSimilarityLoss. Метаданные указывают формат PyTorch и возможность извлечения эмбеддингов. Карточка не сообщает конкретный перечень поддерживаемых языков, поэтому многоязычность из названия модели не подтверждена. Лицензия в предоставленных данных отсутствует. Результаты зависят от языка и предметной области; для сравнения векторов и поиска требуется подходящая метрика или индекс.

Это модель timm от команды Google — изображенческий энкодер SigLIP 2 на базе ViT с патчами 16×16 и входным разрешением 256 пикселей. Репозиторий содержит только визуальную башню, соответствующую image tower мультимодальной модели SigLIP 2; обучение связано с датасетом WebLI. Модель предназначена для извлечения признаковых представлений изображений: их можно использовать для поиска похожих изображений, сопоставления визуального содержимого или как визуальные признаки для последующих систем. Она поддерживает только входные изображения и выдаёт векторы признаков; языковые возможности полной модели SigLIP 2 к этому энкодеру не относятся. Распространяется по лицензии Apache-2.0.

Это веса визуального энкодера CLIP из семейства DFN, опубликованные разработчиками timm. Модель принимает изображения и преобразует их в признаки и эмбеддинги; она предназначена для извлечения визуальных представлений, в том числе как часть систем поиска и сопоставления изображений с текстом. В репозитории указаны архитектура ViT-Large с патчами 14 и разрешением изображения 224 пикселя, а также веса в форматах PyTorch и Safetensors. Карточка уточняет, что это только энкодер изображений, поэтому модель сама по себе не генерирует текст и не выполняет полный цикл CLIP-сопоставления с текстом. Лицензия обозначена как other; конкретные условия следует проверить в файлах репозитория.

ayushexel/xynft-embeddinggemma-300m-5e — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов, поиска перефразирований, классификации и кластеризации. Использует архитектуру Gemma 3 Text, поддерживает контекст до 2048 токенов и косинусное сравнение эмбеддингов. Модель обучена на примерах запросов, ответов и негативных ответов; для одного набора из 741 примера в README приведена точность cosine_accuracy 0,68 по TripletEvaluator. Это указывает на настройку для поиска соответствий между запросами и ответами, но оценка относится к указанному набору данных и не гарантирует такое же качество на других текстах. Базовая модель описана как многоязычная. Файлы доступны в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_3840 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

KhaledReda/all-MiniLM-L6-v21-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v20-pair_score на наборе пар текстов с оценками сходства, синонимами и опечатками. Она кодирует предложения и абзацы в плотные векторы размерностью 384; сходство между текстами оценивается косинусной близостью. Архитектура основана на BERT и использует усреднение токенных представлений с последующей нормализацией. Модель предназначена для семантического сравнения текстов и поиска: её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. Модель поддерживает английский язык, содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Обучение ориентировано на пары коротких текстов; качество на других языках и существенно отличающихся доменах README не подтверждает.

jangedoo разработал эту модель Sentence Transformers на основе jangedoo/all-MiniLM-L6-v2-nepali, дообучив её на парах и триплетах английских и непальских текстов. Это компактный BERT-энкодер с 25,9 млн параметров: он кодирует предложения и абзацы в нормализованные векторы размерности 384 для сравнения по косинусному сходству. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают контекст до 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок и кластеризации англоязычных и непальских текстов; векторы также можно использовать в классификационных системах. В README приведены результаты оценки на наборах для поиска и семантического сходства на английском и непальском языках. Лицензия в предоставленных данных не указана.

AmarettoLabs разработала amaretto-embed-148m как компактную модель эмбеддингов на основе google/embeddinggemma-300m. Это плотный текстовый энкодер семейства Gemma 3 с 147,9 млн параметров, словарём из 60 497 токенов и контекстом до 2048 токенов. Модель преобразует текст в векторы размерностью 768 и поддерживает Matryoshka-размеры 512, 256 и 128; для работы используется библиотека Sentence Transformers. Модель предназначена для семантического поиска, извлечения документов для RAG, сравнения предложений, кластеризации и классификации на английском, испанском, португальском, французском, немецком, итальянском, нидерландском и польском языках, а также для исходного кода. Словарь сокращён, а качество восстановления эмбеддингов улучшено дистилляцией от исходной модели. По данным README, результаты близки к EmbeddingGemma для поиска и семантического сходства, при этом модель рассчитана на более компактное развертывание, включая устройства с ограниченной памятью. Качество резко снижается для языков и письменностей вне перечисленного набора, включая русский и другие кириллические языки. Для длинных документов результаты слабее, особенно для англоязычных текстов; при переходе с EmbeddingGemma нужно заново индексировать корпус, поскольку векторы близки, но не идентичны. Лицензия Gemma; использование ограничено условиями Gemma Terms и включённой в них политикой запрещённого использования.

danfeg/ArabicBERT_Finetuned-AR-500 — дообученная модель на архитектуре BERT, опубликованная в формате safetensors и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 1024, которые можно использовать для семантического поиска, сравнения сходства и кластеризации. Обучение включало CosineSimilarityLoss; заявленная длина контекста составляет 512 токенов. Модель рассчитана на арабский язык, что отражено в названии репозитория; карточка описывает применение через Sentence Transformers и Transformers. Параметров указано 435,4 млн. Лицензия в предоставленных данных не приведена.

rjnClarke/BAAI-bge-m3-fine-tuned — дообученная модель Sentence Transformers на базе BAAI/bge-m3 для получения плотных текстовых эмбеддингов и сравнения смысловой близости. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; размерность выхода — 1024, максимальная длина входа — 8194 токена. Модель обучена на парах anchor-positive с использованием MultipleNegativesRankingLoss и рассчитана на английский язык. Модель подходит для семантического поиска по документам, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Косинусное сходство можно использовать для ранжирования фрагментов по близости к запросу, в том числе в RAG-сценариях. В README приведены результаты оценки на m3-dev, однако данных недостаточно, чтобы судить о качестве на других наборах и языках. Лицензия — Apache-2.0.

Bangla-Embed-E5 — компактный энкодер предложений на основе BERT, разработанный автором репозитория kazalbrur. Модель дообучена на базе intfloat/multilingual-e5-small с помощью трёхэтапной дистилляции от BGE-M3 и последующей настройки на парах и NLI-данных. Она содержит 124,3 млн параметров по метаданным и обрабатывает до 512 токенов. Модель создаёт текстовые эмбеддинги для поиска по смыслу, сравнения предложений, межъязыкового поиска и классификации. В README сообщается о среднем результате 0,666 на бенгальской части MTEB(Indic) и сильных результатах в поиске на бенгальском языке среди компактных моделей. Для запросов и документов можно использовать отдельные подсказки query и passage и нормализовать эмбеддинги. Модель ориентирована на стандартный бенгальский язык и также поддерживает английский. Она не охватывает региональные варианты бенгальского; на полноразмерных MIRACL-bn и Mr.TyDi-bn уступает более крупным моделям и исходной модели без настройки, а приведённые метрики автоматические. Лицензия модели — MIT; лицензии некоторых обучающих данных могут ограничивать коммерческое использование, поэтому их условия следует проверять отдельно.

Это англоязычная модель Sentence Transformer на базе google-bert/bert-base-uncased, дообученная авторами kh-li на парах и тройках из наборов all-nli, STS-B, Quora и Natural Questions. Модель кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними оценивается косинусной мерой. Архитектура состоит из BERT и mean pooling, максимальная длина последовательности — 512 токенов, библиотека — Sentence Transformers. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Её можно использовать, например, для подбора релевантных фрагментов в поисковой системе или группировки похожих вопросов. Она рассчитана на английский язык; качество на других языках не подтверждено. Лицензия в предоставленных сведениях не указана.

tomaarsen/bert-base-uncased-gooaq — англоязычная модель Sentence Transformers, дообученная на парах вопросов и ответов набора GooAQ на базе google-bert/bert-base-uncased. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству; архитектура состоит из BERT и mean pooling. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска похожих вопросов и ответов, выявления перефразировок, кластеризации и извлечения признаков для классификации текста. В карточке приведены результаты оценки на наборах Nano BEIR и задачах поиска информации. Модель принимает текст и выдаёт эмбеддинги; она не предназначена для генерации ответов. Обучение на GooAQ и англоязычная специализация могут ограничивать качество на других языках и предметных областях. Лицензия — Apache-2.0.

Модель tomaarsen/bert-base-uncased-gooaq-og — англоязычная модель Sentence Transformers, созданная дообучением google-bert/bert-base-uncased на наборе вопросов и ответов sentence-transformers/gooaq. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; максимальная длина входа — 512 токенов. Архитектура состоит из BERT и среднего пулинга токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, выявление перефразировок, кластеризацию и классификацию текста с последующим обучением классификатора. В README приведены результаты оценки поиска на gooaq-dev. Модель принимает текст и возвращает векторы; сама по себе она не генерирует ответы. Лицензия — Apache-2.0.

kwondw/bert-base-uncased-tsdae — модель Sentence Transformers, дообученная на базе google-bert/bert-base-uncased на датасете wiki1m-for-simcse с использованием DenoisingAutoEncoderLoss. Она преобразует предложения и абзацы на входе в плотные векторы размерности 768 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура состоит из BERT для извлечения признаков и пулинга CLS; модель принимает текст, поддерживает контекст до 512 токенов по метаданным, а README указывает максимальную длину последовательности 75 токенов. Базовая модель англоязычная, обучающая выборка состоит из англоязычных текстов Википедии. Модель подходит для семантического поиска, извлечения текстовых эмбеддингов и оценки сходства предложений. В README приведены результаты на STS: Spearman для косинусного сходства составляет 0,6557 на sts-dev и 0,6199 на sts-test. Для практического применения следует учитывать указанную в README длину последовательности 75 токенов; качество на других языках и доменах в предоставленных данных не описано. Лицензия в метаданных и README не указана.

Это Sentence Transformer на базе BERT, разработанный tintnguyen и дообученный на модели tintnguyen/bert-base-vi-uncased-st. Он преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и сравнения их сходства. Модель использует BERT с усреднением токенных представлений; сходство векторов обычно оценивают косинусной мерой. Максимальная длина входа — 512 токенов. Обучение на парах anchor-positive с MultipleNegativesRankingLoss ориентирует её на семантический поиск, поиск перефразирований, кластеризацию и классификацию текстов. Модель рассчитана прежде всего на вьетнамский язык; в примерах данных встречаются также тексты на других языках. Для практического применения модель формирует текстовые эмбеддинги, а не готовые ответы или метки. В метаданных указана лицензия Apache-2.0.

Shobhank-iiitdwd/BERT-BU-nli-sts-sent — англоязычная модель эмбеддингов на основе BERT, дообученная на задачах распознавания логических отношений между предложениями (NLI) и оценки семантического сходства (STS). Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для использования доступны веса PyTorch; README приводит результат 84,61% на STS (en). Модель основана на bert-base-uncased и предназначена для англоязычных задач поиска и анализа сходства предложений. Для получения эмбеддингов без Sentence-Transformers нужно самостоятельно применить подходящую операцию pooling к контекстным представлениям токенов. Лицензия в предоставленных данных не указана.

Augmented SBERT STSb — модель на архитектуре BERT, опубликованная James Calam и обученная для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерности 768 и предназначена для сравнения семантической близости, семантического поиска и кластеризации текстов. Модель применима, например, в поиске по коллекции документов и группировке похожих высказываний. Модель содержит 136,7 млн параметров, принимает контекст длиной до 512 токенов и доступна в формате PyTorch. Она была создана как демонстрационная модель для курса по семантическому поиску, в главе о дополнении внутридоменных данных с помощью BERT. Для преобразования выходов Transformers в эмбеддинг при использовании без Sentence-Transformers требуется подходящая операция pooling. Лицензия в предоставленных данных не указана.

Xenova/bge-base-zh-v1.5 — это версия модели BAAI/bge-base-zh-v1.5, подготовленная с ONNX-весами для совместимости с библиотекой Transformers.js. Разработчик исходной модели — BAAI; данный репозиторий предназначен для использования модели в JavaScript- и web-сценариях. Модель предназначена прежде всего для извлечения признаков (feature extraction), например для преобразования текстов в числовые представления, которые могут использоваться в задачах семантического поиска, сравнения текстов и построения систем на основе эмбеддингов. В README приведён пример запуска через pipeline Transformers.js. Ключевая характеристика этой версии — формат ONNX и совместимость с Transformers.js. Точная архитектура, число параметров, размер контекста, перечень поддерживаемых языков, модальности и результаты оценки в README не указаны. Также не приведена информация о лицензии, поэтому условия распространения следует уточнять в карточке исходной модели BAAI/bge-base-zh-v1.5. Ограничением является неполнота опубликованной информации о характеристиках и качестве модели.

manu/bge-fr-en — специализированная модель эмбеддингов предложений, созданная дообучением плотной модели BGE-M3 на собственных данных на французском и английском языках. Она построена на архитектуре XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024; число параметров — 658,7 млн, максимальная длина контекста — 8194 токена. Модель предназначена для семантического поиска, сравнения смысловой близости текстов и кластеризации. Её можно использовать для поиска по франко- и англоязычным коллекциям, сопоставления запросов с документами и группировки похожих текстов. Модель оценивалась с помощью MTEB; веса доступны в формате safetensors. Ограничение: README описывает обучение на французских и английских данных, поэтому качество для других языков не подтверждено. Лицензия в предоставленных сведениях не указана.

mlx-community преобразовала BAAI/bge-m3 в формат MLX с точностью FP16 для инференса на компьютерах Apple Silicon. Это модель эмбеддингов на архитектуре XLM-RoBERTa с 658,7 млн параметров, размерностью векторов 1024 и контекстом до 8194 токенов. Она поддерживает плотный, разреженный и многовекторный поиск, включая подход ColBERT, и подходит для семантического и гибридного поиска по многоязычным текстам и документам. Модель рассчитана на создание векторных представлений для поиска, сопоставления и ранжирования текстов; карточка описывает генерацию эмбеддингов с помощью MLX, а также совместимость с oMLX embedding endpoint. Указаны английский, китайский, немецкий, испанский, французский, итальянский, японский, корейский, португальский и русский языки. Конверсия неофициальная; лицензия — MIT. README подтверждает формат FP16 и назначение для Apple Silicon, а метаданные перечисляют safetensors как формат файлов.

teven/bi_all_bs192_hardneg_finetuned_WebNLG2020_relevance — модель эмбеддингов предложений на базе MPNet, созданная для оценки семантической близости. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сопоставления текстов. В метаданных указано 136,7 млн параметров, контекст — до 514 токенов; модель использует PyTorch и интерфейс Sentence Transformers. Модель обучена с CosineSimilarityLoss на данных, связанных с WebNLG2020; название также указывает на обучение с hard negatives. Она принимает текст и выдаёт векторы, которые можно использовать для ранжирования или поиска похожих фрагментов. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

NbAiLab/borealis-embed-212m — текстовая модель эмбеддингов, разработанная NbAiLab на архитектуре Gemma3Text. Она предварительно обучена с нуля на открытой части данных Aurora 2604, затем дообучена как Sentence Transformer с усредняющим pooling. Модель преобразует предложения и абзацы в плотные векторы размерности 768, которые сравниваются по косинусному сходству. Модель предназначена для семантического поиска, извлечения релевантных фрагментов, ранжирования и поддержки классификации текста. Она рассчитана прежде всего на норвежский букмол и нюношк, а также поддерживает шведский, датский и английский. Максимальная длина входа составляет 8192 токена; при дообучении использовалась длина 2048 токенов. В метаданных указано 211,6 млн параметров и библиотека Sentence Transformers. В README приведены результаты оценки на скандинавском бенчмарке эмбеддингов и тестах поиска по длинному контексту; модель показала улучшение относительно указанных версий nb-sbert. Она не генерирует текст: выходом являются векторы для последующего поиска или сравнения. Лицензия — NB-license.

cde-small-v2 — англоязычная модель эмбеддингов текста, опубликованная автором под идентификатором jxm/cde-small-v2. Она дообучена на базе answerdotai/ModernBERT-base и использует архитектуру ContextualDocumentEmbeddingTransformer. В репозитории находятся веса двух этапов, около 281 млн параметров суммарно; для построения эмбеддингов при поиске используется второй этап, который автор оценивает примерно в 140 млн параметров. Модель предназначена для представления запросов и документов в виде векторов и поиска по смыслу; README сообщает о среднем результате 65,58 на MTEB для моделей менее 400 млн параметров на дату публикации. Модель учитывает контекст корпуса в два этапа: сначала формируются данные о наборе документов, затем они используются при вычислении эмбеддингов запросов и документов. Если сведения о корпусе заранее недоступны, можно передать заменяющие векторы, однако качество на MTEB снижается с 65,0 до 63,8. Для поиска нужно применять отдельные префиксы запросов и документов. Модель использует uncased-токенизатор ModernBERT и формат весов safetensors; README рекомендует загрузку с разрешённым trust_remote_code. Лицензия в предоставленных данных не указана.

Это версия ColBERTv2, подготовленная для совместимости с библиотекой PyLate; исходную модель разработали авторы ColBERTv2, а право на публикацию этой версии предоставил Омар Хаттаб. Модель использует архитектуру BERT и представляет запросы и документы как последовательности плотных 128-мерных векторов. Сходство оценивается оператором MaxSim; модель подходит для многовекторного поиска и ранжирования текстовых фрагментов, а также семантического сравнения предложений. Модель принимает текст, работает с последовательностями длиной до 512 токенов и ориентирована на английский язык. Её можно применять как retriever с поздним взаимодействием в Sentence Transformers или PyLate. Чекпойнт содержит 136,7 млн параметров и распространяется в формате safetensors. Лицензия — MIT.

sebastian-hofstaetter/distilbert-dot-tas_b-b256-msmarco — модель плотного поиска и ранжирования текстовых фрагментов, разработанная Sebastian Hofstätter. Это двухэнкодерная архитектура BERT_Dot на основе DistilBERT: одни и те же 6 слоёв кодируют запрос и passage, а представление каждого текста формируется по вектору CLS; релевантность оценивается скалярным произведением векторов. Модель обучена на MSMARCO-Passage с методом Balanced Topic Aware Sampling и размером пакета 256. Модель подходит для поиска кандидатов по запросу в плотном векторном индексе и для повторного ранжирования уже найденного набора текстов. В README приведены результаты на MSMARCO, TREC-DL’19 и TREC-DL’20. Она принимает текст, выдаёт векторные представления и оценки релевантности, поддерживает английский язык и контекст до 512 токенов. Доступна в формате PyTorch; конкретная лицензия в предоставленных данных не установлена.

E5-base-4k — модель для получения векторных представлений текстов, представленная в работе LongEmbed: Extending Embedding Models for Long Context Retrieval. Авторы — Dawei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li. Модель предназначена для поиска и сопоставления запросов с длинными текстовыми фрагментами, в том числе в задачах retrieval. Это плотная модель семейства BERT с 12 слоями и размерностью эмбеддинга 768. Она содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 4096 токенов. Репозиторий содержит веса PyTorch; карточка указывает английский язык. Модель можно применять для поиска по коллекциям документов и семантического сравнения текстов. В README приведены примеры кодирования запросов и пассажей из MS MARCO, а оценку предлагают воспроизводить на наборах BEIR и MTEB. Лицензия — MIT. Карточка не сообщает о других языках или ограничениях качества; практические результаты следует оценивать на данных целевого поиска.