I.11Классификация, ранжирование и сопоставление

MiniCPM-Reranker — двуязычная модель переранжирования текстов, совместно разработанная ModelBest, лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она оценивает релевантность документов запросу и переупорядочивает результаты первичного поиска, в том числе в конвейерах RAG. Модель рассчитана на китайский и английский языки и на переранжирование между ними. Модель дообучена на основе openbmb/MiniCPM-2B-sft-bf16, использует двунаправленное внимание и обучалась в несколько этапов примерно на 6 млн примеров, включая открытые, синтетические и закрытые данные. В README указан размер 2,4 млрд параметров и максимум 1024 входных токена; метаданные Hugging Face сообщают 2,7 млрд параметров и контекст 2048 токенов. Для применения можно передавать инструкцию вместе с запросом и документом либо использовать режим без инструкции. Опубликованные оценки включают результаты на наборах C-MTEB/Retrieval, BEIR и межъязыковых тестах. Для запуска доступны веса safetensors и библиотека Transformers. Условия лицензии в предоставленных данных не указаны.

MiniMind-Rerank-Dense — плотная cross-encoder-модель для ранжирования пар «запрос — документ», разработанная как часть проекта minimind-embedding на основе MiniMind-3. Она оценивает релевантность по вероятности следующего токена «是» («да»); архитектура — авторегрессионный Transformer с 63,9 млн параметров, контекстом до 32 768 токенов и форматом весов safetensors. Модель дообучена на 80 тысячах пар запрос—документ из C-MTEB/T2Reranking; в README сообщается MAP@10 0,915 и точность 85% на отложенной выборке. Модель предназначена для перестановки результатов поиска по соответствию запросу и для оценки релевантности кандидатов в retrieval-системах. Карточка указывает китайский и английский языки; шаблон запроса и метки релевантности описаны на китайском. Лицензия — Apache-2.0. Авторы отмечают, что проверено обучение только на T2Reranking, а перенос на другие области не оценивался; базовая модель имеет ограниченный словарь и обучающие данные.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122145230-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123115509-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123184551-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

MMLW-retrieval-roberta-base — польскоязычный текстовый энкодер семейства RoBERTa, разработанный для информационного поиска. Модель преобразует запросы и фрагменты текста в векторы размерности 768, которые можно использовать для поиска релевантных документов и ранжирования кандидатов. Модель обучена в два этапа: сначала польскую RoBERTa дообучили методом многоязычной дистилляции на 60 млн польско-английских пар текста с английскими FlagEmbeddings (BGE) в роли учителей, затем провели контрастивное дообучение на польской обучающей части MS MARCO. Для кодирования запросов требуется добавлять префикс «zapytanie: ». Контекст модели — 514 токенов; размер — 151,6 млн параметров. На польском бенчмарке информационного поиска PIRB модель показала NDCG@10 56,38. Она предназначена для задач поиска по тексту, а не для генерации ответов. Распространяется по лицензии Apache-2.0.

dpravinv/modernbert-job-role-matcher — англоязычная модель Sentence Transformers, дообученная на базе nomic-ai/modernbert-embed-base для сопоставления названий должностей с описаниями ролей. Она кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Архитектура включает ModernBERT, усреднение токенных представлений и нормализацию эмбеддингов. Модель рассчитана на семантическое сравнение текстов и поиск подходящих описаний должностей. Её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Максимальная длина последовательности — 8192 токена. В README приведён результат cosine_accuracy 0,98 на оценке с TripletEvaluator; размер обучающей выборки указан как 800 примеров. Модель выпущена под лицензией Apache-2.0. Оценка на небольшой выборке не гарантирует аналогичного качества на других данных и сценариях; заявленная поддержка языка — английский.

MonoPTT5-Large — португалоязычный реранкер на архитектуре T5, разработанный командой Unicamp-DL. Модель создана на основе unicamp-dl/ptt5-v2-large и дообучена в течение 100 тысяч шагов на смеси португальских и английских данных набора mMARCO. Она оценивает релевантность документов запросу, чтобы упорядочивать результаты поиска. Модель содержит 385,2 млн параметров, принимает текст и имеет контекст длиной до 512 токенов. Для применения авторы рекомендуют пакет rerankers с бэкендом Transformers. Модель распространяется по лицензии Apache-2.0. Основное назначение — реранжирование текстовых результатов на португальском языке; обучение также включало английские данные.

msmarco-bert-co-condensor — модель Sentence-Transformers, созданная как перенос Luyu/co-condenser-marco-retriever в формат Sentence-Transformers. Это плотная BERT-модель с 136,7 млн параметров, которая преобразует предложения и абзацы в векторы размерностью 768 для семантического поиска и извлечения релевантных фрагментов. Она основана на работе «Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval» и ориентирована на поиск по коллекциям текстов, включая сценарии на основе MS MARCO. Модель принимает текст и выдаёт эмбеддинги; для сравнения запросов и документов обычно используют близость их векторов. Максимальная длина контекста — 512 токенов. Репозиторий включает варианты PyTorch, Safetensors, ONNX и OpenVINO. По приведённым в карточке оценкам, качество зависит от набора данных; автор README также указывает на возможную утечку информации и изменение протокола оценки в некоторых результатах исходной статьи, поэтому сравнивать показатели следует с учётом этих оговорок. Лицензия — Apache-2.0.

Это англоязычная модель-переранжировщик Cross-Encoder, разработанная tomaarsen и дообученная на наборе MS MARCO с помощью библиотеки Sentence Transformers. Она совместно обрабатывает запрос и текст документа и выдаёт одну оценку релевантности для каждой пары. Модель предназначена для повторной сортировки результатов семантического поиска и улучшения выдачи по запросу. Её можно применять после первичного поиска, чтобы точнее ранжировать кандидатов; карточка приводит результаты оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель основана на энкодере ModernBERT jhu-clsp/ettin-encoder-17m и содержит 16,8 млн параметров. README указывает максимальную длину последовательности 512 токенов, тогда как метаданные каталога приводят native context в 7999 токенов; фактический предел зависит от используемой конфигурации. Модель рассчитана на английский язык и выдаёт оценки, а не готовые ответы. Репозиторий распространяется под лицензией Apache-2.0.

cross-encoder/msmarco-MiniLM-L6-en-de-v1 — компактная модель cross-encoder на архитектуре BERT, разработанная Sentence Transformers и дообученная на задаче ранжирования пассажей MS MARCO. Она оценивает релевантность пары «запрос — документ» и предназначена для повторного ранжирования результатов информационного поиска. Модель поддерживает английские и немецкие запросы и документы, включая англо-английский, немецко-английский и немецко-немецкий сценарии. Размер модели — 110,2 млн параметров, максимальная длина контекста — 512 токенов. Модель показала улучшение ранжирования относительно BM25 в приведённых оценках TREC-DL19 и GermanDPR; указанная скорость составляет 1600 пар «запрос — документ» в секунду на GPU V100. Её можно применять как второй этап поиска после первичного извлечения кандидатов. Лицензия — Apache-2.0.

maxHPI90/multilingual-e5-base-iscedf-01 — дообученная командой maxHPI90 модель Sentence Transformer на базе isy-thl/multilingual-e5-base-learning-outcome-skill-tuned. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и оценки сходства, в том числе сопоставления описаний курсов с классификацией ISCED-F. Также модель подходит для поиска перефразировок, кластеризации и классификации текстов. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов; сходство можно оценивать косинусной метрикой. Максимальная длина последовательности — 512 токенов. В README приведены результаты поиска по датасету ISCED-F: точность cosine_accuracy@1 — 0,6824, @3 — 0,8471, @5 — 0,9059. Лицензия в предоставленных данных не указана.

multi-qa-distilbert-dot-v1 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face Community Week по обучению моделей эмбеддингов предложений. Она основана на distilbert-base-uncased и дообучена на 215 млн пар «вопрос—ответ» из разных источников для семантического поиска. Модель преобразует запросы, вопросы и текстовые абзацы в плотные векторы размерности 768; для сравнения используется скалярное произведение, а векторы не нормализуются. В метаданных указаны реализации PyTorch, ONNX и OpenVINO. Модель подходит для поиска абзацев, релевантных запросу или вопросу, и для сопоставления вопросов с ответами. Она принимает текст на английском языке; максимальная длина входа — 512 токенов WordPiece, но обучение проводилось на последовательностях длиной до 250 токенов, поэтому качество на более длинных текстах может снижаться. Лицензия в предоставленных данных не указана.

Xenova/multi-qa-mpnet-base-dot-v1 — версия модели sentence-transformers/multi-qa-mpnet-base-dot-v1 с весами в формате ONNX, адаптированная для работы через библиотеку Transformers.js. Исходная модель разработана командой Sentence Transformers; в README не указано отдельное имя автора ONNX-версии. Модель предназначена для извлечения признаков из текста и может применяться в сценариях семантического поиска, сопоставления вопросов и ответов, поиска похожих документов и построения векторных представлений. Используемый pipeline — feature-extraction; запуск возможен в JavaScript через @huggingface/transformers, в том числе в средах, совместимых с Transformers.js. README не содержит сведений о точном размере модели, архитектурных параметрах MPNet, поддерживаемых языках, модальностях, длине контекста, показателях качества или ограничениях. Лицензия также не указана. Ключевое преимущество этой версии — совместимость с ONNX и веб-ориентированным JavaScript-инструментарием; при этом возможности и характеристики исходной модели следует уточнять в её базовом репозитории.

legacy107/multi-qa-mpnet-base-dot-v1-wikipedia-search — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска и кластеризации текстов; в поисковой системе её можно использовать для представления запросов и документов в общем векторном пространстве. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель обучалась с TripletLoss на евклидовом расстоянии. В карточке не указана лицензия, поэтому условия распространения и использования по имеющимся данным определить нельзя. Заявленные задачи — семантический поиск и кластеризация; качество зависит от соответствия текстов и поискового корпуса обучающим данным.

Карточка модели Gnartiel/multi-sbert на Hugging Face совпадает с карточкой model-embeddings/multi-qa-mpnet-base-dot-v1, поэтому описание составлено по ней. multi-qa-mpnet-base-dot-v1 — модель встраиваний предложений и абзацев на базе MPNet, разработанная в рамках проекта Hugging Face «Train the Best Sentence Embedding Model Ever with 1B Training Pairs». Она кодирует запросы и текстовые фрагменты в плотные векторы размерностью 768 для семантического поиска и подбора релевантных документов. Модель дообучена на примерно 215 млн пар «вопрос—ответ» из разных источников; использует CLS-пулинг и сходство по скалярному произведению, а выходные векторы не нормализуются. В метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель подходит для поиска ответов и документов по смыслу, даже если запрос и найденный текст не совпадают дословно. README предупреждает, что при длине свыше 512 word pieces текст обрезается, а обучение проводилось преимущественно на фрагментах до 250 word pieces, поэтому качество на более длинных текстах может снижаться. В карточке указана лицензия Apache-2.0.

multi-sentence-BERTino V5 — италоязычная модель Sentence Transformers на архитектуре DistilBERT, разработанная автором репозитория nickprock и дообученная для поиска и сравнения предложений. Она преобразует предложения и абзацы в плотные векторы размерностью до 768 и предназначена для семантического поиска, информационного поиска, подбора контекста для RAG и оценки семантического сходства. Обучение использует Matryoshka Representation Learning: векторы можно усекать до 512, 256 или 128 измерений, сохраняя полезность для поиска; README приводит результаты на итальянских наборах для retrieval и STS. Для retrieval применялись синтетические запросы к абзацам итальянской Википедии с трудными отрицательными примерами, а для сходства — итальянская часть STS-B. Максимальная длина контекста — 512 токенов. Репозиторий содержит форматы ONNX и safetensors и распространяется по лицензии Apache-2.0. Модель рассчитана на итальянский язык и возвращает эмбеддинги, а не готовые текстовые ответы. Метрики приведены для hold-out оценки автора; качество на других доменах и типах данных может отличаться.

NeoMME-260M-Retriever-ST-dense — мультимодальная модель поиска документов от Hcompany, дообученная на базе Hcompany/NeoMME-260M-Retriever. Это одно-башенный энкодер на основе двунаправленного Transformer: он кодирует текстовые запросы и текстовые документы или изображения страниц в плотные эмбеддинги. Модель содержит 366 млн параметров, использует Sentence Transformers и поддерживает контекст до 16 384 токенов. Эмбеддинги нормализованы по L2 и предназначены для сравнения по косинусному сходству. Модель подходит для поиска релевантных документов по текстовому запросу в текстовых коллекциях и среди изображений страниц, в том числе для визуального поиска по документам. Вариант ST-dense выдаёт только плотные эмбеддинги; лицензия — Apache-2.0.

NeoMME-260M-Retriever-ST-late — мультиязычный мультимодальный энкодер для поиска документов, разработанный Hcompany. Модель дообучена на базе Hcompany/NeoMME-260M-Retriever и использует общий двунаправленный Transformer-энкодер для текстовых запросов и документов в текстовом виде или как изображения страниц. Она предназначена для извлечения многовекторных представлений и ранжирования документов по сходству с запросом с помощью позднего взаимодействия MeanMaxSim. Модель содержит 366 млн параметров, работает с контекстом до 16 384 токенов и распространяется в формате safetensors через Sentence Transformers. Обучение охватывало текстовый поиск и поиск по изображениям страниц; заявлена мультиязычная поддержка. Лицензия — Apache-2.0. Версия ST-late предназначена для независимой настройки многовекторной головы. В Sentence Transformers она генерирует только многовекторные эмбеддинги; одновременно использовать обе головы поиска нельзя.

Neurosense Compact GTE R1 — компактная модель эмбеддингов Sharjeelbaig для плотного поиска и сравнения текстов. Она дообучена на базе Supabase/gte-small и использует архитектуру BERT; размер составляет 40 млн параметров, размер чекпойнта — около 128 МБ, размерность эмбеддингов — 384, максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и извлечения релевантных документов по запросу, в том числе при ограничениях на размер и вычислительные ресурсы. В README приведены результаты retrieval-бенчмарка на наборах FiQA, NFCorpus и SciFact и небольшое улучшение MRR@10 относительно предыдущего чекпойнта Neurosense. Модель не генерирует ответы и не претендует на превосходство над крупными моделями эмбеддингов. Модель принимает текст и выдаёт векторные эмбеддинги; для сравнения текстов можно использовать косинусное сходство. В карточке указана поддержка английского языка и библиотека sentence-transformers. Лицензия — MIT.

cnmoro выпустил компактную модель статических текстовых эмбеддингов на основе nomic-embed-text-v2-moe. Она создана с помощью Tokenlearn: автор сгенерировал эмбеддинги для 23 млн триплетов MS MARCO исходной моделью, а затем обучил на них Model2Vec-модель. Размер выходного вектора — 768 измерений; для загрузки автор рекомендует библиотеку Model2Vec, а метаданные также указывают Sentence Transformers. Модель предназначена для семантического поиска, сравнения предложений и извлечения релевантных документов. В карточке приведена оценка именно этой дистиллированной версии. Репозиторий создан 15 июня 2025 года и распространяется по лицензии Apache-2.0. Метаданные указывают английский и португальский языки; обучающие данные включают португалоязычные триплеты MS MARCO.

Hyukkyu/nv-embed-v2 — перенос модели NV-Embed-v2 от NVIDIA, выполненный для совместимости с Transformers 5.0 и новее. Единственное заявленное изменение — добавление свойства совместимости в класс NVEmbedModel; веса модели основаны на nvidia/NV-Embed-v2 и сохранены в формате safetensors. Модель предназначена для создания текстовых эмбеддингов, используемых в семантическом поиске, сравнении текстов и RAG-сценариях. README отсылает к исходной карточке NVIDIA за сведениями об архитектуре, обучении и оценках качества. Для использования указаны Transformers версии 5.0.0 или новее, PyTorch 2.0 или новее и Python 3.9 или новее. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями лицензии, включая некоммерческий характер.

Ovis-Omni-Embedding-3B — мультимодальная модель эмбеддингов с 3 млрд параметров от ATH-MaaS, созданная на основе Qwen2.5-Omni-3B. Она кодирует текст, изображения, визуальные документы, видео, аудио и их сочетания в общее векторное пространство для поиска и сравнения. Модель использует общий бэкбон Thinker и родные текстовый токенизатор, визуальный и аудиоэнкодеры; вектор извлекается из скрытого состояния последнего непустого токена. Для запуска предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Модель предназначена для семантического и межмодального поиска, индексации и извлечения данных для мультимодальных RAG-систем, рекомендаций, поиска по видео и аудио, визуальным документам, интерфейсам и памяти агента. Это bi-encoder: запросы и кандидаты кодируются независимо, а ранжирование обычно выполняется по косинусному сходству нормализованных векторов. Генерировать текст или речь модель не предназначена. В бенчмарке MMEB-v3, включающем 190 наборов данных, модель набрала 58,46 балла и показала сильные результаты в агрегатах по группам модальностей. Качество зависит от подходящей инструкции для запроса и корректной предобработки; результаты бенчмарка не гарантируют качество на новых доменах. Лицензия — Apache-2.0.

passage-ranker.chocolate — англоязычный ранжировщик пассажей, разработанный Sinequa. Он оценивает релевантность пары «запрос — фрагмент текста», чтобы упорядочивать результаты поиска. Модель основана на MiniLM-L6-H384-uncased и архитектуре BERT с классификационной головой; для обучения использовалась процедура MonoBERT и данные MS MARCO Passage Ranking. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов. Модель нечувствительна к регистру и диакритическим знакам. В карточке приведена средняя оценка NDCG@10 на наборе из 14 англоязычных поисковых датасетов BEIR. Для работы с GPU указаны требования к Sinequa версии 11.10.0 или выше и CUDA compute capability выше 7.5. Лицензия в предоставленных данных не указана.

Sinequa passage-ranker-v1-XS-multilingual — компактная модель ранжирования пассажей на основе Sinequa BERT-Mini, обученная методом MonoBERT. Она принимает запрос и пассаж текста и выдаёт оценку релевантности, по которой можно упорядочить результаты поиска. Модель содержит около 17 млн параметров, поддерживает английский, французский, немецкий и испанский языки, нечувствительна к регистру и акцентам; максимальная длина контекста — 512 токенов. Модель предназначена для повышения качества поиска: она повторно оценивает найденные пассажи и помогает расположить наиболее релевантные выше. По README среднее значение NDCG@10 на 14 наборах BEIR составило 0,453; на MIRACL приведены результаты для французского, немецкого и испанского языков. Указанные ограничения включают требования к окружению: Sinequa версии не ниже 11.10.0 и CUDA с compute capability выше 5.0 (выше 6.0 для FP16). Лицензия в предоставленных данных не описана.

sdadas/polish-reranker-large-mse — модель ранжирования польских текстов, разработанная командой sdadas. Она оценивает пары «запрос — документ» и помогает переставить результаты поиска по релевантности. Модель построена на Polish RoBERTa и обучена методом дистилляции с функцией потерь MSE: она воспроизводит оценки учительской модели unicamp-dl/mt5-13b-mmarco-100k. Обучение проводилось на 1,4 млн запросов и 10 млн документов, включая польскую часть MS MARCO, переведённый на польский ELI5 и подборку польских медицинских вопросов и ответов. В бенчмарке Polish Information Retrieval Benchmark модель показала NDCG@10 60,27 в категории rerankers. Она принимает текстовые пары и выдаёт оценку релевантности; модель содержит 533,7 млн параметров, а длина контекста составляет 514 токенов. Модель подходит для reranking в польскоязычном поиске и информационном поиске, в том числе по медицинским материалам. Это не генеративная модель: она оценивает соответствие документа запросу, а не формирует ответ. Распространяется по лицензии Apache-2.0.

Карточка модели JaehyeokLee/preliminary_5m_checkpoint_epoch_1_step_240 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/preliminary_5m_checkpoint_epoch_1_step_320 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/preliminary_5m_checkpoint_epoch_1_step_520 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

Карточка модели JaehyeokLee/preliminary_5m_checkpoint_epoch_1_step_800 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.