I.12Рекомендации и персонализация

aloobun разработал эту Sentence Transformer на основе aloobun/d-mxbai-L8-embed, дообучив её для работы с несколькими индийскими языками. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать по косинусному сходству. В README указана максимальная длина последовательности 128 токенов, а в метаданных — 512 токенов; это расхождение требует проверки при настройке обработки длинных текстов. Модель предназначена для поиска по смыслу и сопоставления текстов на английском и бенгальском, гуджаратском, хинди, каннада, малаялам, маратхи, тамильском и телугу. Её можно применять для поиска семантически близких предложений, оценки сходства, поиска перефразирований, кластеризации и классификации текстов. Репозиторий распространяется по лицензии Apache-2.0. В README приведены результаты оценки для языковых пар с английским; показатели сходства заметно различаются между языками и в некоторых случаях низкие или отрицательные. Поэтому качество следует проверять на данных и сценариях конкретного применения; модель не генерирует текст, а возвращает векторы для последующей обработки.

IndicSBERT-STS — модель семейства Sentence-BERT от L3Cube-Pune, выпущенная в рамках проекта MahaNLP. Она построена на архитектуре BERT и обучена на данных STS для десяти крупных индийских языков; одна модель сопоставляет предложения на английском, хинди, маратхи, каннада, тамильском, телугу, гуджарати, ория, пенджаби, малаялам и бенгальском, в том числе между языками. Модель предназначена для получения векторных представлений предложений и оценки их семантического сходства; размер составляет 264,8 млн параметров, максимальный контекст — 512 токенов. Её можно применять для поиска похожих предложений, межъязыкового сопоставления и построения семантического поиска по текстам на поддерживаемых языках. Лицензия CC BY 4.0 требует указания авторства. Карточка рекомендует Sentence-Transformers либо применение подходящего pooling поверх контекстных представлений BERT при использовании Transformers.

Это порт модели эмбеддингов Jina AI v5 Text Small Clustering для Apple Silicon. Модель построена на архитектуре Qwen3-0.6B и использует предварительно объединённые адаптеры LoRA для задач кластеризации. Версия MLX предназначена для запуска на устройствах Apple Silicon с ускорением Metal. Модель кодирует поисковые запросы и документы или фрагменты текста в векторы размерностью до 1024. Поддерживается усечение эмбеддингов по схеме Matryoshka до 32, 64, 128, 256, 512, 768 или 1024 измерений. Максимальная длина последовательности — 32 768 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Merino-XL-v2 — мультиязычная модель для поиска и ранжирования документов, разработанная BAA AI (Black Sheep AI). Она объединяет биэнкодер для получения эмбеддингов запросов и документов и кросс-энкодер для оценки релевантности пары «запрос — документ». Обе части построены на общей таблице входных эмбеддингов и используют основу xlm-roberta-large; всего около 880 млн параметров. Для поиска модель выдаёт L2-нормализованные векторы размерности 1024; к запросам перед вычислением эмбеддинга добавляют префикс «query: ». Для переранжирования она возвращает один логит релевантности на пару запроса и документа. Модель предназначена для двух этапов RAG-поиска: первичного извлечения кандидатов и последующего переранжирования. Разработчик сообщает, что модель снята с рекомендуемой линейки: её заменили Merino-Large и Merino-Large-v2, которые не уступают или превосходят её по оценкам и дешевле в обслуживании. Четырёхбитный вариант не прошёл проверку устойчивости к отвлекающим документам; доступны веса fp16 для воспроизводимости. Лицензия в метаданных обозначена как «other», поэтому условия использования следует сверить с лицензией репозитория.

MiniCPM-Embedding — двуязычная модель текстовых эмбеддингов для поиска, разработанная ModelBest, лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для семантического поиска на китайском и английском языках, а также для межъязыкового поиска между ними, в том числе в системах RAG. Модель основана на MiniCPM-2B-sft-bf16 и дообучена на примерно 6 млн открытых, синтетических и закрытых примеров в несколько этапов. Архитектура использует двунаправленное внимание и взвешенный mean pooling. Размер по метаданным — 2,7 млрд параметров; README указывает 2,4 млрд. Размерность эмбеддингов — 2304, максимальная длина входа — 512 токенов. Для запроса можно добавить инструкцию; документы подаются как обычный текст. Модель подходит для поиска по коллекциям документов и межъязычного поиска китайский—английский. Карточка сообщает о тестировании на бенчмарках BEIR и C-MTEB/Retrieval, но приведённые таблицы неполны, поэтому по ним нельзя сделать полный вывод о качестве. Лицензия в предоставленных данных не указана.

Карточка модели avsolatorio/MixEmbed-base-20240110153733-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

nickprock/ModernBERT-base-sts — англоязычная модель Sentence Transformer, дообученная автором на answerdotai/ModernBERT-base с использованием датасета STSB и функции потерь CoSENTLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768, а сходство между ними оценивается косинусной мерой. Модель построена на ModernBERT и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для оценки семантического сходства предложений; её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты на STS-dev и STS-test: Spearman по косинусному сходству составляет 0,8877 и 0,8684 соответственно. Обучение и оценка описаны для английского языка, поэтому качество на других языках не подтверждено. Лицензия в предоставленных данных не указана.

flax-sentence-embeddings/multi-qa_v1-MiniLM-L6-mean_cos — модель SentenceTransformers для преобразования предложений и вопросов в векторные представления. Её разработали участники Hugging Face Community Week в рамках проекта по обучению моделей эмбеддингов; за основу взяли nreimers/MiniLM-L6-H384-uncased и дообучили на парах «вопрос — ответ» с помощью сиамской сети и контрастивного обучения. Вектор предложения формируется усреднением скрытых состояний BERT-подобной архитектуры MiniLM с 25,9 млн параметров. Модель предназначена для семантического поиска, сравнения сходства вопросов и ответов, кластеризации текстов и других сценариев, где нужно сопоставлять предложения по смыслу. Она принимает текст и выдаёт эмбеддинги; модель обучалась на данных Stack Exchange, MSMARCO, Natural Questions и TriviaQA. Контекст ограничен 512 токенами, а при обучении длина последовательности ограничивалась 128 токенами. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Карточка модели JaehyeokLee/preliminary_5m_checkpoint_epoch_1_step_40 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

RTriever-4B — плотная модель для извлечения текстовых эмбеддингов, разработанная на базе Qwen/Qwen3-Embedding-4B и дообученная для поиска, требующего многошаговых рассуждений и объединения взаимодополняющих свидетельств. Модель содержит около 3,7 млрд параметров, построена на архитектуре Qwen3 и работает с текстом; её можно загружать через sentence-transformers или Transformers с ручным объединением токенов. Контекст составляет до 40 960 токенов по метаданным, а README указывает поддержку длинных входов до 32 тысяч токенов. Модель предназначена для семантического поиска по запросам и документам, в том числе для RAG, поиска научных материалов и агентных поисковых систем. Для запросов требуется инструкция: в sentence-transformers можно использовать prompt_name="query", тогда как документы кодируются без неё. Векторы нормализованы по L2, поэтому косинусное сходство можно считать скалярным произведением. Для специализированных областей полезно задавать собственный шаблон запроса; длинные документы рекомендуется ограничивать 4–8 тысячами токенов ради стоимости вычислений. Лицензия — MIT.

Модель hiiamsid/sentence_similarity_spanish_es — испаноязычная модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она построена на архитектуре BERT и предназначена для вычисления семантического сходства, семантического поиска и кластеризации текстов на испанском языке. В метаданных указано 137,1 млн параметров и контекст до 512 токенов. Модель дообучена на основе dccuchile/bert-base-spanish-wwm-cased с использованием датасета stsb_multi_mt и функции потерь CosineSimilarityLoss. Веса доступны в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Она выдаёт эмбеддинги, а качество результатов зависит от соответствия входных текстов испанскому языку и ограничения контекста.

MajidFQ разработал эту модель на базе intfloat/e5-base-v2 для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Она построена на архитектуре BERT и Sentence Transformers: использует усреднение токеновых представлений и нормализацию векторов. Размерность эмбеддинга — 768, функция сходства — косинусная, максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска парафраз, кластеризации и классификации. В частности, её можно применять для маршрутизации запросов по категориям бизнеса и сопоставления запросов с описаниями категорий. Обучение проводилось на 48 425 примерах пар предложений с оценками сходства. Модель принимает текст и выдаёт векторы; английская базовая модель и примеры в карточке не подтверждают поддержку других языков. Лицензия в предоставленных данных не указана.

lightonai/answerai-colbert-small-v1 — модель ColBERT в формате PyLate, основанная на answerdotai/answerai-colbert-small-v1 и подготовленная для работы с библиотекой PyLate. Это компактная BERT-модель примерно с 40 млн параметров: она кодирует запросы и документы в последовательности 96-мерных векторов и оценивает их сходство оператором MaxSim. Для запросов предусмотрено до 32 токенов, для документов — около 300; максимальный контекст по метаданным составляет 512 токенов. Модель предназначена для семантического поиска по коллекциям текстов и переранжирования результатов, в том числе в RAG-системах. Её можно использовать для получения векторных представлений запросов и документов, поиска релевантных фрагментов и вычисления оценок сходства. Карточка указывает английский базовый ретривер; поддержка других языков не заявлена. Репозиторий распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

jegormeister/bert-base-dutch-cased — модель Sentence-Transformers на базе BERT, обученная для получения векторных представлений предложений и абзацев на нидерландском языке. Она кодирует текст в плотные векторы размерностью 256 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель содержит 136,3 млн параметров, принимает текстовые входы с контекстом до 512 токенов и распространяется в формате PyTorch. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Для работы доступны Sentence-Transformers и Transformers; при использовании Transformers поверх выходов трансформера требуется применить подходящий pooling. Модель предназначена для построения эмбеддингов, а не для генерации текста. В README не названа лицензия, поэтому условия использования по имеющимся сведениям определить нельзя.

Это модель Sentence Transformers, разработанная на базе tintnguyen/bert-base-vi-uncased и дообученная для сопоставления предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать по косинусной близости. Модель построена на BERT с усреднением токенных представлений, принимает последовательности длиной до 512 токенов и предназначена прежде всего для вьетнамского текста. Модель подходит для семантического поиска, поиска перефразировок и тематической кластеризации текста. В README также указаны задачи классификации текста и семантического сходства. Обучающие примеры состоят из пар anchor-positive; указан размер обучающего набора — 631 587 примеров. Модель выдаёт эмбеддинги, а не готовые ответы на вопросы или метки классов. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

Binh230/bge-m3-finetuned-2 — модель Sentence Transformers на базе XLM-RoBERTa, дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует текст в векторы размерностью 1024 и предназначена для семантического поиска, сравнения сходства, поиска перефразирований, кластеризации и классификации текстов. Модель поддерживает последовательности до 8192 токенов; сходство векторов оценивается косинусной мерой. Для обучения использовано 68 042 парных примера, а архитектура включает трансформер, pooling по CLS-токену и нормализацию векторов. В примерах обучающих данных есть вьетнамские вопросы и фрагменты нормативных документов, поэтому модель подходит для поиска и сопоставления вьетнамских текстов. Лицензия в предоставленных данных не указана.

davidoneil/decisoes-processos-tce-ft-gemma — модель Sentence Transformer, созданная дообучением google/embeddinggemma-300m на 49 816 обучающих примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразирований, классификации и кластеризации. Модель принимает текст длиной до 2048 токенов и выдаёт эмбеддинги. В карточке приведены примеры обучающих данных с длинными текстами, но их тематика и поддерживаемые языки не определены, поэтому специализацию по области или языку установить нельзя. Репозиторий использует библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных сведениях не указана.

Dewey EN Beta — англоязычная модель эмбеддингов от NovaSearch Team, разработанная совместно с Richinfo на базе answerdotai/ModernBERT-large. Это дообученный двунаправленный энкодер ModernBERT с 394,7 млн параметров; веса опубликованы в формате safetensors, лицензия — MIT. Модель принимает английский текст и строит векторные представления для поиска и сравнения текстов. Контекстное окно достигает 131 072 токенов. Модель поддерживает представление одним вектором и набором векторов по смысловым фрагментам; для поиска документов запрос кодируют одним вектором, а релевантность документа определяют по максимальному сходству с его векторами фрагментов. В README рекомендовано добавлять специальные промпты для поиска, семантического сходства, классификации и кластеризации. Авторы заявляют о сильных результатах на коротких и длинных англоязычных тестах, однако эти оценки приведены в карточке модели и не являются независимой гарантией качества. Модель подходит для семантического поиска по длинным документам, сходства предложений, кластеризации и классификации текстов. Авторы называют её альфа- или бета-версией и отмечают, что на коротких текстах она может уступать специализированным моделям эмбеддингов; поддерживается только английский язык.

IndicSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она основана на google/muril-base-cased и дообучена на наборе данных NLI для десяти основных индийских языков; поддерживает также английский и межъязыковое сравнение предложений. Модель создаёт векторные представления предложений для оценки их смыслового сходства и извлечения признаков. Размер составляет 264,8 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения предложений и задач, где требуется сопоставлять тексты на разных языках. Карточка описывает применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Доступна по лицензии CC BY 4.0, требующей указания авторства. README отмечает, что отдельная дообученная версия для сходства предложений опубликована отдельно.

jina-embeddings-v5-omni-nano-clustering-GGUF — мультимодальная модель эмбеддингов, разработанная Jina AI и представленная в формате GGUF для llama.cpp. Это квантованный вариант jinaai/jina-embeddings-v5-omni-nano-clustering с текстовой, визуальной и аудиокомпонентами; модель преобразует текст, изображения, видео и аудио в 768-мерные векторы единого пространства. Благодаря этому документы можно индексировать с использованием текста, а выполнять поиск или сопоставление — по любой поддерживаемой модальности без переиндексации. Модель предназначена прежде всего для кластеризации мультимодальных данных и поддерживает контекст до 8192 токенов. Она использует pooling по последнему токену, содержит около 0,95 млрд параметров и поддерживает Matryoshka-размерности эмбеддингов 32, 64, 128, 256, 512 и 768. Заявлены входы в распространённых форматах изображений, видео и аудио, а также PDF. Доступны F16 и 13 уровней int-квантизации текстовой части; мультимодальные проекторы поставляются в F16. Сильные стороны модели — единое векторное пространство для нескольких модальностей, компактный размер, возможность локального запуска через llama.cpp и уменьшения размерности вектора под требования приложения. Ограничения связаны с тем, что для мультимодального режима требуются специальные патчи Jina AI для llama.cpp, которые, согласно README, ещё не включены в upstream-версию; также численные бенчмарки и дополнительные ограничения вынесены в отдельную документацию. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер лицензии.

Merino-XL — мультиязычная модель для поиска по документам от BAA AI (Black Sheep AI). Она объединяет bi-encoder для получения 1024-мерных L2-нормализованных эмбеддингов и cross-encoder для оценки релевантности пары «запрос — документ» одним логитом. Обе части используют основу xlm-roberta-large и общую матрицу входных эмбеддингов, что позволяет хранить её один раз; заявлено, что это уменьшает размер загрузки без измеримой потери качества. Модель предназначена для двух этапов RAG-поиска: векторного извлечения кандидатов и их последующего ранжирования. README указывает около 880 млн параметров суммарно и мультиязычную поддержку. Модель снята с рекомендуемой линейки и заменена Merino-Large и Merino-Large-v2; её fp16-веса оставлены для воспроизводимости. 4-битный вариант не опубликован из-за регрессии устойчивости в проверке с отвлекающими документами. Лицензия в метаданных обозначена как other, без конкретных условий в предоставленных данных.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123004625-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240123184551-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240124231910-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240125001833-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

flax-sentence-embeddings/mpnet_stackexchange_v1 — модель SentenceTransformers на основе MPNet-base, разработанная в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Её дообучили сиамским методом с контрастивной целью на парах вопросов и ответов StackExchange, а также на данных MS MARCO, NQ и других наборов вопросов и ответов. В репозитории указана архитектура MPNet, размер около 136,7 млн параметров и контекст до 514 токенов. Модель кодирует текст в векторы, отражающие его смысл. Она предназначена для семантического поиска и поиска ответов по вопросам; эмбеддинги также можно применять для оценки сходства предложений и кластеризации. Обучение ограничивало длину последовательности 128 токенами, поэтому качество на более длинных текстах может снижаться. Формат весов — PyTorch; лицензия в предоставленных данных не указана.

flax-sentence-embeddings/multi-qa_v1-MiniLM-L6-cls_dot — модель SentenceTransformers для преобразования предложений и коротких текстов в векторы, пригодные для поиска и сравнения смысла. Её разработали в рамках Hugging Face Community Week для проекта по обучению моделей эмбеддингов; модель основана на предварительно обученной nreimers/MiniLM-L6-H384-uncased и дообучена контрастивным обучением на парах вопрос–ответ, включая данные StackExchange, MSMARCO и NQ. Это плотная BERT-модель с 25,9 млн параметров. Для представления предложения используется выход CLS, а близость векторов оценивается скалярным произведением. Модель предназначена для семантического поиска, оценки сходства предложений и кластеризации; её можно использовать для поиска подходящих ответов по запросу или группировки похожих вопросов. Максимальная длина контекста — 512 токенов. Модель выдаёт текстовые эмбеддинги, а не готовые ответы. Качество особенно ориентировано на сопоставление вопросов и ответов; доступные сведения не подтверждают поддержку русского языка или оценку качества на других языках и задачах. В карточке не указана лицензия.

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_180 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.