I.1Поиск и навигация по информации

Madras1/minilm-gooaq-mnr-v3 — англоязычный энкодер предложений на архитектуре BERT, дообученный на базе sentence-transformers/all-MiniLM-L6-v2. Разработчик карточки описывает обучение на 350 000 пар текстов с функцией потерь MultipleNegativesRankingLoss. Модель преобразует предложения и абзацы в плотные векторы размерности 384, нормализует их и использует косинусное сходство для сравнения. Максимальная длина последовательности в README — 256 токенов; метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Её можно применять, например, для поиска ответов, связанных с вопросом, в коллекции документов. Поддерживается работа с текстом; основной язык базовой модели — английский. Лицензия в предоставленных сведениях не указана.

narraticlabs разработала MiniLM-L6-european-union — компактную модель Sentence Transformers на архитектуре BERT, полученную дистилляцией paraphrase-MiniLM-L12 и сокращением до 6 слоёв. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для сравнения смысла и поиска семантически похожих текстов. Модель подходит для семантического поиска и кластеризации текстов на языках Европейского союза. Модель содержит 110,2 млн параметров, принимает текст и имеет контекстное окно 512 токенов. В метаданных перечислена поддержка английского, немецкого, французского, испанского, итальянского, нидерландского, польского, португальского, венгерского, румынского, шведского, датского, финского, чешского, греческого, болгарского, хорватского, эстонского, латышского, литовского, мальтийского, словацкого и словенского языков. Репозиторий использует формат safetensors; лицензия — Apache-2.0.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122234122-best на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122235004-best на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122235004-latest на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.

tanbinh2210/mlm_finetuned_phobert — модель Sentence Transformers, дообученная разработчиком tanbinh2210 на базе tanbinh2210/mlm_trained_phobert. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости по косинусному сходству. Модель основана на RoBERTa и использует усреднение токенных представлений; размер составляет 162,4 млн параметров, максимальная длина последовательности — 258 токенов по метаданным. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. При обучении использовалась функция MultipleNegativesRankingLoss и набор данных из 357 024 примеров с запросами, положительными и отрицательными текстами. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Карточка модели mono-of-pg/mmarco-mMiniLMv2-L12-H384-v1-gguf на Hugging Face совпадает с карточкой cross-encoder/mmarco-mMiniLMv2-L12-H384-v1, поэтому описание составлено по ней. Это мультиязычная модель Cross-Encoder семейства XLM-RoBERTa, дообученная авторами Sentence Transformers на MMARCO — автоматически переведённой на 14 языков версии датасета MS MARCO. Модель основана на mMiniLMv2-L12-H384, содержит 124,3 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель предназначена для повторного ранжирования результатов информационного поиска: она получает запрос и отдельный найденный фрагмент текста, оценивает их релевантность, после чего фрагменты можно отсортировать по оценкам. Подходит для этапа reranking после первичного поиска, например, в поисковой системе или конвейере RAG. Карточка отмечает поддержку 14 языков и сообщает, что модель также хорошо показала себя на других языках. Доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO; для использования предусмотрена библиотека Sentence Transformers. Лицензия — Apache-2.0. Обучение на машинных переводах MS MARCO может ограничивать качество на языках и типах запросов, отличающихся от обучающих данных.

mmBERT-Embed-32K-2D-Matryoshka — мультиязычная модель для получения векторных представлений текстов, разработанная vllm-sr и дообученная на базе vllm-sr/mmbert-32k-yarn. Это энкодер ModernBERT с 306,9 млн параметров и контекстом до 32 768 токенов; модель рассчитана на широкий круг языков, включая низкоресурсные, и обучалась на многоязычных парах запросов и документов из BAAI/bge-m3-data. Модель предназначена для поиска по смыслу, семантического сопоставления, классификации и извлечения релевантных документов в RAG-системах, в том числе при работе с длинными текстами. Поддерживает 2D Matryoshka: можно уменьшать размерность эмбеддингов и использовать выходы промежуточных слоёв для компромисса между качеством, скоростью и объёмом хранения. В README приведены результаты MTEB и STS, однако качество зависит от языка и сценария; при сокращении числа слоёв оно заметно снижается. Для других задач может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

Карточка модели Alexhuou/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-large, поэтому описание составлено по ней. gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.

Карточка модели arnaultsta/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Карточка модели Ruthvikkk/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Карточка модели adriencleme/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Это дообученная модель Sentence Transformers на базе endre01/e5-small-v2_st, разработанная для преобразования предложений и абзацев в плотные текстовые эмбеддинги размерностью 384. В основе архитектуры — BERT с усреднением токеновых представлений; модель вычисляет сходство по косинусной мере и поддерживает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Эмбеддинги можно применять для сопоставления запросов с документами и группировки похожих фрагментов. В карточке не указаны специальные предметные ограничения или языковой охват. Лицензия не указана в предоставленных данных.

Карточка модели OmarIDK/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Карточка модели Ruthvikkk/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

MNLP_M3_document_encoder — дообученный Stergios Konstantinidis текстовый энкодер на базе sucharush/e5_stem_finetuned. Модель построена на BERT с Sentence Transformers: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотные векторы размерности 768. Для сравнения векторов используется косинусное сходство; максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Карточка сообщает о дообучении на 99 980 примерах с ContrastiveTensionLoss. Языковая специализация и лицензия в предоставленных данных не описаны.

Карточка модели novelcore/model15 на Hugging Face совпадает с карточкой thenlper/gte-small, поэтому описание составлено по ней. gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Карточка модели novelcore/model7 на Hugging Face совпадает с карточкой sentence-transformers/all-distilroberta-v1, поэтому описание составлено по ней. all-distilroberta-v1 — модель Sentence Transformers на архитектуре DistilRoBERTa, разработанная в рамках Hugging Face Community Week для проекта по обучению эмбеддингов предложений на большом наборе пар. Модель дообучена на базе distilroberta-base контрастивным обучением на более чем 1 млрд пар предложений. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, оценки сходства и кластеризации текста. Модель принимает текст и выдаёт векторные представления. В README указано усечение входа длиннее 128 word pieces; метаданные сообщают контекстное окно 514 токенов. В карточке отмечен английский язык. Репозиторий содержит веса PyTorch и варианты ONNX, OpenVINO и safetensors. Модель распространяется по лицензии Apache-2.0. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Она не предназначена для генерации ответов; качество зависит от соответствия языка и предметной области обучающим данным, а длинные входы ограничиваются усечением.

ModernBERT-embed-large — модель LightOn на архитектуре ModernBERT для создания векторных представлений текста и сравнения сходства предложений. Она основана на ModernBERT-large и объединяет его с ModernBERT-embed-large-unsupervised; модель дообучалась на слабоконтролируемых и размеченных наборах данных Nomic Embed. Веса содержат около 394,7 млн параметров, поддерживают контекст до 8192 токенов и эмбеддинги размерностью 1024, которые можно сократить до 256 с помощью Matryoshka Representation Learning. Модель предназначена для семантического поиска, извлечения релевантных документов, кластеризации, классификации и оценки сходства пар текстов. В карточке приведены результаты на бенчмарке MTEB по поиску, переранжированию, классификации и другим задачам. Вход и выход — текст и его векторное представление. Основной заявленный язык — английский. Доступны форматы safetensors и ONNX; карточка описывает использование через Transformers, Sentence Transformers и Transformers.js. Лицензия — Apache-2.0. Качество может зависеть от предметной области и языка; результаты при сокращении вектора немного отличаются от результатов с полным вектором. Оценки бенчмарков не гарантируют аналогичное качество на конкретных данных.

ModernUzBERT — модель векторных представлений предложений для узбекского языка на архитектуре ModernBERT. Она разработана для семантического поиска и представления документов; согласно карточке, модель обучалась на узбекском корпусе и дообучалась на 30 тысячах пар вопросов и ответов. Размер модели — 150,2 млн параметров, максимальная длина контекста — 8192 токена по метаданным Hugging Face. README указывает среднее объединение токенных представлений в Sentence Transformers и сообщает о результатах тестирования поиска, включая Recall@1 0,62 и Recall@5 0,88. Модель подходит для поиска релевантных текстов и сопоставления предложений на узбекском языке, в том числе в системах поиска по вопросам и документам. Она принимает текст и выдаёт эмбеддинги, пригодные для вычисления семантической близости. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

cross-encoder/monoelectra-base — англоязычный кросс-энкодер для ранжирования текстов, перенесённый из webis/monoelectra-base в библиотеки Sentence Transformers и Transformers. Модель основана на ELECTRA и содержит 136,7 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для второго этапа retrieve-rerank: она оценивает пары «запрос — найденный фрагмент» и переупорядочивает результаты, полученные поисковым движком, например BM25 или моделью эмбеддингов. Также метаданные указывают поддержку классификации текста. Доступны форматы safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. README описывает перенос модели в другой интерфейс, а метаданные указывают дообучение от google/electra-base-discriminator. Модель ориентирована на английский язык; её контекст ограничен 512 токенами, поэтому длинные пары текстов требуют усечения или разбиения.

hlyu/mpnet_14710 — модель на основе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 61,2 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Векторы можно использовать для поиска похожих текстов и группировки семантически близких предложений. Для работы предусмотрены Sentence-Transformers и Hugging Face Transformers; при использовании Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. Модель опубликована под идентификатором hlyu/mpnet_14710; сведения о лицензии в доступных данных отсутствуют.

Это англоязычная модель Sentence Transformers, дообученная tomaarsen на microsoft/mpnet-base с использованием набора gooaq-hard-negatives и функции потерь MultipleNegativesBidirectionalRankingLoss. Архитектура MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для представления последовательности используется среднее по токенам, а сходство измеряется косинусом. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, оценку сходства предложений, поиск перефразировок, кластеризацию и классификацию текста. В карточке приведена оценка на gooaq-dev: cosine_accuracy@1 — 0,589, @3 — 0,723, @5 — 0,776. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0.

Это модель Sentence Transformer на базе microsoft/mpnet-base, дообученная авторами репозитория tomaarsen на наборе GooAQ с учётом квантования. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 768; сходство между текстами оценивается косинусной близостью. Архитектура использует MPNet и усреднение токенных представлений, максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, в том числе вопросов и ответов. Её можно применять для поиска похожих вопросов, извлечения релевантных ответов, кластеризации и классификации текста на основе эмбеддингов. Обучение на GooAQ включает 90 тысяч пар вопрос–ответ; в README приведены оценки поиска для представлений float32, int8 и binary. Модель принимает текст и выдаёт векторные представления. Она ориентирована на английский язык и не является генеративной моделью. Лицензия — Apache-2.0.

din0s/mpnet-base-nq-prompts-baseline — текстовая модель Sentence Transformers, дообученная на наборе Natural Questions на базе microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерности 768 и сравнивает их косинусным сходством; модель предназначена для семантического поиска и сопоставления текстов. Архитектура состоит из MPNetModel и слоя mean pooling, максимальная длина входа — 512 токенов. Модель рассчитана на английский язык и выпущена под лицензией Apache-2.0. Её можно применять для поиска релевантных ответов на вопросы, оценки семантической близости предложений, поиска перефразировок, кластеризации и классификации текстов. Карточка приводит результаты на наборах для информационного поиска и NanoBEIR, но качество может различаться на данных других тематик и языков; это модель эмбеддингов, а не генератор ответов.

BlazingFringe/mpnet-mnr-v2-fine-tuned — модель Sentence-Transformers на архитектуре MPNet, разработанная на основе MPNet и дообученная с MultipleNegativesRankingLoss для сравнения предложений по косинусному сходству. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и оценки сходства текстов. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Её можно использовать в конвейерах поиска и группировки текстовых фрагментов; для работы доступны Sentence-Transformers и Transformers с подходящим pooling. В карточке указаны наборы данных ANLI и GLUE. Языки обучения или приоритетные языки не установлены по имеющимся сведениям. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

jamescalam/mpnet-qa — модель на базе MPNet, опубликованная James Calam и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, которые подходят для семантического поиска, сравнения сходства и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства. Её можно использовать с Sentence-Transformers или Transformers, применяя корректную операцию pooling. Лицензия и конкретные поддерживаемые языки в предоставленных данных не указаны.

msmarco-distilbert-base-dot-prod-v3 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска и кластеризации текстов. Архитектура основана на DistilBERT; модель поддерживает контекст до 512 токенов и работает с библиотекой Sentence-Transformers. Векторы можно применять для поиска текстов по смыслу и группировки похожих предложений или документов. Лицензия Apache-2.0 разрешает использование на её условиях.

sentence-transformers/msmarco-distilbert-base-v2 — модель Sentence-Transformers, обученная командой Sentence Transformers на базе DistilBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства, кластеризации и других задач с текстовыми эмбеддингами. Модель принимает текст, использует архитектуру DistilBERT и рассчитана на контекст до 512 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0.

sentence-transformers/msmarco-distilbert-base-v3 — модель Sentence Transformers на архитектуре DistilBERT, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, семантического поиска и кластеризации текстов. Модель рассчитана на текстовый ввод и выдаёт векторные представления; максимальная длина контекста составляет 512 токенов. Модель можно применять для поиска фрагментов по смыслу, группировки похожих предложений и вычисления семантического сходства. Для работы предусмотрены форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; удобный интерфейс предоставляет библиотека Sentence Transformers. Репозиторий распространяется по лицензии Apache 2.0. Карточка не приводит сведений о поддерживаемых естественных языках, поэтому языковую специализацию модели определить нельзя.