I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейЭто дообученная модель Sentence Transformers на архитектуре BERT, созданная на основе BAAI/bge-large-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и нормализует их; сходство текстов оценивается косинусным сходством. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Её можно применять для получения эмбеддингов документов и запросов, а также для оценки близости предложений. README не сообщает языковой состав обучающих данных, поэтому языковую специализацию модели установить нельзя. Репозиторий содержит веса в формате safetensors; метаданные не указывают лицензию.
Это дообученная модель Sentence Transformer на базе BAAI/bge-large-en-v1.5 для преобразования предложений и абзацев в плотные векторы размерности 1024. Архитектура включает BertModel, пулинг по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Разработчик конкретного дообучения и обучающие данные в карточке не описаны. Модель предназначена для вычисления семантического сходства и поиска по тексту, а также для поиска перефразировок, кластеризации и классификации текстов. Нормализованные эмбеддинги сравниваются косинусным сходством. Репозиторий создан 17 ноября 2024 года и содержит веса safetensors. Условия лицензии в предоставленных данных не указаны.
Это конвертированная и квантованная до INT8 версия BAAI/bge-m3 от libryo-ai. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и принимает текст для извлечения плотных векторных представлений. Она предназначена для использования в качестве векторного ретривера, в частности с Vespa Embedding; контекст составляет до 8194 токенов. Модель подходит для создания эмбеддингов и семантического поиска по текстам. Репозиторий содержит ONNX-файл, подготовленный для выполнения в INT8 с помощью toolkit optimum. Лицензия — MIT. README описывает только плотный ретривер и не подтверждает наличие других возможностей BAAI/bge-m3 в этой сборке.
flaglow/BAAI-bge-reranker-v2-m3-mlx-fp16 — MLX-совместимая версия модели BAAI/bge-reranker-v2-m3, разработанной Beijing Academy of Artificial Intelligence (BAAI) и подготовленной пользователем flaglow для локального запуска через MLX. Это не генеративная модель общего назначения, а многоязычный reranker для оценки релевантности пары «запрос—документ» и переупорядочивания результатов поиска, например в системах семантического поиска и Retrieval-Augmented Generation. На вход подаются запрос и текстовый фрагмент, на выходе — числовой score релевантности; при необходимости его можно преобразовать в значение от 0 до 1 с помощью sigmoid-функции. Модель содержит около 0,6 млрд параметров и основана на семействе BGE-M3 с архитектурой XLM-RoBERTa; исходная модель позиционируется как multilingual и поддерживает несколько языков, но точный перечень языков для этой производной версии в её карточке не указан. В примерах исходной модели используется ограничение длины входа 512 токенов. Репозиторий flaglow содержит MLX-представление в формате Safetensors; карточка указывает совместимость с MLX и размер около 2,27 ГБ, однако собственная документация производной версии отсутствует, поэтому детали конвертации и фактического числового формата следует проверять по файлам модели. Сильные стороны модели — многоязычное ранжирование, сравнительно небольшой размер и возможность эффективного локального запуска на совместимом оборудовании. Ограничения — модель предназначена для оценки релевантности, а не для самостоятельной генерации ответов; качество зависит от языка, домена и длины входных текстов. Для исходной BAAI/bge-reranker-v2-m3 указана лицензия Apache-2.0; отдельная лицензия производного репозитория flaglow в доступной карточке явно не описана.
Карточка модели culudamar/baseline-test-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
Карточка модели efeturkol/bddk-embedding-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
Модель shreyansh26/bert-base-1024-biencoder-64M-pairs — двубашенный энкодер предложений на архитектуре BERT, основанный на предварительно обученной MosaicML BERT. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и кластеризации. В README указана обработка последовательностей длиной до 1024 токенов; метаданные модели указывают 136,7 млн параметров и контекст 512 токенов. Модель предназначена для поиска семантически близких текстов, извлечения документов и пассажей, а также сравнения и группировки предложений. В метаданных отмечен английский язык, а среди датасетов для обучения и оценки перечислены MS MARCO, SNLI, MultiNLI и другие наборы для поиска и текстового сходства. Репозиторий содержит веса PyTorch; для использования предлагаются Transformers и специализированная реализация Mosaic BERT. Лицензия в предоставленных данных не указана. Между README и метаданными есть расхождение по длине контекста: README сообщает 1024 токена, метаданные — 512; фактический рабочий предел следует проверять по конфигурации и токенизатору модели.
Эта модель Sentence Transformers разработана на основе google-bert/bert-base-uncased и дообучена на наборе sentence-transformers/stsb для оценки смыслового сходства предложений. Она кодирует предложения и абзацы в плотные векторы размерностью 768, сравниваемые косинусной близостью; архитектура включает BERT и усреднение токенных представлений. Модель рассчитана на английский язык. В метаданных указан контекст до 512 токенов, а в карточке модели — максимальная длина последовательности 128 токенов. Подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки на STS-test, однако агрегированные показатели могут различаться между таблицами. Лицензия в предоставленных данных не указана.
Модель tomaarsen/bert-base-uncased-gooaq-og — англоязычная модель Sentence Transformers, созданная дообучением google-bert/bert-base-uncased на наборе вопросов и ответов sentence-transformers/gooaq. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством; максимальная длина входа — 512 токенов. Архитектура состоит из BERT и среднего пулинга токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, выявление перефразировок, кластеризацию и классификацию текста с последующим обучением классификатора. В README приведены результаты оценки поиска на gooaq-dev. Модель принимает текст и возвращает векторы; сама по себе она не генерирует ответы. Лицензия — Apache-2.0.
BERT-G1 — модель на архитектуре BERT, опубликованная пользователем reasonwang. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель обучена с использованием MultipleNegativesRankingLoss и косинусного сходства; размер составляет 136,7 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для получения эмбеддингов текста и задач поиска или группировки текстов по смыслу. Для работы доступны Sentence-Transformers и Transformers; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В репозитории указаны веса safetensors. Языки обучения и лицензия в предоставленных данных не указаны.
BEE-spoke-data/bert-plus-L8-v1.0-syntheticSTS-4k — модель эмбеддингов на архитектуре BERT, разработанная BEE-spoke-data на базе BEE-spoke-data/bert-plus-L8-v1.0-allNLI_matryoshka. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов и кластеризации. Модель дообучена на синтетических данных о сходстве текстов; поддерживает Matryoshka-размерности 768, 512, 256, 128 и 64, а контекст составляет до 4096 токенов. Её можно применять для семантического поиска, сравнения сходства текстов и группировки документов по смыслу. Репозиторий содержит веса Safetensors и формат ONNX; модель рассчитана на английский язык. Лицензия — Apache-2.0.
Shobhank-iiitdwd/BERT-snli-mnli-stsb — модель на основе BERT, представленная в формате sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения сходства и кластеризации текстов. Модель содержит 136,7 млн параметров, работает с текстом и принимает последовательности длиной до 512 токенов. Модель обучалась с функцией CosineSimilarityLoss и подходит для построения семантического поиска и группировки похожих текстов. Веса доступны в формате PyTorch. В карточке не указаны лицензия и явные ограничения на применение.
abhijitt/bert_st_qa_multi-qa-mpnet-base-cos-v1-epochs-10 — модель на архитектуре MPNet, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусной мерой сходства. Модель подходит для построения поисковых индексов по текстам и группировки похожих фрагментов. В карточке указана библиотека Sentence-Transformers и формат PyTorch; сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.
swardiantara/bert-tiny-snli-k3-adaptive-euclidean — компактная модель Sentence Transformers, дообученная разработчиком на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 128 для поиска и сравнения текстов; сходство оценивается косинусной мерой. Архитектура состоит из BERT с двумя слоями и mean pooling. Модель содержит 4,4 млн параметров, принимает текст длиной до 512 токенов по метаданным; в README для Sentence Transformers указана максимальная длина последовательности 128 токенов. Модель подходит для семантического поиска, извлечения релевантных текстов и сравнения предложений. Обучение проводилось на 3 845 587 примерах с парными текстами и оценками сходства. Компактный размер облегчает использование при ограниченных вычислительных ресурсах. README и метаданные не содержат сведений о лицензии, поэтому условия распространения следует проверить на странице репозитория.
swardiantara/bert-tiny-snli-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная разработчиком swardiantara на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерностью 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 128 токенов. Модель принимает текст и выдаёт эмбеддинги. Она обучалась на 549 412 примерах пар текстов с контрастивной функцией потерь. Базовая модель ориентирована на английский язык, а примеры в карточке также на английском. Условия лицензии в предоставленных данных не указаны.
Nhat1904/best_64_shots — модель Sentence-Transformers на архитектуре MPNet, разработчик которой в карточке не назван. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста составляет 514 токенов. В README указано обучение с функцией потерь CosineSimilarityLoss. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
emersoftware/beto-mlm-bcn-mnrl-msmarco-es-v2 — модель Sentence-Transformers на архитектуре BERT с 137,1 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; в карточке также заявлена поддержка извлечения признаков и сходства предложений. Максимальный контекст — 512 токенов. Модель рассчитана на работу с испанскими текстами, о чём говорит её идентификатор, связанный с BETO и MS MARCO на испанском языке. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Карточка модели OrcaDB/bge-base на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2, дообученная автором abdulrehman1998 для сопоставления предложений и абзацев. Она использует XLM-RoBERTa с mean pooling и формирует плотные векторы размерности 768; сходство текстов оценивается косинусной близостью. Метаданные указывают 305,2 млн параметров и контекст до 514 токенов, тогда как README задаёт максимальную длину последовательности 128 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации. Обучение описано на 4 001 примере с MultipleNegativesRankingLoss; README также упоминает 998 оценочных примеров. По базовой модели она многоязычная, однако конкретный набор языков этого чекпойнта в карточке не подтверждён. Лицензия в предоставленных данных не указана.
Англоязычная модель Sentence Transformer, дообученная автором aritrasen на BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и сравнения текстов. В архитектуре используются BERT, пулинг по CLS-токену и нормализация; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, подбора похожих предложений, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. В README указано обучение на 9 598 примерах с MultipleNegativesRankingLoss. Модель распространяется под лицензией базовой модели; сведения о лицензии в предоставленных данных отсутствуют.
Suva/bge-base-finetuned — модель эмбеддингов на основе архитектуры BERT, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Её можно применять для поиска похожих фрагментов, группировки текстов и получения векторных представлений для последующих задач. README и метаданные не указывают специализированную предметную область или поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.
gavinqiangli/bge-large-mpnet-base-all-nli-triplet-final-50000 — англоязычная модель Sentence Transformers, дообученная на наборе all-nli от BAAI/bge-large-en. Она кодирует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Модель построена на BERT и принимает последовательности длиной до 512 токенов. Модель подходит для оценки семантической близости предложений, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно использовать для поиска похожих фрагментов в корпусе, сопоставления запроса с документами и группировки текстов по смыслу. В README приведена оценка cosine_accuracy 0,8776 на all-nli-test с TripletEvaluator; она не гарантирует аналогичного качества на других данных. Модель опубликована под лицензией, указанной в метаданных Hugging Face; в предоставленных метаданных её значение отсутствует, поэтому условия лицензирования по этим источникам определить нельзя.
Карточка модели jackhsuster/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.
Карточка модели ryanx0019/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.
Shitao/bge-m3 — модель для получения векторных представлений предложений и абзацев на основе архитектуры XLM-RoBERTa. Она преобразует текст в плотные эмбеддинги размерности 1024, пригодные для семантического поиска и кластеризации. Размер модели — 658,7 млн параметров, контекст — до 8194 токенов. В карточке также указаны задачи извлечения признаков и сравнения семантического сходства. Лицензия в предоставленных данных не указана.
altaidevorg/bge-m3-distill-8l — модель эмбеддингов на основе Sentence Transformers, созданная командой Altaidevorg дистилляцией BAAI/bge-m3. В ней 8 слоёв XLM-RoBERTa и около 390 млн параметров; она принимает текст и выдаёт нормализованные векторы размерностью 1024 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства предложений и формирования векторных представлений для RAG. По данным авторов, дистилляция сохранила качество на тестах сходства и дала примерно 2,5-кратный прирост пропускной способности относительно исходной BAAI/bge-m3 на GPU T4. Обучение включало преимущественно турецкие тексты; авторы также сообщают о сохранении качества на английском. Лицензия в предоставленных данных не указана.
Binh230/bge-m3-finetuned-2 — модель Sentence Transformers на базе XLM-RoBERTa, дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует текст в векторы размерностью 1024 и предназначена для семантического поиска, сравнения сходства, поиска перефразирований, кластеризации и классификации текстов. Модель поддерживает последовательности до 8192 токенов; сходство векторов оценивается косинусной мерой. Для обучения использовано 68 042 парных примера, а архитектура включает трансформер, pooling по CLS-токену и нормализацию векторов. В примерах обучающих данных есть вьетнамские вопросы и фрагменты нормативных документов, поэтому модель подходит для поиска и сопоставления вьетнамских текстов. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformer, дообученная на базе BAAI/bge-m3 и предназначенная для представления предложений и абзацев в виде плотных векторов размерности 1024. Её разработчик в предоставленной карточке не назван. Модель использует XLM-RoBERTa, объединяет представление токенов через CLS-пулинг и нормализует векторы; близость текстов можно оценивать косинусным сходством. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 1024 токена, а метаданные — контекст до 8194 токенов; эти значения расходятся, поэтому фактическую допустимую длину следует сверить с используемой конфигурацией. Для базовой BGE-M3 заявлена многоязычная поддержка, но конкретный набор языков этой версии в предоставленных данных не перечислен. Условия лицензии в источниках не приведены.
Это модель Sentence Transformer, дообученная на основе BAAI/bge-m3 и разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024 для семантического поиска и сравнения текстов по косинусному сходству. Также её можно применять для поиска перефразировок, кластеризации и классификации текстов. Модель использует XLM-RoBERTa с pooling по CLS-токену; README указывает максимальную длину последовательности 1024 токена. Метаданные сообщают о контекстном окне до 8194 токенов, поэтому фактический предел обработки следует сверять с используемой конфигурацией. Репозиторий предназначен для работы с библиотекой Sentence Transformers и содержит веса в формате Safetensors. Данных о лицензии в предоставленных источниках нет.