I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейaneforge/all-MiniLM-L6-v2 — копия англоязычной модели all-MiniLM-L6-v2 от Sentence Transformers, подготовленная для запуска через ANEForge на Apple Neural Engine. Согласно карточке, веса побайтно совпадают с исходной моделью; репозиторий маркирован как дообучение базовой модели sentence-transformers/all-MiniLM-L6-v2. Это плотный BERT-энкодер с 25,9 млн параметров и контекстом до 512 токенов, предназначенный для вычисления семантических векторов предложений и сравнения их сходства. Модель подходит для семантического поиска, ранжирования похожих предложений и кластеризации текстов. Метаданные указывают задачу sentence-similarity, формат весов safetensors и библиотеку ANEForge. Для использования указан пакет ANEForge с поддержкой моделей; условия лицензии — Apache-2.0. Модель ориентирована на английский язык, а карточка не заявляет поддержку других языков.
KhaledReda/all-MiniLM-L6-v79-pair_score — англоязычная модель Sentence Transformers, дообученная KhaledReda на парах текстов с оценками сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, использует энкодер BERT и преобразует предложения и абзацы в плотные векторы размерности 384; для оценки близости подходит косинусное сходство. В README указана максимальная длина последовательности 256 токенов, а метаданные указывают контекст до 512 токенов. Модель предназначена для семантического сравнения текстов и получения эмбеддингов для поиска, выявления перефразировок, кластеризации и классификации текстов. Она обучалась с CoSENTLoss на датасете pairs_with_scores_v64. Лицензия — Apache-2.0. Модель ориентирована на английский язык. Векторы могут терять точность на текстах длиннее рабочего ограничения последовательности, а результаты для других языков в карточке не подтверждены.
aiknowyou выпустил aiknowyou/all-mpnet-base-questions-clustering-en — англоязычную модель Sentence Transformers на базе All-mpnet-base-v2, дообученную для группировки вопросов по смыслу. MPNet преобразует предложения и абзацы в плотные векторы размерностью 768; их можно использовать для кластеризации, поиска семантически близких вопросов и оценки сходства. Обучение проводилось на данных Quora, WikiAnswers и StackExchange. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; заявленная длина контекста — 514 токенов. В README приведены результаты оценки на тестовой выборке WikiAnswer, но они не гарантируют такую же точность на других данных. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.
Модель ashwinpatti/all-mpnet-base-v2_political_view_ft-legal-ft-v0 — дообученная версия Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная автором репозитория ashwinpatti. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, оценки сходства и сопоставления перефразировок. В README также перечислены кластеризация и классификация текстов как возможные сценарии использования. Модель построена на MPNet с усреднением токенных представлений и нормализацией векторов; сходство оценивается косинусной мерой. Метаданные указывают 136,7 млн параметров и контекст до 514 токенов, а README — максимальную длину последовательности 384 токена. Она дообучена на 4 278 парах текстов с ContrastiveLoss; в README приведено значение Spearman для косинусного сходства 0,8249 на оценивании сходства. Для репозитория указаны формат safetensors и библиотека Sentence Transformers. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на основе BERT, предназначенная для получения плотных векторных представлений предложений и абзацев. Модель разработана для нидерландского языка и содержит 136,3 млн параметров; размерность выходных векторов — 768, максимальная длина контекста — 512 токенов. Векторы можно использовать для семантического поиска и кластеризации текстов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Она принимает текст и выдаёт эмбеддинги; для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана. Модель ориентирована на нидерландский язык, поэтому качество для других языков не подтверждено.
Pratima29/autotrain24 — дообученный с помощью AutoTrain энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель предназначена для преобразования текста в семантические векторы и вычисления сходства между предложениями; её можно применять для семантического поиска, сравнения и группировки текстов. Использует архитектуру BERT и библиотеку Sentence Transformers, содержит 25,9 млн параметров и принимает контекст до 512 токенов. README сообщает значение loss на валидации 0,2786. Модель принимает текст и выдаёт векторы, пригодные для задач сходства предложений. Базовая модель описана каталогом как англоязычный энкодер; данных о дополнительной языковой специализации этой версии нет. Лицензия в предоставленных данных не указана.
booster-team/autotrain-l21an-6mkt7 — это дообученный с помощью AutoTrain энкодер предложений на архитектуре BERT, основанный на sentence-transformers/all-MiniLM-L6-v2. Модель содержит 25,9 млн параметров, принимает текст и формирует плотные векторные представления предложений для оценки семантического сходства. Контекст ограничен 512 токенами. Модель предназначена для сравнения смысловой близости текстов и извлечения эмбеддингов, которые можно использовать в поиске, группировке и других задачах работы с предложениями. В карточке приведена метрика loss 0,676 на валидации, но нет описания набора данных или протокола оценки, поэтому по ней нельзя судить о качестве в конкретном сценарии. Использование предполагает библиотеку Sentence Transformers; лицензия в предоставленных данных не указана.
Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240126151540-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
BengaliSBERT-STS — модель L3Cube-Pune для оценки семантической близости предложений на бенгальском языке. Она создана на основе l3cube-pune/bengali-sentence-bert-nli и дообучена на наборе данных STS; относится к семейству BERT и использует архитектуру BertModel с плотными представлениями. Число параметров — около 264,8 млн, максимальная длина контекста — 512 токенов. Модель предназначена для получения векторных представлений предложений и сравнения их смысловой близости, например, при поиске похожих фраз или группировке текстов. Поддерживает бенгальский язык; доступна в формате PyTorch и распространяется по лицензии CC BY 4.0. Для использования требуется корректно агрегировать контекстуальные представления токенов с помощью pooling; конкретные ограничения качества в карточке не описаны.
yosefw/bert-amharic-embed-small — компактная модель Sentence Transformers, дообученная автором на базе rasyosef/bert-small-amharic. Она кодирует предложения и абзацы в плотные векторы размерностью 512 и предназначена для сравнения смысловой близости, семантического поиска, поиска перефразировок, классификации и кластеризации текстов. Архитектура включает BERT, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов, сходство можно оценивать косинусной мерой. Модель обучалась на 40 237 парах «запрос — релевантный текст» и в примерах использует амхарский текст. README указывает язык en, что расходится с амхароязычной базовой моделью и примерами, поэтому реальную языковую область следует проверять на целевых данных. Чекпойнт содержит 31,5 млн параметров, распространяется в формате safetensors по лицензии Apache-2.0.
google-bert/bert-base-cased-finetuned-mrpc — англоязычная модель семейства BERT от Google, дообученная для задачи определения перефразирования в корпусе Microsoft Research Paraphrase Corpus (MRPC). Она предназначена для оценки того, выражают ли две фразы одно и то же; её можно применять для поиска дубликатов и группировки похожих предложений. В метаданных Hugging Face модель представлена как BERT для заполнения пропусков: 135,5 млн параметров, контекст до 512 токенов, доступны веса PyTorch, TensorFlow и Flax. В карточке Hub и исторических примерах Transformers указано дообучение bert-base-cased на MRPC. Лицензия в доступных данных не подтверждена. Модель принимает текстовые входы и выдаёт классовую оценку сходства пары предложений; она не предназначена для свободной генерации текста.
ricardo-filho/bert-base-portuguese-cased-nli-assin-2 — модель Sentence-Transformers на основе BERT, разработанная Ricardo Filho. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Обучение включало SoftmaxLoss; число параметров модели — 136,1 млн, максимальная длина контекста — 512 токенов. Модель предназначена для работы с португальским текстом. Её можно использовать для семантического поиска, группировки похожих текстов и вычисления сходства между предложениями. Доступны веса PyTorch; в README описано применение через Sentence-Transformers или Transformers с соответствующим pooling. Ограничение контекста — 512 токенов. README не сообщает условия лицензии, поэтому условия использования по имеющимся данным определить нельзя.
emrecan/bert-base-turkish-cased-mean-nli-stsb-tr — модель для получения векторных представлений предложений и абзацев, опубликованная автором emrecan. Она основана на BERT с 137,8 млн параметров и формирует плотные эмбеддинги размерности 768; модель обучалась на машинно переведённых на турецкий язык данных NLI и STS-B с использованием Sentence-Transformers. Контекст ограничен 512 токенами. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации турецкоязычных предложений. В README приведены результаты оценки на тестовой выборке: корреляция Пирсона 0,834 и Спирмена 0,830 для косинусного сходства. Доступна по лицензии Apache-2.0. Результаты зависят от домена и качества текстов; обучение на машинных переводах может влиять на качество.
tintnguyen/bert-base-vi-uncased-st-3 — модель Sentence Transformers, разработанная на основе tintnguyen/bert-base-vi-uncased-st-2. Это дообученный BERT с 170,8 млн параметров, который преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; для получения вектора используется усреднение токенных представлений. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Она обучалась на парах положительных и отрицательных примеров из датасета, созданного на основе вопросов вьетнамской Википедии, и рассчитана прежде всего на вьетнамский язык. В метаданных указана библиотека sentence-transformers; веса представлены в формате Safetensors. Лицензия в предоставленных данных не указана. Качество и пригодность для других языков отдельно не подтверждены; максимальная длина последовательности ограничивает обработку длинных текстов.
indiejoseph/bert-cantonese-sts — модель на базе BERT, опубликованная пользователем indiejoseph. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling для получения вектора из контекстных представлений токенов. Модель содержит 130,6 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Название указывает на ориентацию на кантонский язык; в метаданных коды языков не приведены. Доступен формат PyTorch. Лицензия в предоставленных данных не указана.
swardiantara/bert-tiny-sst5-k5-fixed-euclidean — компактная модель Sentence Transformers, разработанная на базе google/bert_uncased_L-2_H-128_A-2 и дообученная для сопоставления предложений. Она кодирует текст в плотные векторы размерности 128 для поиска и сравнения по косинусному сходству; модель можно использовать для семантического поиска и извлечения релевантных текстов. Архитектура включает BERT с двумя слоями и mean pooling. Веса занимают модель размером около 4,4 млн параметров; метаданные указывают контекст до 512 токенов, а карточка модели сообщает максимальную длину последовательности 128 токенов. Модель принимает текст и возвращает эмбеддинги. Данные обучения содержат англоязычные пары фрагментов обзоров фильмов с метками сходства, поэтому подтверждённая языковая специализация — английский. Лицензия в предоставленных данных не указана. Компактный размер подходит для сценариев с ограниченными вычислительными ресурсами, но качество и область применения за пределами описанного обучения отдельно не подтверждены.
Это модель SentenceTransformer на базе BERT, разработанная путём дообучения dbmdz/bert-base-turkish-uncased для получения векторных представлений турецких предложений и абзацев. Она кодирует текст в плотные эмбеддинги размерности 768; модель использует BERT с усреднением токенных представлений и сравнение по косинусному сходству. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки бинарной классификации, но они не гарантируют аналогичного качества на других данных. Модель ориентирована на турецкий язык; для работы с эмбеддингами подходит библиотека Sentence Transformers. Веса доступны в формате safetensors. Лицензия в предоставленных сведениях не указана.
BGE base Financial Matryoshka — англоязычная Sentence Transformer модель, дообученная research-spectator на парах текстов из датасета json объёмом 6 300 примеров. Она основана на BAAI/bge-base-en-v1.5 с архитектурой BERT, формирует нормализованные плотные эмбеддинги размерностью до 768 и поддерживает сравнение по косинусному сходству. Модель предназначена для семантического поиска и сравнения текстов, в том числе финансовых документов; эмбеддинги также можно применять для кластеризации, поиска перефразировок и классификации. Matryoshka-обучение позволяет использовать укороченные векторы размерностью 512, 256, 128 или 64, с некоторым снижением качества поиска на меньших размерностях. Максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт векторы; README указывает английский язык. Лицензия — Apache-2.0.
KimChen/bge-m3-GGUF — это конвертированная в формат GGUF версия модели BAAI/bge-m3. Конвертацию выполнили с помощью llama.cpp; автором репозитория и сборки указан KimChen, а исходная модель разработана командой BAAI. Модель предназначена для задач семантического сходства предложений и извлечения признаков, включая использование в системах сопоставления текстов и других сценариях sentence-transformers. Формат GGUF позволяет запускать её через llama.cpp в командной строке или в режиме сервера. В README не указаны точные архитектурные параметры, размер модели, поддерживаемые языки, модальности и исходная длина контекста; для этих характеристик предлагается обращаться к карточке BAAI/bge-m3. К сильным сторонам относятся совместимость с llama.cpp и возможность локального запуска на поддерживаемом оборудовании. Ограничения и требования к ресурсам в README подробно не описаны, а приведённый пример сервера использует контекст размером 2048 токенов. Модель распространяется по лицензии MIT.
dragonkue/BGE-m3-ko — модель Sentence Transformer на базе BAAI/bge-m3, дополнительно обученная автором на корейском наборе данных. Она предназначена для получения эмбеддингов предложений и абзацев и их сравнения по косинусному сходству; подходит для семантического поиска, поиска близких текстов, выявления перефразирований, кластеризации и классификации текстов. Модель использует энкодер XLM-RoBERTa с 658,7 млн параметров, формирует плотные векторы размерности 1024 и принимает последовательности длиной до 8194 токенов. Карточка указывает корейский и английский языки; дообучение ориентировано на корейский, а качество для других языков, кроме китайского и английского, автор считает недостаточным без дополнительной адаптации. Репозиторий содержит веса Safetensors и использует библиотеку Sentence Transformers. Качество зависит от предметной области и длины документов: автор приводит разные результаты на корейских поисковых бенчмарках и рекомендует проверять модель на собственных данных. Модель распространяется по лицензии Apache-2.0.
Модель seongil-dn/bge-m3-kor-retrieval-451949-bs128-finance-book-science-344 — дообученный Sentence Transformer на базе BAAI/bge-m3, разработанный автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сопоставления текстов; также её можно применять для поиска перефразировок, кластеризации и классификации текста. Архитектура включает XLM-RoBERTa, pooling по CLS-токену и нормализацию выходного вектора. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов; README заявляет максимальную длину последовательности 1024 токена, поэтому фактический лимит может зависеть от конфигурации загрузки. Обучающий набор, судя по идентификатору и тегам, связан с финансовыми, книжными и научными текстами на корейском языке, но подробности о данных и оценке качества не приведены. Лицензия в предоставленных данных не указана.
BiCA-small — модель Sentence Transformers, дообученная bisectgroup на базе thenlper/gte-small для получения эмбеддингов предложений и абзацев. Она использует архитектуру BERT с mean pooling и нормализацией, содержит около 40 млн параметров и преобразует текст в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Карточка описывает англоязычные данные и поддержку английского языка. Для работы нужны текстовые входы; результат — векторные представления, пригодные для сравнения и последующей обработки. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformer на базе BERT, опубликованная pankajrajdeo. Она преобразует предложения и абзацы в плотные векторы размерностью 384, пригодные для сравнения по косинусному сходству. Архитектура использует усреднение токенных представлений; максимальная длина входа составляет 1024 токена. В метаданных указано 50,3 млн параметров, библиотека sentence-transformers и формат safetensors. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Карточка сообщает об обучении на парах anchor-positive и использует MultipleNegativesRankingLoss. Название репозитория указывает на биомедицинскую тематику обучения, в том числе UMLS, PubMed и PMC, однако описание датасета в README приводит также примеры общего характера. Языки и лицензия в предоставленных данных не указаны. Для работы с моделью подходит библиотека Sentence Transformers; результатом являются векторы текста, а не готовые ответы или метки. Качество на конкретных языках и предметных областях следует проверять отдельно.
pankajrajdeo/Bioformer-8L-UMLS-Pubmed_PMC-Forward_TCE-Epoch-2-MSMARCO-Epoch-2 — модель Sentence Transformer на базе BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 512 для поиска по смыслу и сравнения текстов с помощью косинусного сходства. В README указано обучение на парах anchor–positive с MultipleNegativesRankingLoss; метаданные отмечают возможность извлечения признаков и вычисления сходства предложений. Модель содержит 50,3 млн параметров, принимает последовательности длиной до 512 токенов и использует среднее объединение токеновых представлений. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README названы Bioformer, UMLS, PubMed и PMC в идентификаторе модели, но описание обучения говорит о наборе parquet и не подтверждает отдельно медицинскую специализацию или языковой состав. Лицензия в предоставленных данных не указана.
ChengyouXin/cacheverifier-quora — текстовый Cross Encoder, обученный с помощью библиотеки Sentence Transformers для оценки пар текстов. Модель принимает запрос и кандидатный текст, выдаёт один числовой балл релевантности; баллы подходят для ранжирования результатов семантического поиска и других задач сравнения текстовых пар. Архитектура основана на BERT и BertForSequenceClassification, размер — 25,9 млн параметров, максимальная длина входной последовательности — 512 токенов. В README указано обучение на 11 928 примерах с колонками query, response и label и функцией потерь BinaryCrossEntropyLoss. Примеры охватывают вопросы и ответы Quora, включая перефразирования. Данных о лицензии и целевых языках в предоставленных источниках нет. Поскольку обучение заняло 19,5 секунды, качество и обобщение на другие наборы данных следует проверять для конкретного применения.
ChengyouXin/cacheverifier-searchqueries — текстовый Cross Encoder на базе BERT, обученный с библиотекой Sentence Transformers для оценки пар «запрос—текст». Модель выдаёт один числовой балл для пары и подходит для переранжирования результатов семантического поиска и оценки соответствия текста запросу. Модель содержит 25,9 млн параметров, принимает текст и ограничивает длину последовательности 512 токенами. В README указано обучение на 60 398 примерах с запросами, ответами и метками, с функцией потерь BinaryCrossEntropyLoss. Язык примеров в карточке — английский; подтверждения поддержки других языков нет. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Модель небольшая, но оценки зависят от обучающих данных и могут быть ненадёжны для запросов и документов вне их распределения.
Omerhan выпустил Sentence Transformers-модель для получения плотных текстовых эмбеддингов; она дообучена на базе intfloat/multilingual-e5-large-instruct. Модель использует XLM-RoBERTa с усреднением токенных представлений и нормализацией векторов, выдаёт эмбеддинги размерности 1024 и сравнивает их по косинусному сходству. Максимальная длина входа — 512 токенов; обучение проводилось на наборе json с парами и тройками текстов. Модель предназначена для семантического поиска, сравнения сходства предложений и абзацев, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. В карточке указан турецкий язык. Лицензия — Apache-2.0.
Карточка модели deven96/clip-ViT-B-32-text на Hugging Face совпадает с карточкой Qdrant/clip-ViT-B-32-text, поэтому описание составлено по ней. Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
Qdrant подготовила ONNX-версию текстового энкодера sentence-transformers/clip-ViT-B-32 для классификации текста и поиска сходства. Модель преобразует текст в векторные представления, которые можно использовать для сравнения запросов и текстовых описаний; в карточке приведён пример запуска через FastEmbed. Модель относится к текстовой части CLIP ViT-B/32, содержит 75,6 млн параметров и рассчитана на контекст длиной до 77 токенов. Репозиторий распространяется в формате ONNX по лицензии MIT. Карточка не описывает поддерживаемые языки или ограничения точности; короткое контекстное окно ограничивает работу с длинными текстами.
akarum/cloudy-large-zh — модель семейства BERT для получения векторных представлений текста и оценки сходства между предложениями. По карточке, она ориентирована на китайский язык, выдаёт эмбеддинги размерностью 1024 и поддерживает последовательности длиной до 1024 токенов; инструкции для поисковых запросов не требуются. Модель содержит 424,3 млн параметров и опубликована в формате safetensors. Модель подходит для семантического поиска, сопоставления запросов с документами и поиска похожих предложений на китайском языке. В метаданных Hugging Face основной задачей указан sentence-similarity, а каталог также отмечает feature-extraction. Сведений о лицензии и конкретных ограничениях применения в предоставленных материалах нет.