I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейfuturedatascience/to-classifier-v2 — модель на архитектуре MPNet, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства между предложениями. Модель относится к семейству Sentence Transformers и распространяется в формате PyTorch. Обучение использовало CosineSimilarityLoss. Контекст модели составляет 514 токенов. Лицензия в предоставленных данных не указана.
Tooka-SBERT-V2-Large — крупная модель Sentence Transformers на архитектуре BERT, разработанная PartAI на базе TookaBERT-Large. Она преобразует предложения и абзацы в плотные векторные представления для оценки семантического сходства, поиска и ранжирования текстов. Для асимметричного поиска запросы оформляются с префиксом «سوال: », а документы — «متن: ». Модель дообучена с функциями потерь CachedMultipleNegativesRankingLoss и CoSENTLoss на синтетических наборах данных. В карточке сообщается, что на бенчмарке PTEB она в среднем превосходит mE5-Base; результаты зависят от задачи. Модель рассчитана на персидский язык, имеет 451,8 млн параметров и контекст до 512 токенов. Лицензия в предоставленных данных не указана.
josedossantos/tree-summary-bertimbau — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем josedossantos. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучена с функцией ContrastiveLoss на косинусном расстоянии; для использования подходят библиотека sentence-transformers или Transformers с корректной операцией pooling. Контекст ограничен 512 токенами, веса опубликованы в формате safetensors; размер модели составляет 433,2 млн параметров. Лицензия в предоставленных данных отсутствует.
triBne-e5-large — модель векторных представлений предложений, разработанная Istiaq Fuad и дообученная на базе intfloat/multilingual-e5-large. Она предназначена для семантического поиска, извлечения и сравнения текстов на бенгальском, английском и банглиш — бенгальском, записанном латиницей, в том числе при вариантах написания вроде «bhalobashi» и «valobashi». Модель использует архитектуру XLM-RoBERTa-large, содержит около 658,7 млн параметров и выдаёт эмбеддинги размерности 1024; сходство оценивается косинусной мерой. Для кодирования достаточно передавать обычный текст без префиксов query или passage. Модель подходит для поиска соответствий между разными вариантами написания банглиш, текстом на бенгальском письме и переводами на английский, а также для кластеризации и поиска в смешанных бенгальско-английских коллекциях. Дообучение выполнено контрастивным методом с LoRA-адаптером, слитым с базовой моделью. README сообщает о тестировании на трёх задачах поиска и приводит метрики на отложенных наборах данных. Максимальная длина последовательности в метаданных — 514 токенов; README указывает, что модель обучалась с ограничением 128 токенов и более длинный текст усекается. Часть примеров банглиш создана языковой моделью и может отражать её смещения; модель не предназначена для классификации или генерации. Лицензия — MIT.
Это модель эмбеддингов предложений на архитектуре BERT, опубликованная slimaneMakh. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния; размер составляет 194,6 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и вычисления сходства между предложениями. В карточке не указаны поддерживаемые естественные языки и специализированные предметные области. Лицензия в предоставленных данных не приведена.
BaoLocTown/tuned_KaLM-embedding-multilingual-mini-instruct-v2.5_combined_v4_200k_2048_len_lr_2e-5_lasttoken — текстовая модель Sentence Transformer на архитектуре Qwen2 с 494 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 896; сходство между векторами оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. В архитектуре используется pooling по последнему токену. README указывает максимальную длину последовательности 32 768 токенов, а метаданные каталога — нативный контекст 131 072 токена. Модель ориентирована на многоязычные текстовые эмбеддинги, но конкретные языки в предоставленных данных не перечислены. Репозиторий содержит веса в формате safetensors; лицензия в источниках не указана.
swardiantara/two-crk10-m0.15-e2-b128-L6 — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель использует библиотеку Sentence Transformers и имеет около 25,9 млн параметров; максимальная длина контекста составляет 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. В репозитории указаны веса в формате safetensors. Данные не устанавливают язык модели или её специализированную предметную область. Условия лицензии в доступных сведениях не приведены.
swardiantara/two-stage-cdk10-MiniLM-L12-v2 — модель на базе Sentence Transformers, разработанная пользователем swardiantara. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, вычисления сходства и кластеризации. Модель обучалась с Contrastive Loss и косинусной метрикой; архитектура относится к семейству BERT, размер составляет около 40 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и возвращает векторные представления, пригодные для семантического поиска и группировки текстов. README не сообщает, на каких языках она обучена или оценивалась, поэтому поддержку конкретных языков нельзя подтвердить. Лицензия в предоставленных данных не указана.
Карточка модели swardiantara/two-stage-cdk10-MiniLM-L6-v2 на Hugging Face совпадает с карточкой swardiantara/two-stage-k10-MiniLM-L6-v2, поэтому описание составлено по ней. swardiantara/two-stage-k10-MiniLM-L6-v2 — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, а также сравнивать смысловую близость предложений. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние. В карточке не указаны языки обучения и оценки качества, поэтому нельзя подтвердить её пригодность для конкретного языка или домена. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.
WhereIsAI/UAE-Large-V1 — англоязычная модель плотных текстовых эмбеддингов, разработанная командой AnglE. Она основана на архитектуре BERT и обучена с оптимизацией AnglE для получения векторных представлений предложений. Модель подходит для сравнения семантической близости текстов и поиска по смыслу; для задач извлечения информации в README рекомендуется использовать специальный prompt Prompts.C для запроса, но не для документов. Модель содержит 433,9 млн параметров, принимает текст с контекстом до 512 токенов и возвращает эмбеддинги. В README заявлен результат 64,64 среднего балла на MTEB и лидерство в рейтинге на момент публикации. Поддерживаются форматы safetensors, ONNX и OpenVINO. Лицензия MIT разрешает использование в разных сценариях.
ukr-paraphrase-multilingual-mpnet-base — модель sentence-transformers проекта lang-uk, дообученная для украинского языка на основе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текст; максимальная длина контекста составляет 514 токенов. Модель ориентирована прежде всего на украинский, сохраняя многоязычную основу. Её можно применять для поиска семантически близких фрагментов, группировки текстов и построения эмбеддингов. Распространяется по лицензии Apache-2.0.
buelfhood опубликовал Sentence Transformer, дообученный на базе microsoft/unixcoder-base-unimodal. Модель использует архитектуру RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать косинусной мерой. В README указана максимальная длина последовательности 512 токенов, а метаданные каталога указывают нативный контекст в 1026 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, классификации и кластеризации текстов. Данные о специализированной предметной области или целевых языках не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
ZurichNLP выпустила эту модель как дообученную версию xlm-roberta-base для получения векторных представлений предложений методом unsupervised SimCSE. Используется архитектура XLM-RoBERTa с 305,2 млн параметров; представление предложения формируется усреднением последних скрытых состояний, что совместимо с Sentence-BERT. Модель принимает текст и выдаёт векторы признаков; максимальная длина контекста — 514 токенов. Модель подходит для построения мультиязычных эмбеддингов предложений, семантического поиска, сравнения сходства текстов и группировки похожих фраз. В README описано обучение на миллионе предложений из английской Википедии, а метаданные указывают поддержку многих языков. Лицензия — MIT. Указанное обучение на английских данных может ограничивать качество для отдельных языков и задач; качество следует проверять на целевом наборе текстов.
uz_embeddinggemma-300m — дообученная модель Sentence Transformer на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Модель содержит 302,8 млн параметров, принимает последовательности длиной до 2048 токенов и распространяется в формате safetensors. Модель предназначена для семантического поиска и оценки сходства текстов, а также для поиска перефразировок, классификации и кластеризации. В карточке указано обучение на 18 000 примерах и приведены метрики оценки информационного поиска. Метаданные отмечают узбекский язык; базовая модель Google описана как многоязычная. Условия лицензии в предоставленных данных не указаны.
SSHHIVANI разработала эту модель Sentence Transformers, дообучив англоязычный sentence-transformers/all-MiniLM-L6-v2 на 4 555 обучающих примерах. Это плотный энкодер на архитектуре BERT с усреднением токеновых представлений и нормализацией: он преобразует текст в векторы размерностью 384, а сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности по метаданным — 512 токенов; в README указано ограничение 256 токенов. Модель предназначена для семантического сравнения предложений и абзацев, поиска по смыслу, поиска перефразировок, кластеризации и классификации текстов. Обучение с MultipleNegativesRankingLoss ориентировано на сопоставление запросов с документами. Поддерживается текстовый ввод; основной язык — английский, унаследованный от базовой модели. Доступен формат safetensors. Лицензия в предоставленных данных не указана.
Модель Heimat24/vhs_burghausen_danielheinz_e5_v2-qa_generation_user-5-5-0.8 — sentence-transformers-модель на базе XLM-RoBERTa с 305,2 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и вычисления сходства. Модель обучалась с MultipleNegativesRankingLoss и косинусной функцией сходства; для работы подходит библиотека Sentence-Transformers. Контекст модели составляет 514 токенов. Лицензия в предоставленных данных не указана.
doan2506/vietnamese-bi-encoder-finetuned — модель Sentence Transformers, дообученная автором на основе bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с усредняющим pooling и преобразует текстовые предложения и абзацы во встроенные векторы размерности 768; число параметров — 162,4 млн. Векторы подходят для семантического поиска и извлечения релевантных текстов, а сходство можно оценивать косинусной мерой. Модель предназначена для поиска по текстам на вьетнамском языке. В README приведена оценка на задаче информационного поиска и указано обучение на 3360 примерах с anchor, positive и negative. Максимальная длина последовательности составляет 258 токенов по метаданным. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformers, дообученная автором tintnguyen на вьетнамской bi-encoder-модели bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с mean pooling, содержит 162,4 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Максимальная длина последовательности составляет около 256 токенов. Модель предназначена для поиска семантически близких текстов на вьетнамском языке: семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В обучении использовались пары запросов и релевантных текстов с MultipleNegativesRankingLoss; обучающая выборка содержала около 1,58 млн примеров. Для применения нужны тексты, а результатом служат векторные представления. Лицензия в предоставленных данных не указана.
Vignesh-finetuned-bge2 — англоязычная модель Sentence Transformer, дообученная автором Vignesh с BAAI/bge-base-en-v1.5 на парных текстах из набора json. Она кодирует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их по косинусному сходству. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сопоставления запросов с фрагментами документов, поиска перефразировок, кластеризации, классификации текстов и оценки семантического сходства. В README приведены результаты оценки поиска при уменьшении размерности эмбеддингов до 64–512, однако состав и предметная область наборов оценки подробно не описаны. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.
ViRanker — дообученная модель namdp-ptit на базе BAAI/bge-m3 для переранжирования текстовых документов по запросу. Она принимает пару «запрос — фрагмент текста» и выдаёт оценку релевантности: более высокий балл означает более подходящий фрагмент; оценку можно преобразовать функцией sigmoid в диапазон от 0 до 1. Модель основана на XLM-RoBERTa, содержит около 658,7 млн параметров и поддерживает контекст до 8194 токенов. Модель предназначена для уточнения результатов текстового поиска: сначала поисковая система находит кандидатов, затем ViRanker сортирует их по соответствию запросу. В карточке приведено сравнение на вьетнамском наборе MS MARCO Passage Reranking — Vi Dev; результаты показывают качество на этой оценке, но не гарантируют аналогичного качества на других данных. В метаданных указан вьетнамский язык. Модель распространяется по лицензии Apache-2.0.
tubyneto/wandss-bert — модель Sentence Transformers на архитектуре MPNet, содержащая 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель принимает текст и выдаёт векторные представления; заявленная длина контекста — 514 токенов. В README указано, что модель обучалась с функцией потерь SoftmaxLoss. Она подходит для семантического поиска, группировки текстов по смыслу и вычисления сходства предложений. Доступны веса в формате PyTorch; лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
WeMM-Embedding-2B-Quantized — мультимодальная модель для создания эмбеддингов, опубликованная ewin-reg на базе tencent/WeMM-Embedding-2B. Она предназначена для семантического поиска и сопоставления текста, изображений и видео, включая поиск по документам, ранжирование изображений по текстовому запросу и поиск видеоклипов. Модель использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием, а также смешанную квантизацию FP8 и INT4. Размер базовой модели — 2,72 млрд параметров; веса размещены в одном файле SafeTensors объёмом около 1,75 ГБ. Эмбеддинги имеют размерность 2048, которую можно сокращать до 64 измерений с помощью Matryoshka Representation Learning. Модель рассчитана на использование в Python через Hugging Face и SentenceTransformers, в том числе в векторных базах и средах с ограниченной памятью. Карточка заявляет поддержку текста, изображений и видео и указывает английский, китайский и многоязычный режимы; лицензия обозначена как other. Это модель эмбеддингов: она не предназначена для свободной генерации текста. Для дообучения упакованные INT4-веса нужно предварительно преобразовать в BF16 или FP16.
Это многоязычная модель Sentence Transformer, созданная tomaarsen на основе FacebookAI/xlm-roberta-base и дообученная на парах данных английского с арабским, французским, немецким, испанским, турецким и итальянским. Она преобразует предложения и абзацы в плотные векторы размерности 768; сходство текстов можно оценивать по косинусной мере. Архитектура включает XLM-RoBERTa с усреднением токенных представлений, а максимальная длина последовательности в карточке модели — 128 токенов. В метаданных также указано контекстное окно базовой модели в 514 токенов. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста, в том числе в поддерживаемых межъязыковых парах. Карточка приводит результаты оценки для нескольких пар с английским, но качество может различаться между языками и задачами; это модель представлений, а не генеративная модель или система перевода. Размер модели — 305,2 млн параметров. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.
KFST/XLMRoberta-en-da-sv-nb — модель эмбеддингов предложений на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. Модель содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Модель предназначена для поиска смысловой близости между текстами и организации текстовых коллекций по смыслу. В названии указаны английский, датский, шведский и норвежский языки; это согласуется с использованием модели для многоязычных текстовых представлений в этих языках. Для применения можно использовать Sentence-Transformers либо Transformers с соответствующей операцией pooling. В карточке приведено обучение с MSELoss, но подробные результаты оценки и сведения о тренировочных данных не представлены. Лицензия в доступных данных не указана.
amahdaouy/xlmrsim-mar_cos — мультиязычная модель Sentence Transformer, дообученная на базе sentence-transformers/stsb-xlm-r-multilingual. Она использует XLM-RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерности 768; косинусное сходство подходит для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают нативный контекст до 514 токенов. Модель обучена на 19 755 примерах с CosineSimilarityLoss. Указанные в карточке языки примеров включают английский, французский и арабский; базовая модель мультиязычная. Доступна в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
Youtu-Embedding — универсальная модель текстовых эмбеддингов, разработанная Tencent Youtu Lab. Она предназначена для поиска и сопоставления текстов, семантической оценки сходства, кластеризации, ранжирования и классификации. Модель имеет плотную архитектуру UTU и около 2,4 млрд параметров; README указывает размерность эмбеддингов 2048 и длину последовательности до 8K токенов, тогда как метаданные каталога указывают контекст до 131 072 токенов. Модель обучена по совместной дискриминативной схеме с разными функциями потерь для задач и динамической выборкой задач. README сообщает о результате 77,58 на китайском бенчмарке CMTEB по состоянию на сентябрь 2025 года. Карточка ориентирует на китайский язык и описывает интеграцию с Transformers, Sentence Transformers, LangChain и LlamaIndex для поисковых и RAG-систем. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.
zerank-2-reranker-MLX-bf16 — это конвертированная в формат MLX модель ZeroEntropy для Apple Silicon, основанная на zerank-2-reranker и архитектуре Qwen3-4B. Это cross-encoder-реранкер: он принимает запрос вместе с одним документом и выдаёт оценку их релевантности, по которой можно переставить результаты поиска. Для оценки каждого кандидата нужен отдельный проход модели. Модель имеет 3,7 млрд параметров, использует веса bfloat16 без квантизации и поддерживает контекст до 40 960 токенов. Оценка извлекается из логита токена «Yes»; её можно преобразовать в диапазон 0–1, но значения сопоставимы только для документов одного запроса. Карточка сообщает о проверках согласованности оценок с исходной моделью на наборах пар запрос–документ. Указана лицензия Apache-2.0.
Карточка модели avsolatorio/30-100-10-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240203195859-best на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
Карточка модели avsolatorio/30-100-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240208000313-best на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.
gte-tiny — компактная модель для получения эмбеддингов предложений и абзацев, опубликованная avsolatorio. Она основана на архитектуре BERT, содержит 25,9 млн параметров и преобразует текст в плотные векторы размерности 384. Модель дистиллирована из thenlper/gte-small; по данным карточки, её качество сопоставимо с базовой моделью, но немного ниже при примерно вдвое меньшем размере. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения сходства предложений. Контекст модели — 512 токенов. Для использования доступны веса safetensors; README описывает работу через Sentence-Transformers или Transformers с соответствующей операцией pooling. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.