I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейIoannisKat1 разработал эту модель Sentence Transformers, дообучив multilingual-e5-large для семантического поиска и сопоставления предложений и абзацев. Она преобразует текст в плотные нормализованные векторы размерностью 1024 и использует косинусное сходство для сравнения. В архитектуру входят XLM-RoBERTa, усредняющий pooling и нормализация; модель содержит 658,7 млн параметров и принимает последовательности длиной до 514 токенов по метаданным (в README указан предел 512). Matryoshka-обучение позволяет использовать укороченные векторы размерностью от 64 до 768 для компромисса между размером представления и качеством поиска. Модель предназначена для векторизации текстов и поиска семантически близких фрагментов, в том числе для систем извлечения информации. README указывает английский язык и текстовый ввод; пример обучающих данных включает греческий текст, но это не подтверждает полноценную поддержку греческого. Лицензия — Apache-2.0. Результаты оценки приведены для датасета json и не гарантируют такое же качество на других данных; обучающая выборка содержит 4268 пар.
IoannisKat1 выпустил дообученную версию multilingual-e5-large для создания текстовых эмбеддингов. Модель построена на XLM-RoBERTa-large с архитектурой Sentence Transformer: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотное векторное пространство размерности 1024. Максимальная длина входной последовательности — 512 токенов; для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README описано дообучение на 82 парах anchor-positive и приведены метрики поиска при нескольких размерностях вектора; результаты зависят от выбранной размерности и тестового набора. Указанная лицензия — Apache-2.0.
akdeniz27/multilingual-e5-large-rag-instruct-turkish — модель Sentence Transformers, дообученная автором на наборе akdeniz27/rag_instruct_turkish от intfloat/multilingual-e5-large. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024; архитектура включает XLM-RoBERTa, усреднение токенов и нормализацию. Модель предназначена для семантического поиска, сравнения текстов и извлечения релевантных фрагментов в системах RAG, особенно для запросов и документов на турецком языке. Эмбеддинги можно применять для поиска похожих текстов, поиска перефразирований, кластеризации и классификации текста. Для оценки поиска в карточке приведены метрики cosine_accuracy@k на сокращённых вариантах эмбеддингов. Модель принимает текст и выдаёт векторы; максимальная длина последовательности — 514 токенов по метаданным. Лицензия — Apache-2.0.
SMARTICT/multilingual-e5-large-wiki-tr-rag — модель Sentence Transformer, созданная дообучением intfloat/multilingual-e5-large. Она кодирует предложения и абзацы в нормализованные плотные векторы размерности 512; для сравнения используется косинусное сходство. Архитектура построена на XLM-RoBERTa с усреднением токенных представлений и нормализацией. Модель содержит 658,7 млн параметров, принимает последовательности длиной до 514 токенов по метаданным. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов, в том числе для сценариев RAG. Примеры обучающих данных содержат запросы и длинные фрагменты на турецком языке; название репозитория также указывает на турецкую Wikipedia, поэтому модель ориентирована на поиск по турецким текстам. Лицензия в предоставленных данных не указана.
multilingual-e5-small-GGUF — это GGUF-версия мультиязычной модели для создания текстовых эмбеддингов, разработанная на основе intfloat/multilingual-e5-small. Репозиторий cstr/multilingual-e5-small-GGUF выполняет только конвертацию и квантование весов; обучение, дообучение, слияние и изменение архитектуры не проводились. Модель предназначена для получения векторных представлений текста, семантического поиска, сравнения текстов и других задач, использующих эмбеддинги. Работает через CrispEmbed и Ollama, включая совместимые с OpenAI и Ollama API. Модель построена на архитектуре BERT, содержит около 118 млн параметров, 12 слоёв, использует mean pooling и токенизатор SentencePiece, а размерность эмбеддингов составляет 384. Поддерживается широкий набор языков, включая английский, русский, китайский, японский, корейский, арабский, хинди и многие другие. Доступны варианты F32, Q8_0, Q4_K, Q4_K с imatrix и IQ4_XS. Рекомендуется Q8_0: его близость к версии F32 составляет 0,9999 по cosine similarity при существенно меньшем размере файла. Четырёхбитные варианты экономят память, но могут немного снижать точность. Модель удобна для локального и ресурсоограниченного инференса благодаря компактным квантованным версиям и совместимости с несколькими API. Ограничения включают зависимость качества от выбранного уровня квантования и отсутствие в README подробностей о максимальной длине контекста, обучающих данных и результатах прикладных бенчмарков. Указана лицензия MIT; репозиторий распространяется на тех же условиях, что и исходная модель.
Elastic выпустила multilingual-e5-small-optimized — оптимизированную квантованием версию многоязычной модели эмбеддингов multilingual-e5-small. Это плотная модель на архитектуре BERT с 124,3 млн параметров и контекстом до 512 токенов. Она преобразует текст в эмбеддинги для оценки сходства предложений и поиска по смыслу. Модель рассчитана на многоязычные сценарии, включая поиск и сравнение текстов на русском и других языках. В тестах Elastic квантованная версия показала в основном небольшое снижение качества на наборах MIRACL и BEIR, а на трассированной версии PyTorch для Linux и процессоров Intel ускорила вывод примерно на 20–54% в зависимости от длины входа. Модель распространяется по лицензии MIT. Результаты качества зависят от языка и набора данных: в частности, заметное снижение показателя наблюдалось для йоруба в MIRACL и для SCIFACT в BEIR.
Multilingual MiniLM-L12-v2 (Harrier-Distilled) — компактный многоязычный кодировщик предложений, дообученный командой agentlans методом дистилляции эмбеддингов на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 с учителем microsoft/harrier-oss-v1-270m. Модель содержит 124,3 млн параметров, использует архитектуру BERT и принимает текстовые последовательности длиной до 512 токенов. Для работы требуется вспомогательный пакет, поскольку модель использует обученный проекционный слой. Модель предназначена для межъязыкового семантического поиска, сравнения сходства текстов, кластеризации и фильтрации корпусов, включая параллельные и переводные данные. Она рассчитана на высокую пропускную способность при умеренных вычислительных затратах и ориентирована на многоязычные сценарии. Лицензия — Apache-2.0. Качество может снижаться для малоресурсных языковых вариантов и узкоспециализированной терминологии. Размерности и архитектура отличаются от учительской модели, поэтому её представления не взаимозаменяемы с представлениями учителя.
Horizon-Labs разработала multilingual-reranker-small — мультиязычный cross-encoder-реранкер на базе mmBERT-small с архитектурой ModernBERT и примерно 140,5 млн параметров. Он предназначен для повторной сортировки результатов поиска и кандидатов для RAG: модель оценивает релевантность каждой пары «запрос — фрагмент», в том числе когда они написаны на разных языках. Более высокий логит означает более высокую релевантность; sigmoid(logit) можно использовать как оценку от 0 до 1. Модель поддерживает более 40 языков и имеет контекстное окно 8192 токена по метаданным, однако при обучении пары ограничивались 384 токенами, поэтому длинные фрагменты обрезаются. Для длинных документов рекомендуется сначала разделить текст на фрагменты. В репозитории есть веса Safetensors и ONNX, включая квантованный вариант для CPU и браузера. Модель получена дистилляцией Qwen3-Reranker-4B и заметно компактнее учителя; в приведённых бенчмарках уступает ему и более крупной версии multilingual-reranker-base. Модель выпущена под лицензией Apache-2.0. Её оценки наследуют ошибки учителя; качество ниже на длинных и технических текстах. Обучающие запросы созданы языковой моделью на основе веб-текстов, поэтому специализированный поиск в юридических, медицинских и программных материалах, а также разговорные запросы покрыты слабее.
JoBeer/multi-qa-mpnet-base-dot-v1-eclass — модель эмбеддингов на базе архитектуры MPNet, представленная в формате PyTorch и совместимая с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Обучение описано с использованием MultipleNegativesRankingLoss и косинусного сходства. Модель содержит 136,7 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Её можно применять для семантического поиска и получения сходства между предложениями; README также указывает кластеризацию как сценарий использования. Сведения о лицензии и целевых языках в предоставленных данных отсутствуют.
Модель celik-muhammed/multi-qa-mpnet-base-dot-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработанная Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу и кластеризации. В обучении использовались MultipleNegativesRankingLoss и OnlineContrastiveLoss с косинусным сходством. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; заявленная длина контекста — 514 токенов. Доступны форматы PyTorch, Safetensors и TFLite. Лицензия в предоставленных данных не указана.
Карточка модели swardiantara/MultiSource-full-crk10-m0.5-e5-b128-L6 на Hugging Face совпадает с карточкой swardiantara/one-crk10-m0.5-e5-b128-L6, поэтому описание составлено по ней. swardiantara/one-crk10-m0.5-e5-b128-L6 — модель Sentence Transformers на основе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Это делает модель подходящей для построения текстовых эмбеддингов и поиска близких по смыслу фрагментов. В предоставленных материалах не названы поддерживаемые естественные языки и лицензия, поэтому их нельзя определить по этим данным.
Yunika/muril-base-sentence-transformer — модель на базе BERT, представленная как Sentence Transformers для получения плотных векторных представлений предложений и абзацев размерностью 768. Её обучили с TripletLoss на датасете embedding-data/QQP_triplets; модель подходит для семантического поиска, сравнения сходства текстов и кластеризации. Репозиторий содержит веса в формате safetensors, использовать модель можно через библиотеку sentence-transformers или Transformers с подходящей операцией pooling. Модель принимает текст и выдаёт эмбеддинги. Максимальная длина контекста — 512 токенов, всего в модели около 264,8 млн параметров. Лицензия в предоставленных данных не указана.
mxbai-rerank-base-v1 — базовая модель семейства реранкеров от Mixedbread, предназначенная для повышения качества поиска. Она оценивает релевантность пары «запрос — документ» и упорядочивает результаты, например, после поиска по ключевым словам. Модель построена на архитектуре DeBERTa-v2 и содержит 211,6 млн параметров; для работы с ней README рекомендует актуальную версию sentence-transformers. Модель рассчитана на английский язык и принимает текст, выдавая оценки релевантности, которые можно использовать для ранжирования документов. В README приведены результаты оценки на 11 наборах BEIR и указано, что реранкер хорошо дополняет поиск по ключевым словам. Длина контекста составляет 512 токенов. Модель распространяется по лицензии Apache-2.0.
leerobert/my-awesome-setfit-model — модель Sentence-Transformers на базе MPNet, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. В карточке указано обучение с CosineSimilarityLoss; модель рассчитана на применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в доступных данных не указана.
MartinV/my-awesome-setfit-model — модель семейства MPNet на базе Sentence Transformers, которая преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений по смыслу. Модель содержит 136,7 млн параметров и принимает текст с контекстным окном до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Веса опубликованы в формате PyTorch; для использования подходят библиотека Sentence Transformers или Transformers с корректной операцией pooling. В карточке указана архитектура MPNet, но базовая модель и лицензия не установлены, поэтому условия распространения по этим данным описать нельзя.
GavinQiangLi разработал sentence-transformers-модель для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерностью 384, пригодные для семантического поиска и кластеризации. Модель построена на архитектуре BERT, содержит около 40 млн параметров и обрабатывает до 512 токенов контекста. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для поиска семантически близких текстов и группировки текстов по смыслу. В репозитории представлены веса safetensors; для работы можно использовать библиотеку Sentence Transformers. Лицензия в доступных данных не указана.
Nemotron-3-Embed-1B-Q4_K_M-GGUF — независимо сконвертированная и квантованная версия NVIDIA Nemotron-3-Embed-1B-BF16, подготовленная zenmagnets для локального получения текстовых эмбеддингов в LM Studio и совместимых с llama.cpp средах. Репозиторий не является официальным релизом NVIDIA и не связан с её поддержкой. Модель предназначена для семантического поиска, retrieval, RAG, извлечения признаков и reranking, но не для диалогов или генерации текста. Модель распространяется в формате GGUF с квантованием Q4_K_M и занимает около 714,6 МиБ. Она формирует L2-нормализованные эмбеддинги размерностью 2048 и поддерживает заявленный максимальный контекст 262 144 токена, однако функционально проверялась только на контексте 4096 токенов; большие контексты требуют значительно больше памяти и не валидировались. Для retrieval рекомендуется использовать префиксы «query:» для запросов и «passage:» для документов. В README указана поддержка multilingual-сценариев, включая английский, русский, китайский, японский, корейский, арабский, немецкий, французский и другие языки. К преимуществам относятся компактный размер, локальный запуск, нормализованные векторы, совместимость косинусного сходства и скалярного произведения, а также проверенная работа на Apple M3 Max с производительностью до 32,82 текста в секунду для пакетной обработки. Q4_K_M является lossy-квантованием и может менять оценки и ранжирование относительно BF16-версии; для этой квантованной модели не проводилась оценка качества MTEB/MMTEB. Модель распространяется по лицензии OpenMDW License Agreement 1.1; материалы исходной модели также включают компоненты под Apache 2.0.
Stern5497/nir-24-xlm-roberta-base — модель Sentence Transformer, созданная разработчиком Stern5497 дообучением FacebookAI/xlm-roberta-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для сравнения по косинусному сходству. Модель построена на XLM-RoBERTa с усреднением токенных представлений; максимальная длина последовательности — 514 токенов по метаданным Hugging Face. Модель предназначена для семантического сходства текстов и семантического поиска. Векторы также можно использовать для поиска перефразировок, кластеризации и классификации текста. В README указан обучающий набор из 164 848 примеров; метаданные называют базовую модель многоязычной, однако конкретные поддерживаемые языки этой версии не перечислены. Модель распространяется в формате Safetensors и рассчитана на использование с библиотекой Sentence Transformers. Сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели Borsa356/NLI_MNRL_EN_ на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.
nli-roberta-base-v2 — модель Sentence Transformers, обученная командой sentence-transformers на базе архитектуры RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по смыслу, семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Модель подходит для поиска похожих фрагментов текста, группировки документов и построения семантических представлений в системах поиска. Для её использования доступны форматы PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Лицензия — Apache-2.0.
mlx-community/nomicai-modernbert-embed-base-8bit — англоязычная модель для получения векторных представлений текста и оценки сходства предложений. По метаданным это плотная encoder-only модель семейства ModernBERT на 149 млн параметров с контекстом до 8192 токенов; README указывает, что веса преобразованы в формат MLX из nomic-ai/modernbert-embed-base. Модель можно применять для семантического поиска, сравнения текстов и построения эмбеддингов для последующей обработки.
SteveTran/ob_semantic_model — это модель Sentence Transformers, дообученная разработчиком на базе Alibaba-NLP/gte-multilingual-base для сопоставления предложений и абзацев по смыслу. Она преобразует текст в плотные векторы размерности 768 и сравнивает их с помощью косинусного сходства; модель предназначена для семантического поиска, оценки сходства, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Sentence Transformer с энкодером Transformer, объединением CLS-токена и нормализацией векторов. В карточке указана максимальная длина последовательности 512 токенов, а метаданные каталога указывают контекст до 8192 токенов; при практическом использовании следует учитывать ограничение, заявленное в README. Обучающие примеры состоят из запросов, релевантных описаний и отрицательных примеров; датасет содержит 5 964 образца. Пример в карточке — вьетнамский, а базовая модель многоязычная, поэтому модель подходит для многоязычных текстовых задач, хотя конкретный список поддерживаемых языков в источниках не приведён. Модель принимает текст и выдаёт векторы, пригодные для поиска и сравнения; для обучения применялась MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
swardiantara/one-cdk3-m0.5-e5-b128-L6 — модель Sentence-Transformers на базе BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 25,9 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Обучение проводилось с ContrastiveLoss и косинусной метрикой расстояния. В репозитории веса представлены в формате safetensors; модель можно использовать через библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformers, дообученная на базе FacebookAI/xlm-roberta-base для получения векторных представлений предложений и текстов. Она использует XLM-RoBERTa с усредняющим pooling, содержит около 305,2 млн параметров и формирует плотные эмбеддинги размерности 768; сходство оценивается косинусной мерой. Модель принимает текст, максимальная длина последовательности — 512 токенов (в метаданных указано 514 токенов контекста). Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В карточке показаны примеры обучающих данных на бирманском языке, однако они не устанавливают полный перечень поддерживаемых языков. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.
nanalysenko/panacea-test-2 — модель на базе RoBERTa, созданная с библиотекой Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 95,2 млн параметров, принимает текст и выдаёт эмбеддинги; максимальный контекст — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель доступна в формате Safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
seongwoon/paper_embedding — модель Sentence-Transformers на основе BERT, разработанная автором репозитория seongwoon. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 137,1 млн параметров и принимает текстовые последовательности длиной до 512 токенов; для получения эмбеддингов через Transformers поверх выходов модели требуется применить подходящий pooling. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В карточке нет сведений о целевых языках, обучающих данных или лицензии, поэтому их нельзя надёжно определить.
paraphrase-albert-base-v2 — модель Sentence Transformers на архитектуре ALBERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Для обработки текстов использует библиотеку sentence-transformers; также доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения эмбеддингов для поиска. Размер модели — 136,3 млн параметров, максимальная длина входа — 512 токенов. Лицензия Apache-2.0. В README не заявлена поддержка конкретных языков, поэтому языки и основной язык не указаны.
sentence-transformers/paraphrase-albert-small-v2 — модель sentence-transformers, обученная командой Sentence Transformers на базе ALBERT. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысла и работы с текстовыми представлениями. Модель содержит 79,7 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска, кластеризации текстов и вычисления сходства между предложениями. Её можно использовать через библиотеку sentence-transformers или Transformers с подходящей операцией pooling. Лицензия — Apache-2.0. Карточка не уточняет языковую специализацию; не следует считать её специально настроенной на русский язык.
paraphrase-distilroberta-base-v2 — модель sentence-transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости, семантического поиска и кластеризации. Архитектура основана на RoBERTa; модель содержит 95,2 млн параметров и рассчитана на контекст до 514 токенов. Для получения эмбеддингов используется библиотека Sentence-Transformers; веса доступны в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель подходит для поиска похожих текстов, группировки предложений по смыслу и построения семантического поиска по коллекциям документов. В карточке не заявлена специализация на конкретном языке или предметной области. Лицензия Apache-2.0 разрешает свободное использование с соблюдением её условий.
DataikuNLP/paraphrase-multilingual-MiniLM-L12-v2 — копия модели Sentence-Transformers, обученной командой sentence-transformers. Это плотная модель на архитектуре BERT с 124,3 млн параметров: она преобразует предложения и абзацы в векторы размерностью 384 для сравнения смысловой близости. Модель подходит для семантического поиска и кластеризации текстов, а также для других задач, опирающихся на эмбеддинги предложений. Модель принимает текст и выдаёт векторные представления. Она рассчитана на работу с несколькими языками; идентификаторы языков в метаданных отсутствуют. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Копия перенесена из репозитория sentence-transformers с конкретного коммита.