I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейLlama-Karmx-Indic-Embedding-bge-m3 — модель эмбеддингов, разработанная Karmx на основе BAAI/bge-m3 и дообученная для поиска по текстам на десяти языках Индии. Она создаёт нормализованные плотные векторы размерностью 1024 для семантического поиска и систем RAG; в Sentence Transformers её можно использовать как замену bge-m3. Модель принимает текст и выдаёт векторные представления. Для неё доступны форматы safetensors и ONNX, включая вариант int8; заявлена совместимость с Sentence Transformers и ONNX Runtime. По результатам README, модель показала более высокие значения nDCG@10, чем исходная bge-m3, на наборах IndicQARetrieval и Belebele для всех десяти указанных языков. Обучение включало дистилляцию ранжирования от BAAI/bge-reranker-v2-m3 и полное дообучение bge-m3 на данных Indic-Rag-Suite и MIRACL. Лицензия — MIT. Модель предназначена для семантического поиска и извлечения релевантных фрагментов в RAG. Она поддерживает хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби и одия. Контекст архитектуры — до 8194 токенов, однако в README указан предел 512 токенов для настройки по умолчанию и оценки.
llama-nv-embed-reasoning-3b — текстовая модель эмбеддингов NVIDIA на основе двунаправленной архитектуры Llama, дообученная на базе meta-llama/Llama-3.2-3B. Модель содержит 3,2 млрд параметров и формирует векторы размерностью до 3072 для предложений и документов. В метаданных указано контекстное окно 131072 токена; при обучении использовалась длина до 512 токенов для запросов и документов, а при оценке — до 8192 токенов. Модель предназначена для векторного поиска и поиска по смыслу, особенно по материалам с многошаговыми рассуждениями, объяснениями и техническими подробностями. Её можно применять в текстовых RAG-системах, для сопоставления коротких запросов с длинными документами, поиска по базам знаний и обращениям в поддержку, а также для кластеризации и удаления дубликатов. Эмбеддинги подходят для использования с векторными базами данных и retrieval-конвейерами. Модель разработана NVIDIA и оптимизирована для вычислений на GPU NVIDIA; в README указана совместимость с Linux и GPU A100 или H100. Для запуска описана интеграция с Transformers и vLLM. Лицензия в метаданных — CC BY 4.0, однако README ограничивает использование исследовательскими и некоммерческими целями.
Matryoshka Text Embedding v1 — мультиязычная модель эмбеддингов текста на базе энкодера XLM-RoBERTa, дообученная с применением Matryoshka Representation Learning. Она преобразует тексты в векторы для семантического поиска, сравнения предложений и извлечения документов; поддерживает семь размерностей эмбеддинга от 64 до 1024, что позволяет выбирать компромисс между качеством, скоростью и объёмом хранения. Максимальная длина последовательности — 8194 токена по метаданным модели; README указывает 8192 токена. Модель предназначена для поиска по научной литературе, правовым и медицинским документам, веб-страницам и каталогам товаров, а также для рекомендаций и индексации больших коллекций. В карточке заявлена поддержка более 100 языков; метаданные отдельно перечисляют английский, арабский, немецкий, испанский, французский, китайский, русский, турецкий, корейский, японский, итальянский, португальский и нидерландский. Метаданные указывают 658,7 млн параметров, тогда как README приводит около 568 млн. Модель выпущена hasankursun и дообучена на FacebookAI/xlm-roberta-base. Для лучшего соответствия исходному качеству используют полную размерность или крупные векторы; усечение уменьшает требования к хранению и вычислениям, но может снизить качество. Лицензия CC-BY-NC-4.0 разрешает использование с обязательной атрибуцией и ограничивает коммерческое применение.
Карточка модели MemseekAI/membukkit-biencoder-v1 на Hugging Face совпадает с карточкой sentence-transformers/all-mpnet-base-v2, поэтому описание составлено по ней. all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.
Merino-XL — мультиязычная модель для поиска по документам от BAA AI (Black Sheep AI). Она объединяет bi-encoder для получения 1024-мерных L2-нормализованных эмбеддингов и cross-encoder для оценки релевантности пары «запрос — документ» одним логитом. Обе части используют основу xlm-roberta-large и общую матрицу входных эмбеддингов, что позволяет хранить её один раз; заявлено, что это уменьшает размер загрузки без измеримой потери качества. Модель предназначена для двух этапов RAG-поиска: векторного извлечения кандидатов и их последующего ранжирования. README указывает около 880 млн параметров суммарно и мультиязычную поддержку. Модель снята с рекомендуемой линейки и заменена Merino-Large и Merino-Large-v2; её fp16-веса оставлены для воспроизводимости. 4-битный вариант не опубликован из-за регрессии устойчивости в проверке с отвлекающими документами. Лицензия в метаданных обозначена как other, без конкретных условий в предоставленных данных.
MiniCPM-Embedding-Light — двуязычная модель текстовых эмбеддингов для поиска, разработанная ModelBest совместно с лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для семантического поиска на китайском и английском языках, а также для поиска между ними, включая сценарии RAG и длинные документы. Модель построена на архитектуре MiniCPM с двунаправленным вниманием и взвешенным усреднением токенов. В README указаны размер 440 млн параметров, размерность эмбеддинга 1024, поддержка плотных и разреженных токеновых векторов и изменяемой размерности представления Matryoshka. README заявляет поддержку до 8192 токенов, тогда как метаданные каталога указывают контекст 4096 токенов. Она обучалась в несколько этапов примерно на 260 млн примеров, включая открытые, синтетические и закрытые данные; запросы можно подавать с инструкцией или без неё. Модель подходит для поиска релевантных документов и межъязычного поиска на китайском и английском языках. Метаданные также указывают возможности чата, но README описывает её как модель эмбеддингов, а не генеративную модель, поэтому основное назначение — извлечение признаков и векторов для поиска. Лицензия в предоставленных данных не указана.
MiniCPM-Reranker — двуязычная модель переранжирования текстов, совместно разработанная ModelBest, лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она оценивает релевантность документов запросу и переупорядочивает результаты первичного поиска, в том числе в конвейерах RAG. Модель рассчитана на китайский и английский языки и на переранжирование между ними. Модель дообучена на основе openbmb/MiniCPM-2B-sft-bf16, использует двунаправленное внимание и обучалась в несколько этапов примерно на 6 млн примеров, включая открытые, синтетические и закрытые данные. В README указан размер 2,4 млрд параметров и максимум 1024 входных токена; метаданные Hugging Face сообщают 2,7 млрд параметров и контекст 2048 токенов. Для применения можно передавать инструкцию вместе с запросом и документом либо использовать режим без инструкции. Опубликованные оценки включают результаты на наборах C-MTEB/Retrieval, BEIR и межъязыковых тестах. Для запуска доступны веса safetensors и библиотека Transformers. Условия лицензии в предоставленных данных не указаны.
MiniMind-Rerank-MoE — компактная модель-реранкер на архитектуре Mixture-of-Experts, разработанная авторами MiniMind и дообученная на базе jingyaogong/minimind-3. Она оценивает пару «запрос — документ» как релевантную или нерелевантную, используя вероятность токена «是» как оценку релевантности. Модель предназначена для повторного упорядочивания результатов поиска и отбора документов для систем поиска с дополненной генерацией. Архитектура включает четыре эксперта с маршрутизацией top-1; в README указаны 198 млн общих параметров и 64 млн активных, а метаданные указывают 63,9 млн параметров. Контекст составляет до 32 768 токенов. Модель обучалась три эпохи на 80 тысячах пар T2Reranking. На указанном тесте C-MTEB/T2Reranking она показала MAP@10 0,604 и точность классификации 88%; авторы рекомендуют Dense-версию для ранжирования, поскольку у неё MAP@10 заметно выше. Поддерживаются китайский и английский языки. Лицензия — Apache-2.0.
MiroThinker-1.7 — агентная языковая модель miromind-ai, созданная на основе Qwen3-235B-A22B-Thinking-2507 методом дообучения. Она предназначена для глубокого исследования, многошагового анализа и ответов на сложные вопросы с использованием инструментов; в поддерживаемом агентном сценарии может выполнять до 300 вызовов инструментов за задачу. Модель использует архитектуру Qwen3 MoE, содержит 18,2 млрд параметров и принимает контекст до 262 144 токенов. README сообщает о сильных результатах в задачах исследования, включая BrowseComp, BrowseComp-ZH, GAIA-Val-165 и HLE-Text. Для полноценного использования рекомендован агентный фреймворк с поддержкой инструментов и режимом рассуждений; сама модель в каталоге размечена как генерация текста. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0.
MistralLite — языковая модель на архитектуре Mistral-7B, дообученная участниками AWS для работы с длинным контекстом. Она предназначена для поиска сведений в длинных текстах, извлечения тем и строк, суммаризации и ответов на вопросы по предоставленному контексту. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta = 1 000 000 и окно скользящего внимания размером 16 384 токена. README сообщает об улучшении результатов на задачах извлечения и ответов по длинному контексту; основной язык модели — английский. Указанная лицензия — Apache 2.0. Для запросов с входным контекстом длиннее 12 000 токенов README рекомендует использовать специальный контейнер TGI. Разработчики советуют самостоятельно оценивать качество и проверять соответствие применения местным правилам, лицензиям и требованиям контроля качества.
mmBERT-Embed-32K-2D-Matryoshka — мультиязычная модель эмбеддингов на архитектуре ModernBERT, разработанная llm-semantic-router и дообученная на llm-semantic-router/mmbert-32k-yarn. Модель содержит около 307 млн параметров, принимает текст длиной до 32 768 токенов и предназначена прежде всего для поиска по смыслу, семантического сходства и retrieval-сценариев, включая мультиязычный RAG и поиск по длинным документам. В карточке заявлена поддержка более 1800 языков. Поддержка 2D Matryoshka позволяет сокращать размерность эмбеддингов или извлекать их с промежуточных слоёв, выбирая баланс между качеством, скоростью и объёмом хранения. В репозитории представлены веса Safetensors и ONNX; модель работает с Sentence Transformers. Указана лицензия Apache-2.0. Ограничения: сокращение числа слоёв заметно снижает качество, а средний результат MTEB немного ниже приведённого в карточке результата BGE-M3. Модель оптимизирована для retrieval и может требовать дообучения для других задач.
Карточка модели emilecornamusaz/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели anlanwang925/MNLP_M3_document_encoder_test5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели novelcore/model13 на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
robro612/modernbert_colbert_kd — англоязычная модель поиска и ранжирования текста на базе ModernBERT и архитектуры ColBERT, распространяемая в библиотеке PyLate. Она преобразует запросы и документы в последовательности плотных 128-мерных векторов и сравнивает их оператором MaxSim; в README указаны максимальные длины 32 токена для запроса и 512 для документа, а метаданные сообщают о контекстном окне ModernBERT в 8192 токена. Модель предназначена для семантического поиска по коллекциям документов и повторного ранжирования результатов первичного поиска. Её можно использовать для поиска релевантных документов по запросам, в том числе в системах вопросно-ответного поиска и retrieval-augmented generation. В карточке приведены оценки на наборах NanoBEIR и PyLate Information Retrieval, но они не гарантируют аналогичного качества на других данных. Модель описана как дистиллированная; тег датасета указывает на MS MARCO на английском языке. Размер по метаданным — 149 млн параметров. Указаны формат safetensors и библиотека PyLate; сведения о лицензии в предоставленных данных отсутствуют.
schaitanya/modernbert-embed-base-transcript-documents-v1 — англоязычная модель Sentence Transformers, дообученная на парах запросов и релевантных документов, включая транскрипты. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и извлечения релевантных документов; сходство оценивается косинусной мерой. В основе лежит ModernBERT с архитектурой среднего пулинга токенов и контекстом до 8192 токенов по метаданным; карточка модели указывает максимальную длину последовательности 1024 токена. Модель содержит 149 млн параметров и распространяется в формате safetensors. Модель подходит для поиска по транскриптам и документам, сопоставления коротких запросов с длинными текстами, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В обучающей выборке — 6116 пар «запрос — положительный документ»; приведённые в карточке метрики поиска показывают cosine_accuracy@1 0,5191, @3 0,7441 и @5 0,8. Поддерживается английский язык. Лицензия — Apache-2.0.
robro612/modernbert_xtr_contrastive_k256 — модель PyLate семейства ColBERT, дообученная автором на базе answerdotai/ModernBERT-base на наборе msmarco-10m-triplets из 10 млн примеров. Она предназначена для поиска и ранжирования текстов: кодирует запросы и документы в последовательности 128-мерных векторов и оценивает их сходство оператором MaxSim. Архитектура включает ModernBERT и линейный слой, преобразующий размерность с 768 до 128; размер модели — 149 млн параметров. Для документов предусмотрено до 512 токенов, для запросов — до 32; метаданные указывают нативный контекст 8192 токена. Модель можно применять для семантического поиска по коллекции документов с индексом FastPLAID, а также для переранжирования результатов первичного поиска. В README приведены результаты оценки на наборах NanoBEIR и тематических задачах поиска. Обучающий набор и базовая модель англоязычные, поэтому основное применение — поиск по английским текстам. Модель принимает текст и выдаёт векторные представления и оценки релевантности. Лицензия в предоставленных данных не указана.
robro612/modernbert_xtr_contrastive_k512 — англоязычная модель для поиска и ранжирования текстов, созданная дообучением answerdotai/ModernBERT-base командой или автором robro612 с помощью PyLate на наборе msmarco-10m-triplets. Архитектура ColBERT включает ModernBERT и линейный слой, преобразующий представления размерности 768 в последовательности 128-мерных векторов. Модель сопоставляет запросы и документы оператором MaxSim; в README указаны пределы в 32 токена для запроса и 512 токенов для документа, а метаданные указывают контекст до 8192 токенов. Модель предназначена для семантического поиска по коллекциям документов и повторного ранжирования результатов первичного поиска. Её можно применять для построения поискового индекса через PyLate и FastPLAID, поиска релевантных документов по запросу и ранжирования готовых пар запрос–документ. Обучение проводилось на англоязычных примерах MS MARCO; в README также приведены результаты оценки на наборах Nano BEIR и других коллекциях. Модель принимает текст запросов и документов и выдаёт векторные представления, используемые для расчёта релевантности. Репозиторий содержит веса Safetensors; для работы описан PyLate. Лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformer, разработанная tomaarsen и дообученная на базе microsoft/mpnet-base на наборе вопросов и ответов GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые можно сравнивать по косинусному сходству; архитектура включает MPNet и mean pooling. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений и поиска перефразировок. Векторы также подходят для кластеризации и классификации текста в составе внешнего конвейера. Обучение с QuantizationAwareLoss и MultipleNegativesRankingLoss ориентировано на поиск и сохраняет пригодность представлений для квантованных вариантов. Лицензия — Apache-2.0.
tomaarsen опубликовал модель Sentence Transformers, дообученную на парах запросов и ответов из набора Natural Questions. Она использует трансформер MPNet на базе microsoft/mpnet-base с усреднением токенных представлений и преобразует текст в плотные векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина входной последовательности — 512 токенов; модель рассчитана на английский язык. Модель подходит для семантического поиска, сопоставления вопросов с ответами, оценки смыслового сходства, поиска перефразировок, кластеризации и классификации текстов. На Natural Questions она обучалась на 100 231 примере; в README приведены метрики поиска на тестовой выборке. Для работы с длинными текстами их потребуется разбивать на фрагменты. Лицензия — Apache-2.0.
Это модель Sentence Transformers, разработанная tomaarsen и дообученная на microsoft/mpnet-base с использованием набора gooaq-hard-negatives из 50 000 примеров. Она кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения текстов используется косинусное сходство. Модель содержит 136,7 млн параметров, поддерживает последовательности до 512 токенов и рассчитана на английский язык. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. Её можно применять для поиска ответов и релевантных документов по вопросу, в том числе в системах информационного поиска и RAG. В README приведены результаты оценки на наборах Nano BEIR и других коллекциях, однако качество зависит от набора данных и сценария. Лицензия — Apache-2.0.
msmarco-distilbert-dot-v5 — модель Sentence Transformers, обученная командой sentence-transformers для семантического поиска. Она кодирует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения запросов и текстовых фрагментов по смыслу. Модель обучена на 500 тысячах пар «запрос — ответ» из набора MS MARCO и использует архитектуру DistilBERT; максимальная длина входной последовательности составляет 512 токенов. Модель подходит для поиска релевантных документов или ответов по запросу, семантического сопоставления текстов и построения поисковых систем с векторным индексом. Для применения доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Основной язык карточки и метаданных — английский. Эмбеддинги не нормализуются автоматически, поэтому при сравнении нужно учитывать выбранную метрику и способ нормализации. Модель распространяется по лицензии Apache-2.0.
sentence-transformers/msmarco-distilroberta-base-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель основана на архитектуре RoBERTa и содержит 95,2 млн параметров; максимальная длина контекста — 514 токенов. Она предназначена для получения текстовых эмбеддингов, а не для генерации ответов. Модель подходит для поиска семантически близких документов и группировки текстов по смыслу. Для использования с Transformers поверх контекстных представлений токенов требуется применить подходящую операцию pooling. Распространяется по лицензии Apache-2.0.
sentence-transformers/msmarco-MiniLM-L12-v3 — модель Sentence Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для семантического поиска, сравнения текстов и кластеризации. В основе лежит архитектура BERT; модель содержит 40 млн параметров и поддерживает контекст до 512 токенов. Для получения корректных представлений при использовании через Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Доступны варианты весов PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или оценках качества; размер контекста ограничен 512 токенами.
cross-encoder/ms-marco-MiniLM-L4-v2 — англоязычная модель Sentence Transformers для переранжирования результатов поиска. Она обучена на задаче ранжирования отрывков MS MARCO и оценивает релевантность пары «запрос — текст», после чего найденные документы можно отсортировать по оценке. Модель построена на архитектуре BERT с классом BertForSequenceClassification и содержит 21,2 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для этапа reranking в системах информационного поиска: сначала поисковик извлекает кандидатов, затем cross-encoder оценивает каждую пару запроса и отрывка. Она подходит для улучшения порядка результатов поиска и оценки релевантности; README также приводит сравнительные показатели моделей семейства на наборах TREC Deep Learning 2019 и MS MARCO, но не показывает численные результаты именно этой версии L4-v2. Поддерживаются форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Лицензия — Apache-2.0.
multilingual-e5-small-gguf — это GGUF-конверсия модели intfloat/multilingual-e5-small, подготовленная TwinSunsLLC для локального поиска и retrieval на устройствах. Модель предназначена для построения эмбеддингов, оценки семантического сходства, поиска похожих текстов и многоязычного сопоставления запросов с фрагментами документов, в том числе в сценариях приватного офлайн-использования. Модель имеет 384-мерные эмбеддинги, 12 слоёв и поддерживает контекст до 512 токенов. Квантование Q8_0 уменьшает размер до 126 МБ по сравнению с 236 МБ в формате f16; заявлено, что результаты косинусного сходства практически совпадают с f16. Модель может запускаться через llama.cpp или llama.swift в режиме embeddings с mean pooling. Поддерживаются многоязычные сценарии; в README приведены примеры для английского, французского и испанского языков. Для корректной работы асимметричного поиска исходные тексты следует предварять префиксом «passage: », а запросы — «query: ». Пропуск или смешивание префиксов ухудшает retrieval. Из-за высокого базового уровня сходства нерелевантных текстов рекомендуется ранжировать результаты по top-k, а не использовать абсолютный порог сходства. Модель распространяется по лицензии MIT; авторство базовой модели принадлежит исходным разработчикам intfloat/multilingual-e5-small.
Карточка модели Hisham480/multilingual-r2 на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-97m-multilingual-r2, поэтому описание составлено по ней. Granite Embedding 97M Multilingual R2 — текстовая модель эмбеддингов, разработанная командой Granite Embedding в IBM. Она использует архитектуру bi-encoder на базе ModernBERT и преобразует запросы, документы, фрагменты текста и код в векторы размерностью 384 для сравнения по косинусному сходству и поиска похожего содержимого. Модель предназначена для многоязычного семантического поиска, сопоставления запросов с документами и поиска по коду. Она содержит 97,4 млн параметров, 12 слоёв и поддерживает контекст до 32 768 токенов. Улучшенное обучение данными для поиска заявлено для 52 естественных языков и кода; энкодер предварительно обучен на текстах более чем 200 языков. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия — Apache 2.0. Компактный размер позволяет использовать модель при меньших требованиях к ресурсам, чем у более крупной версии Granite Embedding. Компромисс — возможное снижение точности, особенно для языков с малым объёмом ресурсов; качество токенизации также может различаться между языками, а тексты длиннее контекстного окна усекаются.
Horizon-Labs Multilingual Reranker Base — многоязычная модель-переранжировщик, разработанная Horizon-Labs на основе энкодера mmBERT-base и дообученная дистилляцией оценок Qwen3-Reranker-4B. Это cross-encoder: модель получает запрос и кандидатный фрагмент текста и выдаёт один логит релевантности для каждой пары; более высокое значение означает более релевантный результат, а sigmoid(logit) даёт оценку от 0 до 1. Модель предназначена для повторной сортировки результатов поиска и повышения качества выдачи в RAG после первоначального поиска по ключевым словам или векторам. Модель содержит около 307 млн параметров, использует архитектуру ModernBERT и принимает пары длиной до 8192 токенов по нативному контексту; обучение проводилось с длиной 384 токена на пару, поэтому более длинные фрагменты обрезаются. Поддерживается поиск между языками: запрос и фрагмент могут быть на разных языках. В карточке указано обучение на веб-текстах FineWeb и FineWeb-2 на 47 языках и поддержка более 40 языков. Для инференса доступны веса Safetensors и ONNX, включая квантованный ONNX-вариант для CPU и браузера. По результатам приведённых бенчмарков модель улучшает ранжирование, хотя уступает крупной модели-учителю и может быть слабее на длинных и технических фрагментах. Лицензия Apache-2.0. Модель унаследует ошибки учителя; обучающие запросы синтетические и основаны на веб-тексте, поэтому узкоспециализированный поиск в юридической, медицинской и кодовой областях и разговорные запросы представлены хуже. Для длинных документов рекомендуется делить текст на фрагменты перед ранжированием.
multi-qa-distilbert-dot-v1 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face Community Week по обучению моделей эмбеддингов предложений. Она основана на distilbert-base-uncased и дообучена на 215 млн пар «вопрос—ответ» из разных источников для семантического поиска. Модель преобразует запросы, вопросы и текстовые абзацы в плотные векторы размерности 768; для сравнения используется скалярное произведение, а векторы не нормализуются. В метаданных указаны реализации PyTorch, ONNX и OpenVINO. Модель подходит для поиска абзацев, релевантных запросу или вопросу, и для сопоставления вопросов с ответами. Она принимает текст на английском языке; максимальная длина входа — 512 токенов WordPiece, но обучение проводилось на последовательностях длиной до 250 токенов, поэтому качество на более длинных текстах может снижаться. Лицензия в предоставленных данных не указана.
cicero-ai/multi-qa-mpnet-base-cos-v1-rust — вариант модели multi-qa-mpnet-base-cos-v1, опубликованный под именем cicero-ai; README описывает исходную модель Sentence Transformers, разработанную в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Это MPNet-base с 136,7 млн параметров, который кодирует предложения и абзацы в нормализованные плотные векторы размерности 768. Модель предназначена прежде всего для семантического поиска: по запросу или вопросу помогает находить релевантные текстовые фрагменты. Модель дообучена на примерно 215 млн пар «вопрос — ответ» из разных источников с использованием контрастивного обучения и mean pooling. Нормализация векторов позволяет использовать скалярное произведение вместо косинусного сходства. Поддерживается английский язык; контекст составляет до 514 токенов по метаданным, а README указывает предел в 512 word pieces и сообщает, что обучение проводилось на текстах длиной до 250 word pieces. Более длинный текст может обрезаться, а качество на нём может снижаться. В метаданных указаны форматы PyTorch и safetensors; лицензия не установлена по предоставленным данным.