I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейDRAMA-large — компактная плотная модель поиска текстов, разработанная авторами DRAMA на основе обрезанной языковой модели и дообученная для многоязычного семантического поиска. Она преобразует запросы и документы в векторы для поиска релевантных материалов; для запросов используется префикс «Query: », а модель применяет двунаправленное внимание. Модель построена на архитектуре Llama, содержит около 399,8 млн параметров по метаданным и поддерживает контекст до 131 072 токенов. Стандартная размерность эмбеддингов — 1024; благодаря Matryoshka Representation Learning её можно сокращать, например, до 512 или 256. Модель рассчитана на арабский, бенгальский, китайский, английский, финский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, персидский, португальский, русский, испанский, суахили, телугу, тайский и йоруба. DRAMA-large предназначена для семантического поиска и извлечения документов, в том числе в многоязычных системах. Авторы сообщают об оценке на BEIR, MIRACL, MLDR и задачах MTEB; компактный размер и гибкая размерность эмбеддингов позволяют выбирать баланс между качеством и затратами на хранение и поиск. Репозиторий использует формат Safetensors, библиотеку Transformers и лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.
E5-base-multilingual-4096 — многоязычная модель эмбеддингов на архитектуре XLM-RoBERTa, разработанная как версия Local-Sparse-Global модели intfloat/multilingual-e5-base. Она кодирует запросы и текстовые фрагменты в векторные представления для сравнения смысловой близости и ранжирования, в том числе в сценариях поиска по коллекции документов. Модель содержит 305,2 млн параметров и поддерживает контекст до 4098 токенов. Модель предназначена для многоязычных задач семантического поиска и сопоставления предложений; README приводит пример кодирования запросов и пассажей из MS-MARCO. В метаданных указана поддержка множества языков, включая английский, немецкий, французский, испанский, китайский и другие. Репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.
Карточка модели GokulRajaR/embeddinggemma-300m-qat-q8_0-unquantized на Hugging Face совпадает с карточкой h2oai/embeddinggemma-300m-qat-q8_0-unquantized, поэтому описание составлено по ней. EmbeddingGemma — мультиязычная модель эмбеддингов Google DeepMind на 302,8 млн параметров, основанная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы для поиска, извлечения информации, оценки семантического сходства, классификации и кластеризации. Модель обучена на данных более чем на 100 языках и рассчитана на запуск в условиях ограниченных ресурсов, включая мобильные устройства и настольные компьютеры. Модель принимает текст длиной до 2048 токенов и выдаёт вектор размерности 768; с помощью Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Веса предназначены для использования с Sentence Transformers и реализацией Gemma 3 в Transformers. Модель подходит для поиска документов и кода по запросам, а также для подбора текстов по смыслу. Качество может снижаться при неоднозначных формулировках, сарказме и тонких языковых нюансах; результаты также зависят от охвата и возможных смещений обучающих данных. Лицензия — Gemma; применяются условия использования и политика запрещённого использования Gemma.
EuroDense-435M — плотная мультиязычная модель эмбеддингов от OPI-PIB, предназначенная для поиска релевантных текстов и оценки семантического сходства. Модель содержит 433,9 млн параметров, принимает текст и формирует векторные представления; поддерживает контекст до 8192 токенов. Для поиска запросы следует подавать с инструкционным префиксом для извлечения релевантных фрагментов, а для сравнения сходства — с префиксом для семантически похожих текстов. Модель рассчитана на английский, немецкий, французский, испанский, итальянский, португальский, нидерландский, русский и польский языки. В README описано обучение с дистилляцией от Stella-400M и Pplx-Embed-4B, а затем контрастивным дообучением на данных для поиска. По результатам оценки на 150 наборах данных модель показала высокие результаты для своего размерного класса, особенно на большинстве поддерживаемых языков. Лицензия — Gemma; для загрузки пользовательской реализации требуется включить trust_remote_code=True.
Карточка модели AlisherAmirbek/fine-tuned-bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Giga-Embeddings-instruct — двуязычная модель эмбеддингов от разработчиков GigaChat, построенная на decoder-only LLM GigaChat-3b. Она использует pooling типа Latent-Attention и формирует векторы размерности 2048. Модель предназначена для поиска и извлечения информации, семантического сравнения текстов и классификации; для настройки эмбеддингов под задачу перед запросом рекомендуется добавлять инструкцию в формате «Instruct: …\nQuery: …». Для retrieval-инструкцию добавляют к запросу, но не к документу; в симметричных задачах инструкцию добавляют перед каждым сравниваемым текстом. Модель обучена на смеси русских и английских данных и принимает текст, выдавая векторные представления. Максимальная длина входа — 4096 токенов. Указана лицензия MIT. Результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.
Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.
Granite-Embedding-English-R2 — плотная двусторонняя модель эмбеддингов из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Модель на архитектуре ModernBERT содержит 149 млн параметров и преобразует текст в векторы размерности 768; максимальная длина контекста — 8192 токена. Для работы с моделью используются PyTorch и Sentence Transformers. Модель предназначена для поиска и извлечения информации: она кодирует запросы, passages и документы в векторы, которые можно сравнивать, например, по косинусному сходству. Подходит для семантического поиска, оценки сходства предложений и поиска по длинным документам, коду, таблицам и многоходовым диалогам. Обучение включало предобучение для задач поиска, контрастивное дообучение, дистилляцию и объединение моделей; разработчики сообщают о результатах на наборах BEIR, MTEB, CoIR, MLDR и других. Модель рассчитана на английский текст. Тексты длиннее 8192 токенов обрезаются. Распространяется по лицензии Apache 2.0.
gte-multilingual-reranker-base — мультиязычная модель переранжирования из семейства GTE, разработанная Alibaba. Это версия для Transformers с неизменёнными весами исходной Alibaba-NLP/gte-multilingual-reranker-base и преобразованным config.json, благодаря чему модель загружается без trust_remote_code. Архитектура — encoder-only Transformer для классификации последовательностей, размер — около 305 млн параметров; модель принимает текстовые запросы и документы и оценивает их релевантность, поддерживая входную длину до 8192 токенов. Модель предназначена для повторной сортировки результатов поиска и улучшения мультиязычного извлечения информации. По данным карточки, она поддерживает более 70 языков и показывает высокие результаты в мультиязычных задачах retrieval; encoder-only архитектура снижает требования к оборудованию и, по README, обеспечивает до десятикратного увеличения скорости вывода по сравнению с некоторыми reranker-моделями на decode-only LLM. Веса доступны в формате safetensors, лицензия — Apache-2.0.
sentence-transformers/gtr-t5-xxl — модель для преобразования предложений и абзацев в плотные векторные представления размерностью 768, предназначенные прежде всего для семантического поиска. Она использует энкодер архитектуры T5 и обучена как часть работы Large Dual Encoders Are Generalizable Retrievers; в репозитории опубликована конверсия TensorFlow-модели gtr-xxl-1 в PyTorch с весами FP16. Модель подходит для построения поисковых индексов и извлечения релевантных текстов по смыслу. Метаданные указывают библиотеку sentence-transformers, контекст до 512 токенов и поддержку английского языка. Для использования необходима загрузка модели и вычисление эмбеддингов; README предупреждает, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя результаты на тех же бенчмарках совпадают. Лицензия — Apache-2.0.
Mungert/II-Search-4B-GGUF — квантованный формат модели II-Search-4B, разработанной на базе Qwen3-4B командой Intelligent-Internet. Модель дообучена для поиска информации, многошагового рассуждения, проверки фактов и подготовки подробных исследовательских отчётов. Она рассчитана на работу совместно с инструментами веб-поиска и посещения веб-страниц, а также на задачи фактологического вопросно-ответного взаимодействия и исследовательской поддержки. Модель содержит около 4 млрд параметров и относится к текстовым моделям генерации. В обучении использовались дистилляция возможностей Qwen3-235B, синтетические многошаговые задачи, отбор качественных цепочек рассуждений, методы подготовки комплексных отчётов и reinforcement learning на данных MuSiQue и внутренней поисковой базе с материалами Wikipedia, FineWeb и arXiv. Для исходной версии заявлена поддержка контекста до 131 072 токенов при использовании RoPE scaling, однако конкретные возможности и качество зависят от реализации и выбранного GGUF-кванта. К сильным сторонам относятся многошаговое планирование, использование поисковых инструментов, перекрёстная проверка сведений и высокие результаты на заявленных бенчмарках SimpleQA, Frames и Seal_0 среди сопоставимых по размеру моделей. Ограничения включают зависимость веб-интегрированных сценариев от внешних инструментов, поисковой инфраструктуры и качества подключённых источников, а также возможные потери точности из-за квантования. Модель распространяется по лицензии Apache-2.0; данный репозиторий содержит GGUF-версии, созданные с использованием llama.cpp и модифицированного подхода к повышению точности отдельных слоёв.
Iris-pro — открытая модель поискового агента от AllSpark-Research, дообученная на базе Qwen3.5-397B-A17B чередованием supervised fine-tuning и обучения с подкреплением. Это MoE-модель с 397 млрд параметров, из которых активны 17 млрд на токен; в README также указаны 512 экспертов и 10 активных экспертов. Модель предназначена для многошагового веб-поиска и глубокого исследования: она выбирает, что искать, анализирует найденные материалы, решает, продолжать ли поиск, и формирует ответ, когда собранных свидетельств достаточно. Для запуска README предлагает SGLang и конфигурацию с длиной контекста 262144 токена; такой размер модели требует нескольких узлов или крупного сервера. В метаданных указаны библиотека Transformers и возможность диалога. В README приведены результаты на BrowseComp, BrowseComp-ZH, DeepSearchQA и текстовой подвыборке HLE; оценки зависят от режима управления контекстом и условий конкретного теста. Лицензия — Apache-2.0. Модель ориентирована на поисковые агентные сценарии, а не на универсальную обработку изображений: наличие мультимодальной базовой модели само по себе не подтверждает поддержку изображений в Iris-pro.
jina-embeddings-v5-text-small-retrieval — компактная мультиязычная модель встраивания текста, разработанная Jina AI для задач информационного поиска. Она предназначена для семантического сопоставления запросов и документов, построения поисковых систем, retrieval-компонентов и других сценариев, где текст представляется в виде векторов и сравнивается по близости. Модель является частью семейства jina-embeddings-v5-text и основана на jinaai/jina-embeddings-v5-text-small; в карточке она обозначена как quantized-версия. Модель содержит 677 млн параметров, поддерживает контекст до 32 768 токенов и формирует эмбеддинги размерностью 1024. Используется pooling по последнему токену; доступны Matryoshka-размерности 32, 64, 128, 256, 512, 768 и 1024, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Согласно описанию, при обучении применялись дистилляция и task-specific contrastive losses, а сама модель показывает результаты выше существующих моделей сопоставимого размера на различных embedding-бенчмарках. Основное ограничение — специализация на retrieval-задачах, поэтому карточка не подтверждает оптимальность модели для генерации текста или иных задач. Для локального использования указаны зависимости transformers, PyTorch, PEFT и vLLM; flash-attention рекомендуется для ускорения инференса. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с некоммерческими ограничениями.
LFM2.5-ColBERT-350M — многоязычная модель поиска Liquid AI для семантического извлечения документов и ранжирования результатов. Она использует двунаправленную архитектуру LFM2 и позднее взаимодействие ColBERT: модель строит векторы для токенов запроса и документа, а релевантность оценивает по их совпадениям через MaxSim. Модель содержит около 350 млн параметров по README; метаданные каталога указывают 443,4 млн. Базой служит LiquidAI/LFM2.5-350M-Base с двунаправленными изменениями. Реализация доступна в формате safetensors через PyLate. Модель предназначена для многоязычного и межъязыкового поиска в RAG-системах, включая поиск по каталогам товаров, базам FAQ и поддержки, а также внутренним документам. Её также можно применять для повторного ранжирования результатов первичного поиска. README рекомендует длину документа до 512 токенов и запроса до 32 токенов; контекстное окно в метаданных составляет 128 000 токенов. Поддерживаются английский, испанский, немецкий, французский, итальянский, португальский, арабский, шведский, норвежский, японский и корейский языки. Многовекторное представление обеспечивает более точное сопоставление, чем одно векторное представление, но увеличивает размер поискового индекса. Модель ориентирована на сценарии с коротким контекстом. Лицензия указана как other; конкретные условия использования следует сверить с карточкой модели.
LFM2.5-Embedding-350M-fp16 — мультиязычная модель-энкодер Liquid AI, представленная в формате MLX для запуска на Apple Silicon. Это плотный двунаправленный би-энкодер семейства LFM2.5 с вектором CLS размерности 1024; число параметров по метаданным — 444,6 млн, веса fp16 занимают 709 МБ. Модель кодирует запросы и документы в векторы для семантического и межъязыкового поиска. Для кодирования используются префиксы «query: » и «document: », а сходство оценивается косинусной мерой. Карточка приводит результаты на английском подмножестве NanoBEIR и сообщает о высокой скорости кодирования на тестовой системе Apple M-series. Для корректной работы в MLX репозиторий включает специализированный загрузчик: обычные причинные загрузчики LFM2 дают неверные эмбеддинги для этой двунаправленной архитектуры. Базовая модель поддерживает английский, испанский, немецкий, французский, итальянский, португальский, арабский, шведский, норвежский, японский и корейский языки. Лицензия указана как other; условия следует сверять с карточкой модели и лицензией базовой модели.
LFM2.5-Embedding-350M-int8 — 8-битная квантованная версия мультиязычного двунаправленного би-энкодера Liquid AI LFM2.5-Embedding-350M, опубликованная sahilchachra для запуска на Apple Silicon через MLX. Модель кодирует запросы и документы в векторы размерности 1024 с CLS-пулингом; для входов требуются префиксы «query: » и «document: », а близость оценивается косинусным сходством. Контекст составляет до 128 000 токенов. Модель предназначена для семантического и кросс-языкового поиска и извлечения релевантных документов. В README приведено сравнение на английском подмножестве NanoBEIR: средний NDCG@10 после квантования практически совпал с fp16. Указана лицензия other; перед использованием следует проверить условия лицензии базовой модели и репозитория. Для корректного получения эмбеддингов нужен двунаправленный энкодер с CLS-пулингом: обычные причинные загрузчики LFM2 дают неверные результаты.
LiteResearcher-4B — агентная языковая модель компании Simplex AI, дообученная на базе Qwen/Qwen3-4B-Thinking с помощью обучения с подкреплением. Она построена на архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для глубокого веб-исследования: она поочерёдно анализирует запрос, ищет сведения в интернете, посещает страницы и формирует ответ на основе собранных данных. Агент использует стиль ReAct и инструменты поиска и просмотра страниц; для работы с ними требуется внешняя инфраструктура и соответствующие ключи доступа. Карточка приводит результаты на бенчмарках GAIA, Xbench-DS и Frames, но они сами по себе не гарантируют аналогичное качество на других задачах. Модель принимает текст и генерирует текст; языковые теги карточки указывают английский и китайский. Распространяется по лицензии Apache-2.0.
Llama Nemotron Embed VL 1B v2 — мультимодальная модель эмбеддингов для поиска по документам, разработанная NVIDIA. Она принимает текстовые запросы и документы в виде текста, изображений страниц или их сочетания и преобразует их в векторы размерности 2048 для поиска релевантных материалов и построения систем вопросно-ответного поиска и RAG. Модель предназначена для работы с текстом, таблицами, диаграммами и инфографикой на страницах документов. Это bi-encoder на базе трансформерной архитектуры Eagle VLM: языковая часть использует Llama 3.2 1B, а визуальная — SigLip 2; всего около 1,7 млрд параметров. Модель обучена контрастивным методом для сопоставления запросов с подходящими страницами. Поддерживает мультиязычный поиск; для корректного использования в vLLM требуется шаблон чата, который добавляет префиксы query: и passage:. Модель заявлена как готовая к коммерческому применению. Условия использования регулируются NVIDIA Open Model License Agreement; также применимо соглашение Llama 3.2 Community Model License Agreement. Известное ограничение: модель предназначена для получения эмбеддингов и поиска, а не для генерации ответов; качество зависит от правильной подготовки запросов и документов.
Marco-DeepResearch-8B — агентная языковая модель для глубокого веб-исследования, разработанная Alibaba International Digital Commerce (AIDC-AI) и дообученная на базе Qwen/Qwen3-8B. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит 7,6 млрд параметров. Она предназначена для многошагового поиска информации, рассуждений и проверки сведений по нескольким веб-источникам; взаимодействует с инструментами через формат вызова функций, совместимый с OpenAI. Модель рассчитана на контекст до 131 072 токенов и поддерживает английский и китайский языки. В обучении и выводе применяются синтез данных с проверкой, построение траекторий с поисковым и проверяющим агентами, а также проверка ответов самой моделью; в описанных бенчмарках подход с масштабированием на этапе вывода улучшил средний результат на 12,1 пункта. Репозиторий содержит веса Safetensors и доступен по лицензии Apache-2.0. Результаты зависят от качества и доступности подключённых веб-поисковых инструментов и API. Дополнительные циклы проверки увеличивают затраты на вывод, а оптимизация для поиска информации не гарантирует обобщения на любые задачи рассуждения.
mContriever — многоязычный плотный поисковый энкодер, разработанный исследователями Meta AI. Он предназначен для семантического и межъязыкового поиска: кодирует запросы и документы в векторы, которые можно сопоставлять по сходству. Модель основана на BERT, содержит около 205 млн параметров и принимает текст длиной до 512 токенов. Модель предварительно обучена контрастивным обучением без размеченных пар на корпусе CCNet на 29 языках. Она подходит для извлечения релевантных документов и фрагментов, в том числе когда запрос и найденный материал написаны на разных языках. Это энкодер для поиска, а не генеративная модель ответов; карточка Hugging Face не содержит описания лицензии, поэтому условия использования следует проверять в репозитории разработчика.
Merino-Large — модель BAA AI (Black Sheep AI) для поиска и ранжирования документов в системах RAG. Она объединяет биэнкодер для получения векторных представлений запросов и документов и кросс-энкодер для оценки релевантности пары «запрос — документ». Обе части построены на базе xlm-roberta-large и используют общую матрицу входных эмбеддингов, что сокращает объём хранимых весов без заявленной потери качества. Биэнкодер выдаёт L2-нормализованные эмбеддинги размерности 1024, а кросс-энкодер — один логит релевантности для пары текстов. Модель мультиязычная, содержит около 872 млн параметров, использует библиотеку Sentence Transformers и распространяется в формате safetensors. В карточке описаны результаты внутренних проверок на неоднородных корпусах и устойчивость 4-битной квантизации к отвлекающим документам; эти результаты не заменяют оценку на собственных данных. Лицензия указана как other, поэтому условия использования следует проверить в карточке модели.
MiroThinker v1.5-30B — поисковый агент для многошагового рассуждения и поиска информации, разработанный MiroMind и дообученный на базе Qwen/Qwen3-30B-A3B-Thinking-2507. Модель использует архитектуру Qwen3 MoE и предназначена для работы в диалоговом режиме с внешними инструментами через агентный фреймворк. Модель поддерживает контекст до 262 144 токенов и, согласно карточке, может выполнять до 400 вызовов инструментов за задачу. Она рассчитана на глубокие исследовательские запросы, требующие поиска, проверки сведений и последовательного уточнения ответа по обратной связи от среды. Метаданные указывают 2,6 млрд параметров; в README модель включена в серию, также представленную вариантом на 235 млрд параметров. В карточке заявлены результаты на бенчмарках HLE-Text, BrowseComp, BrowseComp-ZH и GAIA-Val-165; это заявления разработчика, а подробный технический отчёт на момент публикации карточки ещё не представлен. Для полноценного использования рекомендуется агентная инфраструктура с подключёнными инструментами и включённым режимом рассуждения. Модель распространяется по лицензии MIT.
ML-Embed-0.6B — мультиязычная модель эмбеддингов текста от CodeFuse AI, дообученная в два этапа на основе Qwen3-0.6B. Она преобразует текст в векторы размерности 1024 для семантического поиска, плотного извлечения документов, RAG, кластеризации, классификации, поиска дубликатов и межъязыкового сравнения. Архитектура использует причинное внимание, а представление последовательности строится по токену EOS; максимальная длина контекста — 40 960 токенов. Модель поддерживает множество языков, включая английский, китайский и русский, и совместима с обычной загрузкой через Transformers и Sentence Transformers. Обучение Matryoshka позволяет сокращать число слоёв и размерность эмбеддингов, а также использовать факторизованные матрицы для более экономного развёртывания; такие режимы могут снижать качество. Для задач поиска рекомендуется добавлять инструкцию к запросу, но не к документам. Лицензия — Apache-2.0.
MMLW-retrieval-roberta-base — польскоязычный текстовый энкодер семейства RoBERTa, разработанный для информационного поиска. Модель преобразует запросы и фрагменты текста в векторы размерности 768, которые можно использовать для поиска релевантных документов и ранжирования кандидатов. Модель обучена в два этапа: сначала польскую RoBERTa дообучили методом многоязычной дистилляции на 60 млн польско-английских пар текста с английскими FlagEmbeddings (BGE) в роли учителей, затем провели контрастивное дообучение на польской обучающей части MS MARCO. Для кодирования запросов требуется добавлять префикс «zapytanie: ». Контекст модели — 514 токенов; размер — 151,6 млн параметров. На польском бенчмарке информационного поиска PIRB модель показала NDCG@10 56,38. Она предназначена для задач поиска по тексту, а не для генерации ответов. Распространяется по лицензии Apache-2.0.
Карточка модели novelcore/model9 на Hugging Face совпадает с карточкой sentence-transformers/multi-qa-mpnet-base-cos-v1, поэтому описание составлено по ней. multi-qa-mpnet-base-cos-v1 — модель Sentence Transformers на базе MPNet, разработанная в рамках Community Week Hugging Face. Она преобразует вопросы, предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска и сопоставления текста по смыслу. Модель обучена на 215 млн пар «вопрос–ответ» из разных источников с контрастивной целью и усреднением токеновых представлений; для сравнения векторов подходят косинусная близость и скалярное произведение. Модель принимает текст и предназначена для кодирования поисковых запросов и текстовых фрагментов, чтобы находить релевантные документы или ответы. Контекст ограничен 514 токенами по метаданным; карточка рекомендует не превышать 250 word pieces, поскольку более длинные входы могут работать хуже, а тексты свыше 512 word pieces обрезаются. Карточка указывает английский язык. Доступны веса PyTorch и форматы ONNX и OpenVINO; лицензия в предоставленных данных не указана.
msmarco-bert-base-dot-v5 — модель Sentence Transformers, разработанная командой sentence-transformers для семантического поиска. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768, которые можно сопоставлять для поиска релевантных текстов. Модель обучена на 500 тысячах пар «запрос — ответ» из набора MS MARCO и использует архитектуру BERT с 136,7 млн параметров. Модель подходит для построения семантического поиска по документам и ранжирования кандидатов по близости к запросу. Максимальная длина входной последовательности — 512 токенов; эмбеддинги не нормализуются. Доступны реализации в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Лицензия в предоставленных данных не указана.
msmarco-bert-co-condensor — модель Sentence-Transformers, созданная как перенос Luyu/co-condenser-marco-retriever в формат Sentence-Transformers. Это плотная BERT-модель с 136,7 млн параметров, которая преобразует предложения и абзацы в векторы размерностью 768 для семантического поиска и извлечения релевантных фрагментов. Она основана на работе «Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval» и ориентирована на поиск по коллекциям текстов, включая сценарии на основе MS MARCO. Модель принимает текст и выдаёт эмбеддинги; для сравнения запросов и документов обычно используют близость их векторов. Максимальная длина контекста — 512 токенов. Репозиторий включает варианты PyTorch, Safetensors, ONNX и OpenVINO. По приведённым в карточке оценкам, качество зависит от набора данных; автор README также указывает на возможную утечку информации и изменение протокола оценки в некоторых результатах исходной статьи, поэтому сравнивать показатели следует с учётом этих оговорок. Лицензия — Apache-2.0.
msmarco-distilbert-cos-v5 — модель sentence-transformers, обученная командой Sentence Transformers на 500 тысячах пар «запрос — ответ» из набора MS MARCO Passages. Она основана на DistilBERT и предназначена для семантического поиска: преобразует предложения и абзацы в нормализованные плотные векторы размерности 768. Для объединения контекстных представлений токенов используется mean pooling; косинусное сходство и скалярное произведение подходят для сравнения векторов. Модель можно применять для поиска релевантных фрагментов по запросу, ранжирования текстов по смысловой близости и построения систем поиска по коллекциям документов. Контекст ограничен 512 токенами. Доступны веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. В предоставленных источниках сведения о лицензии отсутствуют.
msmarco-MiniLM-L6-cos-v5 — модель Sentence Transformers для семантического поиска, обученная командой sentence-transformers на 500 тысячах пар «запрос — ответ» из набора MS MARCO Passages. Она основана на архитектуре BERT с MiniLM и содержит 25,9 млн параметров; преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384. Для объединения контекстных представлений используется mean pooling, а контекст модели ограничен 512 токенами. Модель рассчитана на англоязычные тексты. Векторы можно сравнивать косинусным сходством или скалярным произведением; для нормализованных векторов эти оценки эквивалентны. Модель подходит для семантического поиска и оценки сходства текстов, например для подбора фрагментов-кандидатов в поисковой системе. Доступны варианты весов для PyTorch, TensorFlow, JAX, ONNX и OpenVINO. Условия лицензии в предоставленных данных не указаны.