I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейКарточка модели avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207015601-latest на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.
Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240221220048-latest на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.
Карточка модели avsolatorio/01-600-11-1-3-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240423213707-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
Карточка модели avsolatorio/01-600-11-1-4-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240424004605-latest на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
lightonai/answerai-colbert-small-v1 — модель ColBERT в формате PyLate, основанная на answerdotai/answerai-colbert-small-v1 и подготовленная для работы с библиотекой PyLate. Это компактная BERT-модель примерно с 40 млн параметров: она кодирует запросы и документы в последовательности 96-мерных векторов и оценивает их сходство оператором MaxSim. Для запросов предусмотрено до 32 токенов, для документов — около 300; максимальный контекст по метаданным составляет 512 токенов. Модель предназначена для семантического поиска по коллекциям текстов и переранжирования результатов, в том числе в RAG-системах. Её можно использовать для получения векторных представлений запросов и документов, поиска релевантных фрагментов и вычисления оценок сходства. Карточка указывает английский базовый ретривер; поддержка других языков не заявлена. Репозиторий распространяется в формате safetensors. Лицензия в предоставленных данных не указана.
Apodex-1.0-4B-SFT — модель для агентного глубокого исследования с акцентом на проверку фактов, разработанная командой Apodex и дообученная на базе Qwen/Qwen3.5-4B. Это плотная модель семейства Qwen3.5, работающая через Transformers и распространяемая в формате safetensors. Она предназначена для диалогов и сценариев ReAct с вызовом инструментов: поиска источников, сбора свидетельств и подготовки ответов с проверяемыми обоснованиями. Карточка описывает также режим Apodex-1.0-H с несколькими специализированными агентами и общим верификатором; это режим развертывания, а не отдельная характеристика данного чекпойнта. Модель дообучена по рецепту, включающему SFT, агентный DPO и обучение с подкреплением на длинных агентных траекториях. В README заявлено сохранение общих способностей базовой модели, включая знания, математику, программирование и следование инструкциям. Метаданные указывают английский и китайский языки, а базовая модель описана как мультимодальная Qwen на 4 млрд параметров; при этом карточка конкретного чекпойнта не уточняет поддержку изображений и длину контекста. Модель подходит для исследовательских агентов и ассистентов, которым нужно искать информацию, пользоваться инструментами и формировать ответы с цепочками свидетельств. Карточка приводит результаты бенчмарков глубокого исследования, но наиболее высокие показатели относятся к Apodex-1.0-H и не должны автоматически приписываться варианту 4B-SFT. Лицензия — Apache-2.0.
Arcanum Cross Platform Retriever — текстовая модель Sentence Transformers, дообученная автором репозитория на базе BAAI/bge-m3 для поиска по предложениям и абзацам. Она использует архитектуру XLM-RoBERTa с пулингом CLS и нормализацией, преобразует текст в плотные векторы размерности 1024 и сравнивает их косинусным сходством. Максимальная длина входа — 8192 токена. Модель предназначена для получения эмбеддингов запросов и документов в системах семантического поиска и retrieval. В README приведена оценка на arcanum-test: cosine_accuracy@1 — 0,5802, @3 — 0,7554 и @5 — 0,8187. Репозиторий также содержит сведения о дообучении на 4612 примерах; лицензия в предоставленных данных не обозначена.
AtmicEmbeddingv2 — модель семантических эмбеддингов, разработанная SriRamanaAtmic на базе intfloat/multilingual-e5-large и дообученная контрастивным методом с использованием подобранных сложных негативных примеров. Она предназначена прежде всего для поиска по текстам в схеме «запрос → документ»: перед запросом используйте префикс «query: », перед документом — «passage: », затем применяйте mean pooling и L2-нормализацию эмбеддингов. Модель основана на XLM-RoBERTa, содержит 658,7 млн параметров и принимает текст с контекстом до 514 токенов. Карточка указывает английские запросы и документы. Модель распространяется под лицензией MIT.
Карточка модели Sing0402/auslegal-embed-gte-dense на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.
bekko-embedding-v1-a8m — компактная многоязычная модель плотных текстовых эмбеддингов от hotchpotch, построенная на энкодере mmBERT в стиле ModernBERT и реализованная как Sentence Transformer. По README, модель содержит 7,7 млн активных параметров, имеет 4 слоя и размер скрытого состояния 384; метаданные указывают 106 млн параметров. Модель преобразует текст в векторы размерностью 384, которые можно усекать до 256, 128 или 64 измерений благодаря Matryoshka-представлениям. Контекст — до 8192 токенов. Модель предназначена прежде всего для многоязычного поиска по смыслу и извлечения релевантных текстов; также подходит для сравнения сходства предложений, переранжирования и поиска по длинным документам или коду. Автор заявляет поддержку более 100 языков и приводит результаты на мультиязычных бенчмарках, где качество поиска сопоставимо с более крупными моделями. Компактный размер и наличие артефактов ONNX и OpenVINO рассчитаны на быстрый запуск на CPU, в том числе на маломощных устройствах. Модель основана на hotchpotch/bekko-embedding-v1-a8m-pt. Доступна по лицензии MIT. Векторные представления сами по себе не генерируют ответы: для прикладного поиска обычно требуется отдельно организовать индексирование и поиск по эмбеддингам. Приведённые в README оценки относятся к указанным бенчмаркам и не гарантируют качество на конкретных данных.
SANIAAFTAR/bge-base-en-v1.5-finetuned_ragds_v1 — модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из XLM-RoBERTa и mean pooling; для оценки сходства в README указана косинусная мера. Метаданные указывают контекст до 514 токенов, тогда как README сообщает ограничение длины последовательности 128 токенов. Модель подходит для построения эмбеддингов и поиска по смыслу в многоязычных текстовых коллекциях, в том числе в системах поиска для RAG. В карточке приведены пары anchor-positive и обучение с MultipleNegativesRankingLoss. Весовая лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.
Карточка модели kshitijpandey3h/bge-large-agri-fused-5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.
Карточка модели vectoriseai/bge-large-en-v1.5 на Hugging Face совпадает с карточкой vectoriseai/bge-small-en-v1.5, поэтому описание составлено по ней. vectoriseai/bge-small-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, опубликованная под именем vectoriseai; карточка описывает её через материалы проекта FlagEmbedding. Модель преобразует текст в плотные векторы для поиска, сравнения предложений, классификации и кластеризации, а также для поиска контекста в векторных базах данных и системах RAG. Модель основана на архитектуре BERT, содержит около 40 млн параметров и поддерживает контекст до 512 токенов. Для поиска по длинным документам README рекомендует при необходимости добавлять поисковую инструкцию к короткому запросу, но не к документам. Доступны веса PyTorch и ONNX; лицензия — MIT. Версия BGE v1.5 улучшает распределение оценок сходства и поиск без инструкции. Оценки сходства следует интерпретировать относительно: порог для отбора похожих текстов нужно подбирать на своих данных. Модель ориентирована на английский язык; качество для других языков не заявлено.
Карточка модели RamyAhmed55/bge-m3-arabic-legal на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.
bge-m3-italian — модель эмбеддингов и поиска на итальянском языке, разработанная Alberto Barnabò на основе BAAI/bge-m3. Это дообученная XLM-RoBERTa с 658,7 млн параметров, контекстом до 8194 токенов и тремя совместно обученными головами: dense, sparse и ColBERT. Модель предназначена для семантического, лексического и гибридного поиска по коротким фрагментам и длинным документам; её можно использовать как замену bge-m3 в существующих сценариях Sentence Transformers. Для коротких фрагментов автор рекомендует гибридный режим или dense-поиск: sparse-поиск отдельно уступает базовой модели. В приведённых тестах гибридный режим улучшил ранжирование итальянских документов относительно bge-m3; для более точной выдачи модель можно сочетать с реранкером. Репозиторий содержит веса Safetensors и ONNX для dense-головы, включая динамически квантованный вариант int8; sparse- и ColBERT-головы доступны отдельно. Модель обучена на итальянских данных mMARCO и проверена на задачах поиска и семантического сходства. Результаты могут быть скромнее на текстах, заметно отличающихся от обучающих данных. Источник обучающих данных основан на MS MARCO, условия которого ограничивают коммерческое использование; при этом веса модели распространяются по лицензии MIT.
TesNik369/bge-m3-tqa-merged-v2 — модель Sentence Transformer, дообученная автором на базе BAAI/bge-m3 на наборе tqa-bge-m3-finetune-triplets-verified из 725 примеров. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерности 1024; близость оценивается косинусным сходством. Модель предназначена для семантического поиска и извлечения релевантных текстов, в том числе в системах поиска ответов на вопросы. Архитектура основана на XLM-RoBERTa с CLS-пулингом и нормализацией; длина последовательности в README указана как 512 токенов. Метаданные указывают контекст до 8194 токенов, поэтому фактическую длину ввода следует сверять с используемой конфигурацией модели. README приводит высокую точность на tqa-dev, однако результат относится к описанной оценке и не гарантирует качество на других данных. Модель принимает и выдаёт текстовые представления в виде эмбеддингов; лицензия в предоставленных сведениях не приведена.
Это англоязычная модель Sentence Transformer, дообученная автором репозитория на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в нормализованные плотные эмбеддинги размерности 768 для семантического поиска и извлечения релевантных фрагментов; сходство можно оценивать косинусной мерой. Архитектура включает BERT, pooling по CLS-токену и нормализацию. Модель принимает только текст, поддерживает контекст до 512 токенов и содержит 136,7 млн параметров. Модель подходит для поиска релевантных документов и passages, сравнения предложений и построения retrieval-компонента RAG. README приводит оценку InformationRetrievalEvaluator: cosine_accuracy@1 — 0,4435, @3 — 0,6532 и @5 — 0,7316; обучение проводилось на наборе из 6 857 пар предложений. Указана лицензия базовой модели не предоставлена в доступных данных, поэтому условия использования определить нельзя.
boboliu/bge-reranker-v2.5-gemma2-lightweight-gptq — это 4-битная GPTQ-квантизованная версия мультиязычного reranker BAAI/bge-reranker-v2.5-gemma2-lightweight, разработанного Beijing Academy of Artificial Intelligence (BAAI); вариант опубликован пользователем boboliu на Hugging Face. Модель предназначена для повторного ранжирования результатов информационного поиска: получает запрос и passage и вычисляет оценку их релевантности, поэтому подходит для retrieval-систем и RAG-сценариев. Она также может использоваться для проверки наличия ответа в тексте, определения смысловой эквивалентности запросов или выявления противоречий между высказываниями. Архитектура основана на Gemma 2 9B и поддерживает механизмы token compression и layerwise reduction, позволяющие выбирать используемые слои, коэффициент сжатия и слои сжатия для ускорения вывода и снижения вычислительных затрат. Исходная модель заявлена как multilingual и ориентирована, в частности, на английский и китайский языки; в опубликованных оценках также представлены другие языки, включая русский. Репозиторий содержит около 6,19 ГБ файлов и помечен как модель с 4-bit precision и GPTQ; размер и характеристики контекстного окна в карточке этой версии не указаны. Сильные стороны — мультиязычное ранжирование, возможность уменьшать вычисления настройкой слоёв и более низкие требования к памяти благодаря квантизации. Ограничения состоят в отсутствии подробной отдельной документации, описания обучения и лицензии для этой производной версии, а также в необходимости использовать custom code и проверять качество на собственных данных; квантизация может повлиять на точность. В карточке исходной модели указана лицензия gemma; для практического использования производной версии следует дополнительно проверить условия исходных компонентов и репозитория.
Это переранжировщик BGE Reranker v2 M3, преобразованный автором репозитория в формат GGUF F16 для запуска через llama.cpp. Модель принимает запрос и список текстовых кандидатов, оценивает их релевантность и возвращает кандидатов в упорядоченном виде; её можно подключить к поисковому конвейеру через сервер llama.cpp и endpoint /v1/rerank. Основа модели — BAAI/bge-reranker-v2-m3. По README, преобразование выполнено скриптом llama.cpp без других изменений; файл GGUF занимает около 1 ГБ. В карточке указаны японский и английский языки. Модель распространяется по лицензии MIT. Автор предупреждает, что при некорректном переносе классификационной головы GGUF может выдавать числовые оценки без ошибки, но эти оценки будут бессмысленными. Перед использованием следует проверить порядок результатов на примерах с заметно различающейся релевантностью. Для работы нужен llama.cpp с режимом --reranking; сервер переранжирования запускается отдельно от сервера эмбеддингов.
Модель antoinelouis/biencoder-camembert-base-mmarcoFR — плотный биэнкодер для семантического поиска на французском языке, разработанный Antoine Louis. Она кодирует запросы и фрагменты текста в отдельные векторы размерностью 768 и оценивает их релевантность по косинусному сходству. Модель построена на CamemBERT-base и дообучена на французской части mMARCO, включая сложные отрицательные примеры, полученные от плотных поисковых систем. Модель предназначена для поиска passage по запросу, ранжирования найденных фрагментов и построения семантического поиска по французским коллекциям документов. В README указаны максимальная длина последовательностей 128 токенов при обучении, а метаданные задают контекст модели в 514 токенов; для вычисления эмбеддингов предлагаются Sentence-Transformers, FlagEmbedding и Transformers. Лицензия — MIT.
biencoder-mMiniLMv2-L12-mmarcoFR — плотный двубашенный энкодер от Antoine Louis для семантического поиска на французском языке. Он кодирует запросы и passages в векторы размерности 384 и оценивает их релевантность по косинусному сходству. Модель построена на XLM-RoBERTa и дообучена на французской части mMARCO — многоязычного машинного перевода MS MARCO; в метаданных указано 124,3 млн параметров и контекст до 514 токенов. Модель предназначена для поиска подходящих фрагментов в больших корпусах, в том числе для семантического поиска по миллионам passages. Для представленных в README экспериментов использовалась максимальная длина запросов и passages 128 токенов. Модель распространяется по лицензии MIT. Оценка проводилась на наборе mMARCO-fr с 6 980 запросами и корпусом из 8,8 млн passages. Эти результаты относятся к французскому поиску и сами по себе не гарантируют качество на других языках или предметных областях.
Bloomz-3b-retriever — двуязычный биэнкодер на базе дообученной модели cmarkea/bloomz-3b-sft-chat, разработанный Cyrile Delestre для Crédit Mutuel Arkéa. Он преобразует запросы и тексты документов в векторные представления для поиска релевантных документов, включая поиск между английским и французским языками. Модель обучена на парах запросов и контекстов с контрастивной целью на основе Triplet Network; в карточке указано 3,8 млрд параметров. Она подходит для поиска фрагментов в системах открытого поиска ответов на вопросы и векторных базах данных. В README приведено сравнение на наборе SQuAD, включая сценарий с запросом на английском и контекстом на французском, но карточка предупреждает, что версия Bloomz-3b-retriever-v2 показывает значительно более высокое качество. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии BigScience BLOOM RAIL 1.0.
Cohere и Cohere Labs разработали Command A — авторегрессионную языковую модель на базе оптимизированного Transformer с 111 млрд параметров. Она принимает и генерирует текст, поддерживает диалог, вызов внешних инструментов и работу в сценариях RAG с фрагментами документов и цитированием источников. Модель ориентирована на корпоративные задачи, включая многоязычные сценарии и агентные приложения. Модель обучена с учителем и дополнительно настроена с помощью обучения на предпочтениях. В архитектуре чередуются слои со скользящим окном внимания размером 4096 токенов и слой с глобальным вниманием. Заявленная длина контекста — 256 тыс. токенов, хотя конфигурация Hugging Face по умолчанию ограничивает её 128 тыс. Поддерживаются 23 языка, в том числе русский и английский. Command A подходит для диалоговых ассистентов, ответов по документам, извлечения информации, суммаризации, перевода и категоризации. Для запуска требуется значительная вычислительная инфраструктура, несмотря на заявление разработчиков о возможности развёртывания на двух GPU; для работы с Transformers нужны изменения из исходного репозитория. Лицензия CC-BY-NC-4.0 предусматривает некоммерческое использование и требует соблюдения Acceptable Use Policy Cohere Labs.
cadet-embed-base-v1 — плотная BERT-base модель для создания текстовых эмбеддингов и поиска релевантных фрагментов. Разработана Manveer Singh Tamber и соавторами; дообучена на базе intfloat/e5-base-unsupervised с помощью листовой дистилляции от cross-encoder моделей RankT5-3B и BAAI/bge-reranker-v2.5-gemma2-lightweight. Для обучения использованы синтетические запросы, созданные Llama 3.1 8B, и более 400 тысяч фрагментов из MSMARCO, DBPedia и Wikipedia. Модель предназначена для плотного поиска: сопоставления запросов с документами и отбора релевантных фрагментов. Она содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Карточка указывает английский язык. Веса опубликованы в формате safetensors по лицензии Apache-2.0. README характеризует качество поиска как высокое, но не приводит количественных результатов оценки.
ColBERT MUVERA Micro — компактная модель NeuML на базе PyLate, дообученная на google/bert_uncased_L-2-H-128_A-2 на англоязычном датасете MS MARCO. Она преобразует предложения и абзацы в последовательности плотных векторов размерностью 128 и сопоставляет тексты оператором MaxSim для оценки семантического сходства. Модель содержит 4,4 млн параметров, принимает текст с контекстом до 512 токенов и предназначена для совместимости с фиксированным кодированием MUVERA благодаря обучению на ненормализованных оценках. Модель подходит для семантического поиска по коллекциям документов, построения баз эмбеддингов и извлечения релевантных фрагментов для RAG. В README приведены результаты на подмножествах BEIR и NanoBEIR; автор отмечает конкурентные показатели относительно более крупных вариантов ColBERT при существенно меньшем размере. Для использования доступны PyLate и интеграция с txtai. Модель ориентирована на английский язык. Контекст ограничен 512 токенами, а оценки в README зависят от настроек бенчмарков txtai и могут отличаться от опубликованных в статьях. Лицензия — Apache-2.0.
colbertv1-camembert-base-mmarcoFR — модель ColBERTv1 для семантического поиска на французском языке, созданная Antoine Louis на основе camembert-base. Она кодирует запросы и фрагменты документов в матрицы векторных представлений токенов и ранжирует фрагменты по контекстному сходству с помощью MaxSim; модель предназначена для поиска по крупным коллекциям и извлечения документов для систем RAG. Модель дообучена на французской части mMARCO — машинно переведённой версии MS MARCO. В README указаны размерность представлений 128, максимальная длина запроса 32 токена и фрагмента 256 токенов; метаданные указывают 137,8 млн параметров и нативный контекст 514 токенов. На тестовом наборе mMARCO-fr с 8,8 млн фрагментов она показала MRR@10 29,5 и R@100 80,0. Модель рассчитана на франкоязычный поиск по текстовым запросам и коллекциям документов. Индекс коллекции из 8,8 млн фрагментов в описанной конфигурации занимает около 28 ГБ. Лицензия — MIT.
ColBERTv2 — модель поиска по текстовым коллекциям, разработанная командой ColBERT и представленная в статье ColBERTv2. Она предназначена для быстрого извлечения релевантных фрагментов и поиска passages по запросам, в том числе в крупных корпусах. Контрольная точка обучена на задаче ранжирования фрагментов MS MARCO Passage Ranking. Модель основана на BERT и использует позднее взаимодействие: отдельно кодирует запрос и каждый фрагмент в матрицы контекстных векторных представлений токенов, а затем сопоставляет их оператором MaxSim. В репозитории указаны 136,7 млн параметров и контекст до 512 токенов; модель рассчитана на английский язык. Для поиска нужно заранее индексировать коллекцию; скорость и качество выдачи можно регулировать параметрами поиска. Доступны форматы PyTorch, ONNX и Safetensors. ColBERTv2 подходит для поиска passages и построения компонентов retrieval в системах ответов на вопросы и RAG. Она выдаёт векторные представления и оценки релевантности, а не готовые текстовые ответы. Репозиторий распространяется по лицензии MIT.
ColNetraEmbed — мультимодальная модель для поиска по визуальным документам, разработанная Cognitive-Lab на основе Gemma 3 4B IT. Она кодирует изображения документов и текстовые запросы в многовекторные представления размерности 128 на токен и сопоставляет их с помощью позднего взаимодействия ColBERT и оценки MaxSim. Визуальная часть использует SigLIP. Модель предназначена для поиска по сканам и другим изображениям документов, в том числе для межъязыкового поиска и ответов на вопросы по содержимому документов. В карточке заявлена поддержка 22 языков; среди перечисленных — русский, английский, китайский, японский, хинди и арабский. Модель дообучена на Gemma 3 4B IT и распространяется в формате Safetensors по лицензии Gemma. README сообщает о результатах на Nayana-IR Bench и ViDoRe v2, включая преимущество над ColPali-v1.3 на межъязыковых задачах. Многовекторное хранение требует больше места, чем одновекторный вариант NetraEmbed; README приводит для последнего оценку эффективности хранения в 250 раз выше. Для использования нужны этапы кодирования и последующего поиска с поздним взаимодействием.
ColPali v1.3 HF — модель визуального поиска по документам, основанная на PaliGemma-3B и разработанная проектом ViDoRe. Она формирует многовекторные представления страниц документов и текстовых запросов, а затем сопоставляет их методом MaxSim в стиле ColBERT. Модель дообучена на парах «запрос — страница», преимущественно из академических наборов данных и веб-страниц PDF; обучающие запросы на английском языке. Модель предназначена для поиска релевантных страниц в визуально насыщенных документах, например PDF, когда важны не только извлечённый текст, но и визуальные особенности страницы. Она принимает текстовый запрос и изображение страницы документа, выдаёт векторы для поиска и оценки релевантности. Для загрузки используется библиотека Transformers; лицензия — Gemma. Для воспроизведения обученного формата следует установить префикс запроса «Query: »: поставляемый процессор по умолчанию использует «Question: ».
Cohere Command R (08-2024) — обновлённая версия языковой модели Command R от Cohere. Она предназначена для многоязычных сценариев генерации с поиском по источникам (RAG) и использования инструментов; также улучшена для математики, программирования и рассуждений. По имеющимся сведениям, модель принимает текст и генерирует текст. Данные не содержат сведений о размере, длине контекста и лицензии, поэтому эти характеристики не приводятся.