I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейBGE base Financial Matryoshka — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5 для сопоставления текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их по косинусному сходству; архитектура включает BERT-трансформер, пулинг CLS-токена и нормализацию. Модель рассчитана на английский язык и принимает последовательности длиной до 512 токенов. Её можно применять для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста, в том числе для поиска вопросов по финансовым и договорным фрагментам. Обучение описано как дообучение с MultipleNegativesRankingLoss на наборе из 26 примеров с контекстами и вопросами. Модель распространяется по лицензии Apache-2.0. Небольшой обучающий набор ограничивает основания ожидать широкую специализацию на финансовых текстах или стабильное качество на разнообразных данных; результаты следует проверять на целевом корпусе.
NLLB-SigLIP-MRL — мультиязычная модель для сопоставления изображений и текста, объединяющая текстовый энкодер NLLB и визуальный энкодер SigLIP. Она предназначена для поиска изображений по текстовым запросам и поиска текстовых описаний по изображениям на языках Flores-200. Модель создаёт совместные эмбеддинги размером 768, а также укороченные векторы размером 32, 64, 128, 256 и 512 благодаря варианту Matryoshka Representation Learning. Согласно карточке, размеры 256 и 512 сохраняют более 90% качества полного представления; приведены результаты на наборах Crossmodal-3600 и XTD10. Репозиторий содержит веса PyTorch и предназначен для работы через OpenCLIP. Модель разработана Visheratin. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не описывает длину контекста; для задач поиска модель формирует векторы вместо обычного текста.
nomic-embed-text-v1-ablated — текстовый энкодер для создания векторных представлений предложений и текстов, разработанный Nomic AI. Это контрольный чекпойнт семейства Nomic Embed Text, обученный на изменённом наборе данных, отличавшемся от данных финальной модели; его выпустили, чтобы изучать влияние частей обучающего набора на результаты. Архитектура — NomicBert, доступны форматы PyTorch и ONNX, контекстное окно составляет 8192 токена. Модель подходит для извлечения эмбеддингов и вычисления сходства между текстами, например, для поиска по смыслу и оценки близости предложений. Разработчики рекомендуют для практического извлечения эмбеддингов использовать nomic-embed-text-v1. README не сообщает поддерживаемые естественные языки или лицензию, поэтому эти сведения не включены.
ENOSYS/Octen-Embedding-8B-750-v1-GGUF — квантизированная версия модели Octen/Octen-Embedding-8B в формате GGUF, подготовленная с использованием калибровочных данных на английском и русском языках. Репозиторий описывает экспериментальную квантизацию с настройками global target bits-per-weight и патчами для ответвления LLaMA C++; тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства и извлечения информации, в том числе в сценариях семантического поиска. Она основана на мультиязычной модели Octen на базе Qwen3 и распространяется по лицензии Apache-2.0. В README приведены метрики сравнения вариантов квантизации, но они показывают существенное ухудшение perplexity относительно исходного качества и не подтверждают пригодность каждого варианта для конкретного сценария. Для использования могут потребоваться совместимые инструменты и ветка LLaMA C++.
Ogma Micro — компактная англоязычная модель эмбеддингов текста семейства Ogma, разработанная axiotic. Энкодер с 2,3 млн параметров преобразует текст в векторы размерности 128; поддерживаются сокращённые представления Matryoshka размерности 64 и 32. Заявленная длина контекста — 1024 токена, средний результат на английском бенчмарке MTEB — 52,18. Модель предназначена для локального семантического поиска и извлечения документов, векторного поиска, RAG, кластеризации и классификации текстов, а также хранения памяти агентов. Небольшой размер подходит для браузеров, мобильных и настольных приложений, периферийных устройств и сценариев с локальной обработкой данных. Для задач сходства доступны симметричная маршрутизация и режим запросов/документов. Это энкодер, который выдаёт эмбеддинги и не генерирует текст. По данным README, качество ниже более крупных вариантов семейства на некоторых задачах; модель отстаёт от all-MiniLM-L6-v2 в переранжировании. На CPU она медленнее статических моделей, а обучение и оценка ориентированы только на английский. Лицензия весов — CC-BY-NC-4.0, коммерческое использование ограничено.
Prompsit/paraphrase-bert-pt — португалоязычная модель Prompsit для оценки того, является ли одна фраза перефразированием другой. Это дообученная модель BERT на базе neuralmind/bert-base-portuguese-cased, реализованная как BertForSequenceClassification; в репозитории указаны веса PyTorch и SafeTensors, размер составляет 136,1 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для классификации пар фраз по соответствию перефразированию. Её можно применять для поиска перефраз, проверки семантической близости формулировок и сопоставления вариантов пользовательского запроса. В README упомянуты результаты оценки на 16 500 вручную размеченных парах фраз, но конкретные метрики не приведены. Модель создана в рамках проекта TSI-100905-2019-4 при софинансировании Министерства экономики и цифровой трансформации Испании. Лицензия в предоставленных данных не указана.
gmunkhtur/paraphrase-mongolian-minilm-mn_v2 — это дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанная для сопоставления предложений на монгольском языке. Архитектура BERT формирует плотные векторы размерности 384; сходство оценивается косинусной мерой. В метаданных указано 124,3 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 128 токенов. Модель подходит для семантического поиска и сравнения сходства текстов, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. Она обучена на парах предложений с оценками сходства из CSV-датасета размером 77 201 пример; в README приведены высокие показатели корреляции на указанных наборах dev-t и test-t. Для практической работы с длинными текстами следует учитывать ограничение длины последовательности в 128 токенов из карточки модели. Лицензия в предоставленных данных не указана.
Это модель SentenceTransformer на архитектуре BERT, дообученная Yahya Abd на наборе statictable-pair-class от sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Особенно подходит для сопоставления запросов с названиями и описаниями статистических таблиц; в README приведены примеры на индонезийском языке и метрики поиска на наборе bps-statictable-ir. Модель принимает текст и возвращает эмбеддинги; для сравнения в README указана косинусная близость. Базовая модель поддерживает множество языков, а модель имеет ограничение контекста 512 токенов по метаданным; README указывает максимальную длину последовательности 128 токенов. Размер — 124,3 млн параметров. Распространяется в формате safetensors; сведения о лицензии в доступных данных отсутствуют.
Модель SentenceTransformer, дообученная автором репозитория на наборе sentence-transformers/quora-duplicates для сравнения пар предложений. Она использует архитектуру BERT и преобразует текст в плотные векторы размерности 384; сходство векторов можно оценивать косинусной мерой. Модель подходит для поиска семантически близких формулировок, обнаружения перефразирований и дубликатов, кластеризации и классификации текста. В карточке указана поддержка английского языка. Базовая многоязычная модель рассчитана на контекст до 512 токенов, однако README этой версии задаёт максимальную длину последовательности 128 токенов. Модель содержит 124,3 млн параметров и распространяется в формате Safetensors. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformers, созданная iambestfeed дообучением вьетнамского энкодера vinai/phobert-base-v2 на наборе vnexpress-data-similarity из 74 620 пар текстов. Архитектура основана на RoBERTa: токенные представления объединяются усреднением, а на выходе модель строит плотный вектор размерности 768; сходство векторов оценивается косинусной мерой. В метаданных указано 162,4 млн параметров и контекст до 258 токенов, а карточка модели описывает максимальную длину последовательности в 256 токенов. Модель предназначена для поиска семантически близких вьетнамских предложений и документов, сравнения текстов, поиска перефразирований, кластеризации и использования эмбеддингов в классификации. Обучение на новостных данных VnExpress адаптирует её к поиску сходства в этом корпусе; это не универсальная генеративная модель. Лицензия в предоставленных данных не указана.
PhoRanker-legal-vn-old — дообученная модель Cross-Encoder на базе itdainb/PhoRanker, опубликованная phatvucoder. Она оценивает пары текстов одним числовым баллом релевантности и предназначена для переранжирования результатов поиска и семантического поиска, в том числе в сценариях поиска по юридическим текстам. Архитектура — RoBERTa для классификации последовательностей с 162,4 млн параметров; модель принимает текстовые пары и выдаёт оценку. Максимальная длина последовательности в README — 256 токенов, в метаданных указано 258 токенов.
PLaMo-Embedding-1B — модель векторных представлений японского текста, разработанная Preferred Networks, Inc. Она преобразует тексты в эмбеддинги размерностью 2048 и предназначена для поиска информации, сравнения сходства предложений, классификации и кластеризации; особенно сильные результаты показала в задачах поиска на японском бенчмарке JMTEB. Модель имеет плотную архитектуру PlamoBiModel и содержит 1,1 млрд параметров. Максимальная длина контекста составляет 4096 токенов, а для сравнения текстов используется косинусное сходство. README сообщает, что при кодировании длинные тексты обрезаются; для запросов эффективный предел немного меньше из-за добавляемого префикса. Модель рассчитана на японский язык и распространяется по лицензии Apache 2.0, допускающей коммерческое использование.
0xnu/pmmlv2-fine-tuned-flemish — модель эмбеддингов на архитектуре BERT, созданная Finbarrs Oketunji на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 и дообученная для фламандского языка. Она преобразует предложения в векторы для сравнения семантического сходства, поиска похожих фраз и использования в системах поиска по смыслу. Модель рассчитана на работу с библиотекой Sentence-Transformers, содержит 124,3 млн параметров и принимает текст с контекстом до 512 токенов. Метаданные также отмечают поддержку множества языков; основное назначение дообучения — фламандский. Лицензия — MIT.
Bharatdeep-H/pq_cache — модель Sentence Transformers, разработанная на основе sentence-transformers/all-mpnet-base-v2 и дообученная для сопоставления предложений. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов, включая запросы о портфеле и инвестициях, представленные в обучающих примерах. Максимальная длина последовательности в метаданных — 514 токенов; в README указано ограничение 384 токена. Модель принимает текст и выдаёт эмбеддинги. Примеры обучения включают английские и хинди фразы, но полный список поддерживаемых языков не заявлен. Данные карточки указывают на дообучение от all-mpnet-base-v2; лицензия не приведена в предоставленных сведениях.
chentong00/propositionizer-wiki-flan-t5-large — модель сегментации текста на отдельные пропозиции, опубликованная как часть работы «Dense X Retrieval: What Retrieval Granularity Should We Use?» Chen et al. (2023). Она основана на архитектуре T5 и содержит 385,2 млн параметров. На вход подаётся текст с заголовком, разделом и содержимым; модель возвращает список пропозиций в формате JSON. Модель предназначена для разбиения документов на более мелкие смысловые утверждения, например при подготовке данных для поиска и извлечения информации. Максимальная длина контекста — 512 токенов. Весы доступны в формате safetensors, лицензия — Apache-2.0.
elplaguister/qwen_chemTEB — дообученная модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B, разработанная elplaguister. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения косинусным сходством. Архитектура включает Qwen3Model, объединение по последнему токену и нормализацию; README указывает максимальную длину последовательности 1024 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В обучающей выборке 2 976 пар anchor-positive; примеры включают извлечение полей из паспортов безопасности химических веществ и соответствие запросов фрагментам текста, что указывает на специализацию в химико-технических документах. Метаданные указывают 507,6 млн параметров и контекстную длину базовой модели 32 768 токенов, но README для этой модели задаёт максимум 1024 токена. Лицензия в предоставленных данных не указана.
RU-ELECTRA medium — предварительно обученная трансформерная модель семейства ELECTRA, разработанная командой SaluteDevices RnD Team для получения эмбеддингов русскоязычного текста. Архитектура плотная, размер — 100,6 млн параметров, контекст — до 512 токенов; модель доступна в формате PyTorch. Модель подходит для вычисления векторных представлений предложений и токенов на русском языке. Для получения эмбеддинга предложения авторы рекомендуют усреднять представления токенов. Её можно применять как основу для семантического поиска, сравнения текстов и других задач, где нужны текстовые эмбеддинги. Модель распространяется по лицензии MIT. Карточка описывает её как предварительно обученную языковую модель, но не приводит отдельных результатов оценки или гарантий качества для конкретных прикладных задач.
ruElectra-small — небольшая предварительно обученная модель семейства ELECTRA для работы с русским языком, разработанная командой SaluteDevices RnD. Её архитектура, предобучение и оценка описаны в препринте «A Family of Pretrained Transformer Language Models for Russian». Модель содержит 78,1 млн параметров и принимает последовательности длиной до 512 токенов. Карточка предлагает использовать модель для получения эмбеддингов предложений; для лучшего качества рекомендуется усреднять эмбеддинги токенов. Это подходит для представления русскоязычных текстов векторными признаками и последующего поиска или сравнения по смыслу. Модель опубликована в формате PyTorch, лицензия — MIT.
Ruri-Small — компактная модель Sentence Transformer, разработанная cl-nagoya для получения векторных представлений японских предложений и оценки их семантического сходства. Она дообучена на базе line-corporation/line-distilbert-base-japanese с использованием cl-nagoya/ruri-dataset-ft и предназначена для задач поиска и сравнения японских текстов. Модель использует архитектуру DistilBERT, формирует эмбеддинги размерности 768 и обрабатывает последовательности длиной до 512 токенов. Для оценки сходства применяется косинусная мера. В README приведены результаты JMTEB по поиску, семантическому сходству, классификации, переранжированию, кластеризации и классификации пар. Модель распространяется по лицензии Apache 2.0.
Ruri v3 PT 70M — японская модель для получения эмбеддингов текста, разработанная cl-nagoya на основе ModernBERT-Ja от SB Intuitions. Она предназначена для представления предложений и текстов в виде векторов, пригодных для сравнения семантической близости и поиска похожих фрагментов. Модель содержит 70 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Это предварительно обученная версия Ruri v3; карточка рекомендует для готового применения дообученный вариант cl-nagoya/ruri-v3-70m. Модель ориентирована на японский язык. Распространяется по лицензии Apache-2.0.
DMetaSoul выпустила эту дистиллированную модель для общего семантического сопоставления предложений. Это плотная BERT-модель с четырьмя слоями, примерно 54 млн параметров по метаданным и контекстом до 512 токенов. Она формирует векторные представления текста и подходит для поиска семантически близких фраз и сравнения предложений. По оценке авторов, относительно исходного 12-слойного учителя модель примерно вдвое быстрее, а средняя точность на приведённых наборах данных ниже примерно на 6 процентных пунктов. Модель ориентирована на китайский язык; результаты оценки приведены на китайских задачах сопоставления. Для использования указаны Sentence-Transformers и Hugging Face Transformers. Лицензия в предоставленных данных не указана.
jordyvl/scibert_scivocab_uncased_sentence_transformer — модель на базе BERT, упакованная для библиотеки Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. В метаданных указаны 137,1 млн параметров и контекст до 512 токенов; модель доступна в форматах PyTorch и safetensors. Модель предназначена для получения эмбеддингов текстов, сравнения семантической близости, поиска и группировки текстов. Название указывает на использование SciBERT с научным словарём, однако карточка не сообщает отдельные результаты оценки или поддерживаемые языки. Условия лицензии в предоставленных данных не указаны.
sonoisa/sentence-t5-base-ja-mean-tokens — японская модель Sentence-T5, разработанная автором репозитория. Она преобразует предложения на японском языке в векторные представления для извлечения признаков и оценки сходства предложений. Модель основана на T5-base Japanese, содержит 123,8 млн параметров и принимает последовательности длиной до 512 токенов. По сообщению автора, на его закрытом наборе данных качество сопоставимо с sonoisa/sentence-bert-base-ja-mean-tokens. Для работы требуется SentencePiece. Веса доступны в форматах PyTorch и Safetensors по лицензии CC BY-SA 4.0.
mrp/simcse-model-m-bert-thai-cased — модель на основе mBERT, дообученная методом SimCSE на тайской Википедии. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель подходит для поиска похожих фрагментов текста и группировки тайских текстов по смыслу. Архитектура — BERT; число параметров составляет 205,1 млн, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
wwydmanski/specter2_pubmed-v0.7-full — дообученный Sentence Transformer на базе allenai/specter2_base для работы с научными текстами. Модель кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает BERT-энкодер с усреднением токенных представлений. Максимальная длина входа — 512 токенов, для сравнения векторов используется косинусное сходство. Модель обучена на 57 306 парах и тройках текстов с помощью MultipleNegativesRankingLoss. Она предназначена для семантического поиска и сравнения научных публикаций, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. В примерах обучающих данных встречаются названия и заголовки работ из разных предметных областей, включая медицину; специализация на PubMed отражена в названии модели. В README приведены оценки на NanoNQ, NanoMSMARCO и NanoBEIR; результаты зависят от набора данных и сценария, поэтому качество для конкретного корпуса следует проверять отдельно. Для использования требуется подавать текст и сравнивать полученные векторы. Лицензия в предоставленных сведениях не указана.
StaRSE — компактная модель статических эмбеддингов русских предложений, представленная как StaticEmbedding для Sentence-Transformers. Она предназначена для быстрого вычисления векторных представлений на CPU, когда высокопроизводительная обработка важнее использования полного Transformer-энкодера. Модель подходит для оценки семантического сходства, кластеризации, извлечения признаков для классификации и построения начальных представлений для поиска. В README указаны 61,51 млн логических параметров: матрица размером 120 138 × 512 хранится в виде бинарных знаковых битов и вектора норм FP32. Для набора MTEB(rus, v1.1) приведён средний основной балл 51,16 по 23 задачам. Модель ориентирована на русский язык и использует Sentence-Transformers; формат файлов репозитория — safetensors. Модель опубликована под лицензией Apache-2.0. В README приведены результаты классификации, кластеризации и многометочной классификации; показатели для других сценариев в доступном фрагменте не раскрыты.
stella_en_1.5B_v5_bf16 — англоязычная модель представлений текста, опубликованная под идентификатором it-just-works/stella_en_1.5B_v5_bf16. По названию и карточке можно установить размер около 1,5 млрд параметров и формат чисел bfloat16 (bf16). Сведения о конкретном разработчике, базовой архитектуре и методе обучения в представленном README не указаны. Модель предназначена для задач анализа и сопоставления англоязычных текстов, включая классификацию, семантический поиск и ранжирование. В карточке приведены результаты на наборах MTEB: например, accuracy составляет 97,16 на AmazonPolarityClassification, 92,87 на AmazonCounterfactualClassification и 59,36 на AmazonReviewsClassification; для ArguAna указан основной показатель 65,27. Эти результаты показывают применимость модели к оценке тональности, классификации отзывов и поиску релевантных аргументов. Ограничения также существенны: поддержка заявлена или предполагается только для английского языка, а сведения о контекстном окне, входных и выходных модальностях, точном назначении эмбеддингов и требованиях к оборудованию отсутствуют. Лицензия и условия коммерческого или иного использования в предоставленных данных не указаны, поэтому их необходимо уточнить в полном репозитории модели.
Модель optimum-intel-internal-testing/stsb-bert-tiny-safetensors — это модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторные представления размерностью 128. В README указано, что модель предназначена для задач сравнения предложений, кластеризации и семантического поиска. Разработчик явно не указан; модель опубликована под идентификатором optimum-intel-internal-testing/stsb-bert-tiny-safetensors. Архитектура включает BERT в конфигурации BertModel с максимальной длиной последовательности 512 токенов и mean pooling, учитывающим attention mask. Модель работает с текстом и использует режим без принудительного приведения к нижнему регистру. Языки и точный размер базовой BERT-модели в README не указаны. Обучение выполнялось с CosineSimilarityLoss в течение 10 эпох с размером пакета 16. Сильная сторона модели — компактное 128-мерное представление, удобное для хранения и быстрого поиска, а также готовая интеграция с библиотеками sentence-transformers и Hugging Face Transformers. Ограничения заключаются в отсутствии сведений о поддерживаемых языках, качестве на конкретных бенчмарках, составе обучающих данных и сравнении с другими моделями. Лицензия в README не указана.
Amu/tao-8k — экспериментальная модель эмбеддингов, опубликованная автором Amu. В карточке она описана как пробная версия, созданная по методу stella-v2 с увеличенной длиной контекста для tao. Модель основана на архитектуре BERT, содержит около 424,3 млн параметров и принимает текстовые последовательности длиной до 8192 токенов. Модель предназначена для получения векторных представлений текста и оценки сходства предложений, в том числе для поиска и сравнения длинных текстовых фрагментов. В метаданных указан китайский язык. Веса доступны в формате PyTorch по лицензии Apache-2.0. Автор отмечает, что для работы с полным контекстом в 8 тысяч токенов может потребоваться преобразование весов в float32; также в README упоминается работа над другой версией модели.
TeluguSBERT — модель L3Cube-Pune для получения векторных представлений предложений на телугу. Она основана на TeluguBERT (l3cube-pune/telugu-bert) и дообучена на наборе данных NLI для представления предложений и оценки их сходства. Модель использует архитектуру BERT и поддерживает контекст длиной до 512 токенов; число параметров — около 264,8 млн. Модель подходит для сравнения предложений на телугу, поиска семантически близких текстов и построения векторного поиска. Веса доступны в формате PyTorch, лицензия — CC BY 4.0. В README отмечено, что существует более поздняя улучшенная модель сходства, однако её идентификатор не приведён.