I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейЭто Sentence Transformer, дообученный на базе intfloat/multilingual-e5-base с использованием Sentence Transformers. Модель использует XLM-RoBERTa, усредняет токенные представления и нормализует результат; она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 для сравнения по косинусному сходству. Максимальная длина последовательности составляет 512 токенов. Модель предназначена для семантического поиска и сопоставления текстов, включая поиск похожих предложений, перефразов, кластеризацию и классификацию текста на основе эмбеддингов. Примеры обучающих данных на норвежском языке связаны с услугами по ремонту и строительству; это указывает на специализацию в поисковых запросах такого типа, хотя README также заявляет более широкие сценарии применения. В метаданных лицензия не приведена.
Это экспериментальная англоязычная модель Sentence Transformer, созданная tomaarsen дообучением answerdotai/ModernBERT-base на наборе Natural Questions с функцией потерь DebiasedMultipleNegativesRankingLoss. Encoder-архитектура ModernBERT преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Модель рассчитана на семантический поиск и оценку сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. Максимальная длина последовательности составляет 8192 токена. В README приведены результаты оценки на небольших наборах для поиска информации; карточка описывает модель как тестовый эксперимент с новой функцией потерь, поэтому результаты не следует считать гарантией качества в прикладной системе. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
text2vec-base-chinese — модель эмбеддингов предложений, обученная проектом text2vec на базе hfl/chinese-macbert-base с методом CoSENT. Она кодирует китайские предложения и короткие абзацы в плотные векторы размерности 768 для семантического поиска, сопоставления текстов, кластеризации и оценки сходства. Модель построена на архитектуре BERT, содержит около 129,5 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; README указывает усечение входа длиннее 256 WordPiece-токенов. Модель предназначена прежде всего для китайских текстов. В README описана настройка на китайских данных STS-B с контрастивной функцией потерь и приведены результаты на китайских наборах для сопоставления предложений. Доступны веса в форматах PyTorch, Safetensors, ONNX и OpenVINO; автор также сообщает об ускоренных вариантах ONNX и OpenVINO. Лицензия — Apache-2.0. Модель выдаёт векторы, а не готовые ответы или текст; для поиска и сравнения требуется последующая обработка эмбеддингов. Её специализация на китайском языке и усечение длинных входов ограничивают применение к другим языкам и длинным документам.
Thomson-1.0-Small — открытая модель семейства Thomson, разработанная Thomson Reuters для профессиональной и общей работы, с особым вниманием к праву, налогообложению и журналистике. Это причинная языковая модель с архитектурой Qwen3.6-35B-A3B типа Mixture-of-Experts: 35 млрд параметров всего и около 3 млрд активных. Веса и конфигурация доступны в формате Hugging Face Transformers, в BF16 и Safetensors; заявленная длина контекста — 262 144 токена. Модель получена дальнейшим обучением Snowdon1.1-Small: разработчики применяли переориентацию ценностей, непрерывное предварительное обучение на юридических, финансовых и новостных материалах, а также постобучение. Карточка описывает поддержку диалога, работы с изображениями и интерфейс вызова инструментов; также упоминаются сценарии агентного глубокого исследования с использованием инструментов и цитированием источников. Метаданные задают основную задачу как image-text-to-text. Модель предназначена для анализа документов и вопросов в профессиональной работе, подготовки материалов и исследований с опорой на источники. Разработчики сообщают о фокусе на сохранении общих способностей при доменном обучении, однако результаты в README приведены без таблиц, поэтому независимо оценить их по карточке нельзя. Лицензия указана как other; конкретные условия использования следует проверять в файлах репозитория.
TiRoBERTa BiEncoder — модель двунаправленного кодировщика предложений для языка тигринья, разработанная как часть работы над монолингвальными bi-encoder-моделями. Она основана на TiRoBERTa-base и использует архитектуру Sentence-Transformers: кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, информационного поиска, кластеризации и представления текста. Модель обучена на наборах данных для вопросов и ответов и информационного поиска на тигринья. Репозиторий содержит веса SafeTensors; для работы подходят Sentence-Transformers и Transformers. Контекст модели — до 512 токенов по README; метаданные указывают 514 токенов. Лицензия — Apache-2.0. Это модель векторных представлений, а не генеративная языковая модель; качество за пределами тигринья и обучающих сценариев не заявлено.
Twitter4SSE — модель для вычисления семантического сходства текстов, разработанная авторами исследования об использовании Twitter для создания корпусов слабосвязанных пар предложений. Она преобразует текст в плотные эмбеддинги размерностью 768 и обучена на данных Twitter с функцией потерь Multiple Negatives Ranking Loss (MNRL). Модель основана на BERTweet и обучена с помощью Sentence-Transformers. Архитектура — RoBERTa; размер составляет 162,4 млн параметров, максимальный контекст — 130 токенов. Модель предназначена для сравнения предложений и поиска семантически близких текстов; метаданные указывают английский язык. Лицензия — Apache 2.0.
UniME-Phi3.5-V-4.2B — мультимодальная модель для получения эмбеддингов по тексту и изображениям, основанная на Microsoft Phi-3.5-vision-instruct и дообученная командой DeepGlint-AI. Она предназначена для мультимодального поиска и оценки сходства: сопоставляет запросы с изображениями или текстами и помогает находить релевантные элементы в наборах данных. В карточке заявлен результат на верхней позиции таблицы MMEB для обучения с разрешением изображений 336×336. Модель использует архитектуру Phi-3 Vision с 3,7 млрд параметров, работает с текстом и изображениями и имеет контекст до 4096 токенов. При обучении донастраивался только языковой компонент; остальные параметры были заморожены. Для обучения использовались дистилляция текстовых представлений и настройка инструкций с подбором сложных негативных примеров. Лицензия — MIT. Карточка описывает метод обучения и результат на MMEB, но не приводит подробностей об использовании модели для извлечения эмбеддингов, форматах векторов или оценках релевантности. Поэтому заявленный результат не заменяет независимую проверку на целевых данных.
victormuryn/use-translation-pt — модель векторных представлений предложений на базе XLM-RoBERTa, дообученная автором на корпусе украинских текстов UberText 2.0. Обучение с контрастивной целью использовало аугментацию обратным переводом; модель входит в коллекцию экспериментов с эмбеддингами предложений для украинского языка. Модель преобразует предложения и абзацы в векторы, пригодные для семантического сравнения, поиска и кластеризации. Её можно использовать в Sentence Transformers для получения эмбеддингов. Основа — sentence-transformers/paraphrase-multilingual-mpnet-base-v2; размер составляет 305,2 млн параметров, контекст — до 514 токенов. Модель распространяется под лицензией Apache-2.0.
Это модель Sentence Transformer, разработанная на основе keepitreal/vietnamese-sbert и дообученная на парном наборе данных из 10 200 примеров. Она использует RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерностью 768; близость текстов оценивается косинусным сходством. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста, в первую очередь на вьетнамском языке. Максимальная длина последовательности — 256 токенов по карточке модели; метаданные указывают контекст до 258 токенов. В README приведены результаты оценки поиска для векторов размерностью 768 и 512, однако они не гарантируют качество на других данных и сценариях. Лицензия в предоставленных сведениях не указана.
WordSenseTransformer — англоязычная модель Sentence Transformers, созданная дообучением BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения значений слов в контексте, семантического поиска и других задач сопоставления текста. Архитектура включает BERT и слой WordPooling; сходство векторов измеряется косинусной близостью. Максимальная длина входной последовательности — 512 токенов. Модель обучалась на примерах WordNet с положительными и отрицательными парами контекстуализированных значений слов. В карточке приведены результаты проверки на wordnet-validation: точность cosine_accuracy@1 — 0,966, @5 — 0,999 и @10 — 1,0. Также её можно применять для поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Лицензия в предоставленных данных не указана.
bwang0911/word-order-bge — англоязычная модель Sentence Transformer, дообученная разработчиком на базе BAAI/bge-base-en-v1.5 для получения плотных текстовых эмбеддингов. Она предназначена для сравнения предложений и абзацев, семантического поиска, поиска перефразировок, кластеризации и классификации текста, с особым обучением на примерах, где смысл зависит от порядка слов или отрицания. Модель построена на BERT и выдаёт векторы размерности 768; сходство оценивается косинусной мерой. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Обучение проводилось на word_orders и negation_dataset; репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
Это модель Sentence-Transformers, обученная командой sentence-transformers на основе XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерностью 768; число параметров — около 305,2 млн, длина контекста — 514 токенов. Модель подходит для сравнения смысловой близости текстов, семантического поиска и кластеризации. Доступны версии в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель принимает текст и выдаёт векторы для последующего поиска или анализа сходства. Она предназначена для многоязычных текстов; в названии заявлена поддержка 100 языков. Разработчики пометили модель как устаревшую и предупреждают о низком качестве эмбеддингов, поэтому для новых проектов рекомендуют выбрать более современные модели. Лицензия — Apache-2.0.
cassador/2bs16lr2 — модель Sentence Transformers, дообученная на afaji/indonli от базовой indobenchmark/indobert-base-p2. Она кодирует предложения и абзацы на индонезийском языке в плотные векторы размерности 768 для сравнения смысловой близости; архитектура включает BERT и усреднение токенных представлений. Для сравнения используется косинусное сходство, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска перефразировок и кластеризации текстов; полученные векторы также можно использовать в классификационных системах. В README приведены оценки на наборах sts-dev и sts-test, причём результаты на sts-test заметно ниже, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в предоставленных сведениях не указана.
Rabbani088888/adaptive-rag-router — дообученная модель на основе DistilBERT, предназначенная для маршрутизации запросов в конвейере Retrieval-Augmented Generation (RAG). Она относит запрос к одному из трёх типов: factual для поиска фактов, abstractive для тематического поиска и multi-hop для вопросов, требующих синтеза информации из нескольких документов. Результат классификации можно использовать для выбора разреженного поиска BM25, плотного поиска FAISS или итеративного гибридного поиска. Модель принимает текст на английском языке и выдаёт метку класса. По данным карточки, она обучена примерно на 10 000 запросов из семи наборов данных с автоматической разметкой; точность на отложенной выборке из 213 запросов составила около 87%. Архитектура — DistilBertForSequenceClassification с контекстом до 512 токенов. Лицензия в предоставленных данных не указана.
KhaledReda/all-MiniLM-L6-v70-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v69-pair_score с использованием набора пар текстов с оценками. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство векторов можно сравнивать косинусной мерой. Архитектура основана на BERT с усреднением токенных представлений и нормализацией. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; в README для конфигурации модели указан предел 256 токенов. Модель предназначена для семантического сравнения текстов, поиска по смыслу, выявления перефразировок, кластеризации и классификации текстов. Векторные представления можно использовать для поиска похожих предложений и абзацев или как признаки в последующих задачах. README указывает английский язык и лицензию Apache-2.0. Модель выдаёт эмбеддинги, поэтому сама по себе не генерирует ответы и качество на других языках или предметных областях не подтверждено.
Это компактная модель Sentence Transformer, разработанная на основе prajjwal1/bert-tiny и дообученная с использованием библиотеки sentence-transformers. Модель преобразует предложения и абзацы в плотные векторы размерности 256 и предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразирований, классификации и кластеризации текста. Архитектура включает BERT-трансформер с максимальной длиной последовательности 384 токена, mean-пулингом, полносвязным Dense-слоем с преобразованием размерности с 128 до 256 и активацией Tanh, а также нормализацией выходных векторов. Для сравнения по умолчанию используется косинусное сходство. Язык и обучающий датасет в карточке не указаны; заявленный набор данных содержит 277277 примеров, а функция потерь — MultipleNegativesRankingLoss. Модель отличается малым размером и потенциально высокой скоростью инференса, что делает её подходящей для ресурсоограниченных сценариев и массового сравнения коротких текстов. Ограничения включают неизвестную языковую специализацию, ограниченный контекст в 384 токена и более низкие показатели на тестовой выборке STS по сравнению с крупными моделями: корреляция Spearman для косинусного сходства составляет 0,678, Pearson — 0,691. Лицензия в README не указана.
acayir64/arabic-embedding-model-pair-class2 — модель эмбеддингов предложений на базе XLM-RoBERTa, созданная дообучением symanto/sn-xlm-roberta-base-snli-mnli-anli-xnli с помощью AutoTrain. Она предназначена для преобразования текста в векторы и семантического сравнения предложений, в том числе для поиска похожих фраз. Модель содержит 305,2 млн параметров, использует библиотеку Sentence Transformers и принимает контекст длиной до 514 токенов. Многоязычная базовая модель позволяет применять её к текстам на разных языках; название репозитория указывает на ориентацию этой версии на арабские эмбеддинги. В README приведена метрика потерь 1,103 на валидации, но без описания набора данных и протокола оценки, поэтому качество для конкретных задач по ней оценить нельзя. Лицензия в предоставленных данных не указана.
Armenian-Text-Embeddings-2-large — модель Metric-AI для создания плотных векторных представлений армянских текстов. Она дообучена на базе intfloat/multilingual-e5-large, использует архитектуру XLM-RoBERTa и содержит около 658,7 млн параметров. Модель принимает текст и выдаёт эмбеддинги размерностью 1024; максимальная длина последовательности — 514 токенов. Модель предназначена для семантического поиска на армянском языке, задач RAG, сравнения документов, информационного поиска, классификации и кластеризации текстов. В карточке также заявлена обработка транслитерированных запросов и поддержка межъязыкового понимания. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Качество может снижаться на узкоспециализированной терминологии; модель может недостаточно учитывать культурный контекст армянского языка. На результаты также могут влиять качество обучающих данных и предвзятость текстов Reddit.
Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125233651-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
BengaliSBERT — модель Sentence-BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она основана на BengaliBERT и дообучена на наборе данных NLI для получения представлений предложений на бенгальском языке. Модель предназначена для вычисления эмбеддингов и оценки семантического сходства предложений; её можно использовать для поиска похожих фраз и сравнения текстов. Архитектура — BERT, размер — 264,8 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и лицензия CC BY 4.0. README упоминает отдельную более качественную модель сходства на основе этого чекпойнта, поэтому эту модель не следует считать лучшим вариантом семейства для оценки сходства.
Модель gchhablani/bert-base-cased-finetuned-qqp разработана на основе bert-base-cased и дообучена для классификации пар вопросов на наборе GLUE QQP. Она использует архитектуру BERT для классификации последовательностей и предназначена для определения того, задают ли два вопроса одно и то же по смыслу. В README приведены результаты на оценочной выборке: accuracy 0,9084, F1 0,8768 и объединённая оценка 0,8926. Модель содержит 135,5 млн параметров, принимает текстовые пары и поддерживает контекст до 512 токенов. Основной сценарий — выявление дубликатов вопросов, например, в поиске или при очистке базы вопросов и ответов. Указана лицензия Apache-2.0.
Это система извлекающего ответа на вопросы, созданная дообучением BERT-base-uncased для работы с текстами устной речи. Она использует архитектуру BERT с 136,7 млн параметров и предназначена для ответов по расшифровкам разговоров, интервью и других устных материалов. Модель обучалась на Spoken-SQuAD, где текстам добавляли шум, имитирующий разные уровни ошибок распознавания речи; контекстное окно составляет 512 токенов. На тестах Spoken-SQuAD F1 составил 74,15% без дополнительного шума, 55,2% при WER 44,22% и 42,24% при WER 54,82%. Модель обрабатывает английский текст и возвращает извлечённый из контекста ответ. Для использования требуется библиотека Transformers; веса доступны в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
m3hrdadfi/bert-fa-base-uncased-wikinli-mean-tokens — персидская модель эмбеддингов предложений на базе ParsBERT, представленная Mehrdad Farahani в проекте Sentence Transformers. Она преобразует текст в векторные признаки и предназначена для получения представлений предложений, в том числе для задач семантического поиска и сравнения текстов. Модель построена на архитектуре BERT, содержит 190 млн параметров и принимает последовательности длиной до 512 токенов. Доступны форматы PyTorch и Flax. Модель ориентирована на персидский язык. Репозиторий распространяется по лицензии Apache-2.0. Карточка краткая и не описывает результаты оценки или детальные ограничения качества.
Это модель Sentence Transformers на базе BERT-large для кантонского языка, разработанная hon9kon9ize. Она дообучена на наборах yue-all-nli и sentence-transformers/all-nli и преобразует предложения и абзацы в плотные векторы размерностью 1024. Векторы предназначены для сравнения семантического сходства с помощью косинусной меры, семантического поиска, поиска перефразировок, классификации текстов и кластеризации. Модель использует архитектуру BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. В README приведены результаты оценки сходства на sts-dev и sts-test: Spearman 0,8072 и 0,7611 соответственно. Модель принимает текст и выдаёт векторные представления; метаданные указывают 424,8 млн параметров и формат safetensors. Условия лицензирования в предоставленных данных не описаны.
sentence-transformers/bert-large-nli-stsb-mean-tokens — модель Sentence Transformers, обученная командой sentence-transformers. Она основана на архитектуре BERT и преобразует предложения и абзацы в плотные векторы размерностью 1024, пригодные для семантического поиска, сравнения сходства и кластеризации текстов. Модель принимает текст и рассчитана на последовательности длиной до 512 токенов. Модель можно применять для поиска текстов по смыслу, ранжирования похожих предложений и группировки текстов по тематической близости. Репозиторий содержит варианты весов PyTorch, SafeTensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Авторы пометили модель как устаревшую и предупреждают о низком качестве получаемых эмбеддингов; для новых проектов они рекомендуют выбрать более современные модели эмбеддингов.
swardiantara/bert-tiny-sst5-k5-adaptive-cosine — компактная Sentence Transformer-модель на основе BERT, дообученная автором репозитория на 8 894 парах текстов. Она кодирует предложения и абзацы в плотные векторы размерности 128; косинусное сходство между ними подходит для поиска и сравнения текстов. Архитектура включает BertModel с усредняющим pooling. В метаданных указано 4,4 млн параметров и контекст до 512 токенов; в README для Sentence Transformers задан предел последовательности 128 токенов. Модель предназначена для извлечения эмбеддингов и семантического поиска по тексту. Примеры обучающих данных — англоязычные рецензии на фильмы, поэтому в первую очередь она подходит для сравнения и поиска коротких английских текстов. Базовая модель — google/bert_uncased_L-2_H-128_A-2. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
Habiba9/bge-base-financial-matryoshka — англоязычная модель Sentence Transformer, дообученная на 6 300 парных примерах из набора json для сопоставления финансовых вопросов с фрагментами текста. Она основана на BAAI/bge-base-en-v1.5 с архитектурой BERT и формирует нормализованные плотные эмбеддинги размерностью 768; сходство текстов оценивается косинусной мерой. Обучение с MatryoshkaLoss позволяет использовать укороченные представления размерностью 512, 256, 128 или 64. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, в частности для поиска ответов в финансовых документах и подбора релевантных фрагментов по вопросу. Эмбеддинги также подходят для поиска перефразировок, кластеризации и классификации текста. В README приведены метрики поиска на нескольких размерностях, однако нет описания независимой оценки на широком наборе финансовых задач. Лицензия — Apache-2.0.
CamemBERTa-L10 — урезанная версия предварительно обученной модели CamemBERTa, полученная удалением верхних слоёв исходного чекпойнта. Модель разработана авторами CamemBERTa; в карточке указано, что вариант L10 содержит на 14% меньше параметров, чем базовая версия. Метаданные описывают её как плотную архитектуру DeBERTa-v2 примерно на 119 млн параметров, доступную в формате safetensors. Модель принимает французский текст и выдаёт контекстные векторные представления. Её можно использовать для извлечения признаков и дообучать для задач, учитывающих всё предложение, например классификации текста, извлечения ответов на вопросы и семантического поиска. Контекст составляет до 512 токенов. Для генерации текста авторы рекомендуют авторегрессионные модели. Лицензия — MIT.
CShorten/CORD-19-Title-Abstracts-1-more-epoch — модель Sentence Transformers на архитектуре BERT с 25,9 млн параметров, создающая плотные векторы размерности 384 для предложений и абзацев. Она предназначена для семантического поиска и кластеризации текстов; обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель можно применять для поиска научных публикаций по смыслу, группировки похожих аннотаций и сравнения текстовых фрагментов. Она обучалась на данных CORD-19, поэтому ориентирована на заголовки и аннотации научных работ о COVID-19 и смежных темах. Максимальная длина контекста — 512 токенов. Лицензия в предоставленных данных не указана.
DocsGPT-7b-Mistral — языковая модель Arc53 для ответов на вопросы по документации и другим материалам, найденным системой поиска. Она дообучена методом LoRA на базе zephyr-7b-beta и использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров. Модель принимает текстовый вопрос и контекст документов, а затем генерирует ответ, ориентированный на предоставленные сведения; в README рекомендован шаблон запроса с разделами Instruction, Context и Answer. Контекстное окно составляет 32 768 токенов. Модель предназначена для RAG-сценариев, особенно для команд разработчиков и технической поддержки. В README приведены внутренний тест BACON и результаты MT-Bench, но они не гарантируют качество на конкретных данных и задачах. Модель распространяется под лицензией Apache-2.0, допускающей коммерческое использование.