I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейLamaDiab/MiniLM-V6Data-SemanticEngine — модель Sentence Transformer на базе BERT, обученная для сопоставления предложений и абзацев в семантическом пространстве. Она преобразует текст в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и выявления перефразировок, а также подходит для кластеризации и классификации текстов на основе эмбеддингов. В обучении использован набор из 291 522 пар anchor–positive с функцией потерь MultipleNegativesSymmetricRankingLoss. В README указана максимальная длина последовательности 256 токенов, а метаданные Hugging Face указывают нативное контекстное окно 512 токенов; для работы следует учитывать ограничение, заданное конфигурацией модели. Оценка cosine accuracy на приведённом тесте составляет 0,9456. Модель принимает текст и возвращает нормализованные векторы; язык обучения и лицензия в доступных данных не указаны.
mist-reranker-22.7M — компактная англоязычная модель-переранжировщик, разработанная OlaVerse. Это cross-encoder на базе cross-encoder/ms-marco-MiniLM-L6-v2 с архитектурой BERT и примерно 25,9 млн параметров по метаданным. Модель оценивает пару «поисковый запрос — фрагмент текста» единым баллом релевантности, чтобы переставлять кандидатов, найденных первым этапом поиска, например в конвейере RAG. Контекст составляет до 512 токенов; модель использует Sentence Transformers и формат safetensors. Модель дообучена на 844 тысячах англоязычных пар из olaverse/reranker-general-en-llm-judged с комбинированной целью: меткой релевантности от LLM-судьи и дополнительным обучением на оценках учителя BAAI/bge-reranker-v2-m3. В карточке сообщается о результатах на NanoBEIR: NDCG@10 равен 0,8543; модель предназначена для быстрого переранжирования при умеренных вычислительных ресурсах. Лицензия — Apache-2.0.
Модель tanbinh2210/mlm_finetuned_3_phobert — дообученный разработчиком Sentence Transformer на базе tanbinh2210/mlm_finetuned_2_phobert. Она использует RoBERTa и среднее объединение токенных представлений, чтобы кодировать предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов и сравнения предложений по косинусному сходству; также её можно применять для поиска парафразов, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе json из 357 018 примеров с запросами, положительными и отрицательными текстами. Максимальная длина последовательности — 258 токенов по метаданным. Модель принимает текст и выдаёт векторы, её можно использовать через библиотеку Sentence Transformers. Язык в доступных данных явно не указан, хотя название базовой модели содержит PhoBERT. Лицензия в предоставленных данных не указана. Модель представляет собой дообученную версию указанной базовой модели; качество и применимость зависят от соответствия входных текстов обучающим данным.
ronanki выпустил модель sentence-transformers на основе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; её обучали с MultipleNegativesRankingLoss и косинусным сходством. Репозиторий содержит веса PyTorch, а контекст модели составляет 514 токенов. Модель принимает текст и выдаёт векторные представления, которые можно использовать для семантического поиска и группировки текстов. В метаданных нет сведений о лицензии или языковой специализации, поэтому они не указаны.
hatemestinbejaia/mmarco-Arabic-AraDPR-bi-encoder-KD-v1 — дообученная модель Sentence Transformers на базе abdoelsayed/AraDPR, разработанная для получения векторных представлений арабских предложений и абзацев. Она построена на BERT с усреднением токенных представлений и создаёт плотные векторы размерностью 768; максимальная длина входа — 512 токенов. Векторы можно сравнивать косинусной близостью. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В README приведена оценка reranking: MAP 0,547, MRR@10 0,5489 и nDCG@10 0,6231. Репозиторий распространяет веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
hatemestinbejaia/mmarco-Arabic-AraDPR-bi-encoder-NoKD-v1 — арабоязычная модель Sentence Transformers на базе BERT, дообученная на наборе RARAELECTRAandRARABERTusedDATASET. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и ранжирования текстов; близость оценивается косинусным сходством. Модель подходит для поиска релевантных фрагментов в системах вопросов и ответов, поиска перефразировок и кластеризации текстов. Максимальная длина входа — 512 токенов. В архитектуре используется усреднение токенных представлений BERT. В README приведены результаты оценки ранжирования: MAP 0,5211 и MRR@10 0,5216. Модель ориентирована на арабский язык; метаданные указывают 205,1 млн параметров и формат safetensors. Лицензия в предоставленных сведениях не указана.
MMARCO-bert-base-italian-uncased — модель Sentence-Transformers на базе BERT, предназначенная для представления предложений и абзацев на итальянском языке в виде плотных векторов размерности 768. Модель содержит 137,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется под лицензией MIT. Обученная на данных mMARCO с Triplet Loss, модель подходит для семантического поиска, сравнения предложений и кластеризации текстов. Векторы можно использовать для поиска похожих документов и группировки содержимого по смыслу. Репозиторий содержит веса PyTorch и Safetensors, а также формат ONNX; для применения доступны Sentence-Transformers и Transformers с подходящей операцией pooling.
nreimers/mmarco-mMiniLMv2-L12-H384-v1 — модель на основе XLM-RoBERTa, опубликованная Nils Reimers. Она предназначена для многоязычного ранжирования текстовых пар: оценивает соответствие запроса и документа, чтобы сортировать найденные результаты поиска. В каталоге Hugging Face указаны архитектура XLM-RoBERTa, около 124,3 млн параметров и контекст до 514 токенов; карточка автора отсутствует, поэтому подробности обучения и список поддерживаемых языков по доступным сведениям подтвердить нельзя. Модель подходит для повторного ранжирования кандидатов в поиске и системах ответа на вопросы. Метаданные Hugging Face помечают её как text-classification и указывают формат PyTorch; по назначению это cross-encoder для оценки релевантности. Лицензию и конкретные ограничения применения доступные источники не подтверждают.
mykor/mmBERT-small — мультиязычная модель Sentence Transformers, дообученная автором mykor на базе jhu-clsp/mmBERT-small. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство между текстами можно оценивать косинусной мерой. Архитектура состоит из энкодера ModernBERT и среднего пулинга токенов, максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Базовый энкодер поддерживает более 1800 языков, поэтому модель подходит для мультиязычных текстовых задач. В репозитории указаны веса в формате safetensors и библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
MMLW-e5-base — польский текстовый энкодер, разработанный для получения векторных представлений текста. Модель основана на multilingual E5, инициализирована его чекпойнтом и обучена методом дистилляции на разнообразном корпусе из 60 миллионов пар текстов на польском и английском языках; учителями служили английские модели FlagEmbeddings (BGE). Архитектура — XLM-RoBERTa, размер — 305,2 млн параметров, выходные эмбеддинги имеют 768 измерений, максимальный контекст — 514 токенов. Модель подходит для семантического поиска и сравнения текстов, кластеризации и информационного поиска, а также может служить основой для дальнейшего дообучения. При кодировании запросов требуется префикс «query: », а для текстов-кандидатов — «passage: ». В README приведены результаты 59,71 среднего балла на польском бенчмарке MTEB и NDCG@10 53,56 на PIRB. Модель распространяется по лицензии Apache-2.0. Она ориентирована на польский язык, хотя обучалась на польско-английских парах; для корректного использования важно соблюдать требуемые префиксы.
MMLW-e5-large — польский текстовый энкодер, разработанный авторами семейства MMLW. Модель основана на мультиязычном чекпойнте E5 и обучена методом дистилляции знаний на корпусе из 60 миллионов польско-английских пар текстов; учителями служили английские модели FlagEmbeddings (BGE). Архитектура — XLM-RoBERTa, размер — 658,7 млн параметров, выход — векторы эмбеддингов размерностью 1024. Контекст составляет до 514 токенов. Модель предназначена для семантического поиска и сопоставления текстов, кластеризации и извлечения информации, а также может служить основой для дальнейшего дообучения. Для кодирования запросов требуется префикс «query: », а для документов — «passage: ». В карточке приведены результаты на польских бенчмарках MTEB и PIRB. Доступна по лицензии Apache-2.0.
mmlw-roberta-base-klej-dyk-v0.1 — англоязычная модель Sentence Transformers, дообученная на базе sdadas/mmlw-roberta-base. Она использует энкодер RoBERTa с пуллингом CLS-токена и преобразует предложения и абзацы в плотные эмбеддинги размерностью 768; сходство между ними можно оценивать косинусной метрикой. Модель содержит 151,6 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки информационного поиска при разных размерностях векторов, включая сокращённые размерности от 64 до 512. Поддерживается английский язык. Распространяется по лицензии Apache-2.0.
onelevelstudio/M-MPNET-BASE — резервная копия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2, обученной командой sentence-transformers. Модель на базе XLM-RoBERTa преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения предложений и кластеризации. Она принимает текст и выдаёт эмбеддинги; поддерживает множество языков, включая русский. Контекст — до 514 токенов, размер — 305,2 млн параметров. Модель подходит для поиска близких по смыслу текстов и группировки многоязычных документов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0.
Карточка модели artdev99/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой artdev99/MNLP_M3_document_encoder, поэтому описание составлено по ней. artdev99/MNLP_M3_document_encoder — модель для кодирования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их семантику. Это форк all-MiniLM-L6-v2, дообученный на базе nreimers/MiniLM-L6-H384-uncased с контрастивной целью на более чем миллиарде пар предложений. Модель использует архитектуру BERT и библиотеку Sentence Transformers; число параметров — 25,9 млн. Векторы подходят для семантического поиска, оценки сходства предложений и кластеризации. Модель принимает текст и выдаёт векторные представления; в README указано усечение входа длиннее 256 word pieces, а контекстное окно по метаданным составляет 512 токенов. В карточке заявлен английский язык. Модель распространяется по лицензии Apache-2.0.
EmaRimoldi/MNLP_M2_document_encoder — текстовый энкодер предложений и коротких абзацев на архитектуре BERT, разработанный на основе all-MiniLM-L12-v2. Модель преобразует текст в плотный вектор размерности 384 для поиска по смыслу, оценки сходства и кластеризации. В README описано контрастивное дообучение на корпусе более чем из миллиарда пар предложений; метаданные указывают 40 млн параметров, контекст до 512 токенов и библиотеку Sentence Transformers. README предупреждает, что вход длиннее 256 word pieces обрезается. Модель подходит для семантического поиска и извлечения эмбеддингов из англоязычных текстов. В метаданных указаны английский язык и лицензия Apache-2.0. Векторные представления можно использовать как основу для поиска, группировки и сопоставления текстов; сама модель не генерирует ответы.
Карточка модели igzi/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
Карточка модели pmdlt/MNLP_M2_document_encoder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Карточка модели julpiro/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой intfloat/e5-base-v2, поэтому описание составлено по ней. E5-base-v2 — англоязычная модель эмбеддингов текста, разработанная Liang Wang, Nan Yang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 12 слоёв, размерность эмбеддинга 768, около 136,7 млн параметров. Модель принимает текст и выдаёт векторные представления для сравнения предложений и поиска по смыслу. Модель подходит для семантического сходства, поиска документов и пассажей, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Для асимметричного поиска рекомендуется добавлять к запросам префикс «query: », а к документам — «passage: »; для сходства и других симметричных задач используется префикс «query: ». Контекст ограничен 512 токенами, длинные тексты обрезаются; модель предназначена только для английского языка. Лицензия — MIT.
Карточка модели matyaydin/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Карточка модели Oussama1209/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Это модель Sentence Transformers на базе BERT, дообученная автором Stergios-Konstantinidis от sucharush/e5_stem_finetuned. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализованные для сравнения косинусным сходством. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации. Максимальная длина входа — 512 токенов. В карточке указано обучение на 113 450 примерах; модель использует mean pooling и нормализацию выходных векторов. Лицензия в предоставленных данных не указана.
MoCa-Qwen25VL-3B — мультимодальная модель для получения двунаправленных эмбеддингов, разработанная авторами работы MoCa. Она основана на Qwen2.5-3B-VL-Instruct и предназначена для поиска и сопоставления текстов и изображений, в том числе для поиска по документам и длинным парам «запрос — документ». Модель принимает текст, изображения и их чередующиеся комбинации, а выдаёт эмбеддинги для мультимодального поиска и классификации изображений без заранее заданных классов. Модель семейства Qwen2.5-VL имеет плотную архитектуру и 3,1 млрд параметров; нативный контекст — 128 000 токенов. В README заявлены высокие результаты на MMEB и ViDoRe-v2, а также обобщение на данные вне обучающей выборки. Обучение включало непрерывное предобучение на мультимодальных данных и контрастивную настройку на парах текстов и мультимодальных данных. Доступна под лицензией MIT.
Это sentence-transformers-модель iara-project, дообученная на базе wallacelw/ModBERTBr для получения векторных представлений предложений и абзацев. Она предназначена для сравнения семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста. Модель построена на ModernBERT с усреднённым пулингом токенов, содержит 135,5 млн параметров и создаёт плотные векторы размерности 768. Поддерживает бразильский португальский язык, принимает последовательности длиной до 512 токенов и использует косинусное сходство; обучение проводилось на наборах NLI и семантического сходства, включая ASSIN, IRIS STS и SICK-BR. README приводит оценки сходства на португалоязычных тестовых наборах и варианты усечения вектора до 512, 256, 128 и 64 измерений. Модель рассчитана на получение текстовых эмбеддингов, а не на генерацию ответов. Сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели novelcore/model16 на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
Модель jfarray/Model_bert-base-multilingual-uncased_30_Epochs — sentence-transformers на архитектуре BERT, обученная сопоставлять предложения и абзацы в плотном 256-мерном векторном пространстве. Она подходит для семантического поиска и кластеризации текстов, а также для сравнения семантической близости фраз. Модель содержит 194,6 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. В обучении использовалась функция потерь CosineSimilarityLoss; веса доступны в формате PyTorch. Название указывает на многоязычную uncased-базу bert-base-multilingual-uncased и обучение в течение 30 эпох, однако поддерживаемые языки отдельно не перечислены. Лицензия в предоставленных данных не указана.
BlueAvenir/model_operations_V_0_2 — модель на базе XLM-RoBERTa, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения сходства текстов. В качестве функции обучения указана CosineSimilarityLoss; модель доступна в формате PyTorch, число параметров — 305,2 млн, длина контекста — 514 токенов. Модель подходит для построения текстового поиска по смыслу, группировки похожих текстов и вычисления семантического сходства пар предложений или абзацев. Языковая поддержка соответствует многоязычной основе XLM-RoBERTa; конкретные языки для этой модели в карточке не перечислены. Лицензия в предоставленных данных не указана.
jfarray/Model_paraphrase-multilingual-MiniLM-L12-v2_1_Epochs — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. Модель обучалась с функцией потерь CosineSimilarityLoss; для получения векторов можно использовать библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. В репозитории указано 124,3 млн параметров и контекст до 512 токенов. Метка multilingual в названии указывает на многоязычную основу, однако конкретный список поддерживаемых языков в доступных данных не приведён. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
jfarray/Model_paraphrase-multilingual-mpnet-base-v2_100_Epochs — модель Sentence-Transformers на базе XLM-RoBERTa, обученная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. В обучении использовалась функция потерь CosineSimilarityLoss. Модель содержит 305,2 млн параметров, принимает текст и формирует векторные представления; длина контекста — 514 токенов. Для работы доступны веса PyTorch и библиотека Sentence-Transformers. Название и описание указывают на мультиязычную основу paraphrase-multilingual-mpnet-base-v2, однако перечень поддерживаемых языков в данных не приведён. Лицензия в предоставленных данных не указана.
jfarray/Model_paraphrase-multilingual-mpnet-base-v2_10_Epochs — модель Sentence-Transformers на архитектуре XLM-RoBERTa, разработанная на основе paraphrase-multilingual-mpnet-base-v2 и обученная в течение 10 эпох. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит около 305,2 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 514 токенов. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и вычисления сходства между фразами. В README указано обучение с CosineSimilarityLoss. Карточка не сообщает отдельную лицензию или результаты оценки качества, поэтому эти характеристики здесь не приводятся.
jfarray/Model_paraphrase-multilingual-mpnet-base-v2_50_Epochs — модель Sentence-Transformers на архитектуре XLM-RoBERTa, разработанная пользователем jfarray. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит около 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss. Название модели указывает на вариант paraphrase-multilingual-mpnet-base-v2, однако базовая модель отдельно в метаданных не указана. Модель подходит для семантического поиска и сопоставления предложений; сведения о поддерживаемых языках в метаданных отсутствуют. Опубликованные файлы — в формате PyTorch. Лицензия в предоставленных данных не указана.