I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейTIGER-Lab/VLM2Vec-Full — мультимодальная модель встраиваний, разработанная TIGER-Lab на основе Microsoft Phi-3.5 Vision Instruct. Она дообучена на наборе MMEB-train с контрастивным обучением и предназначена для получения представлений текста и изображений для широкого круга мультимодальных задач поиска и сопоставления. В метаданных указаны архитектура Phi-3.5-V, 3,7 млрд параметров, контекст 4096 токенов и форматы PyTorch и Safetensors. Модель ориентирована на задачи мультимодальных эмбеддингов; карточка сообщает об оценке на 36 наборах MMEB-eval и превосходстве над прежними базовыми методами, но не приводит сами метрики. Репозиторий распространяется по лицензии Apache-2.0. В карточке Hugging Face pipeline помечен как text-generation, хотя описание проекта указывает на эмбеддинги; для поиска эмбеддингов и оценок релевантности это назначение точнее отражает использование модели.
WeMM-Embedding-2B — универсальная мультимодальная модель эмбеддингов от Tencent, построенная на базе Qwen3.5-2B. Она принимает текст, изображения, видео, визуальные документы и их сочетания, а на выходе формирует L2-нормализованный вектор размерности 2048. Для сокращения размерности поддерживаются Matryoshka-эмбеддинги; в README указано, что в тестах MMEB-v2 вариант размерностью 256 сохраняет 98,7% исходного качества на задачах с изображениями и видео. Модель предназначена для поиска и сопоставления текстов и визуального содержимого, включая видео и документы, а также для систем, которым нужны мультимодальные векторные представления. Входные данные можно подавать по отдельности или комбинировать. Аудио модель не поддерживает. В метаданных указаны языки китайский и английский; данных о лицензии сверх обозначения «other» нет.
WeMM-Embedding-2B-INT8 — мультимодальная модель для получения эмбеддингов, опубликованная ewin-reg. Это INT8-перекодировка модели ewin-reg/WeMM-Embedding-2B-Quantized, восходящей к tencent/WeMM-Embedding-2B; веса не дообучались и не дистиллировались. Модель построена на гибридной архитектуре Qwen3.5 с линейным и полным вниманием, а также визуальным трансформером; поддерживает Matryoshka-эмбеддинги размерностью от 64 до 2048. Размер файлов модели составляет около 1,94 ГБ. Модель предназначена для создания текстовых, изображенческих и видеоэмбеддингов, поиска по сходству и мультимодального поиска. Перекодировка весов позволяет запускать её на CPU, CUDA и Apple Silicon MPS со стандартным PyTorch. В README приведены измерения близкого совпадения эмбеддингов INT8-версии с FP8-вариантом и базовой моделью, однако это результаты ограниченных наборов запросов и изображений. В README указана лицензия «other» в метаданных, но её конкретные условия не приведены. Для использования следует проверить лицензию карточки и исходной модели.
Многоязычная модель Sentence Transformers на базе FacebookAI/xlm-roberta-base, дообученная на парах предложений en–es. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения семантической близости, поиска и группировки текстов. Для сопоставления векторов используется косинусное сходство; архитектура включает XLM-RoBERTa с усреднением токенных представлений. Максимальная длина последовательности в карточке — 128 токенов. Модель поддерживает английский и испанский, а также широкий набор других языков, включая русский. В README приведены результаты оценки на задачах сходства и перевода между английским и испанским; это не генеративная модель и сама по себе не переводит текст. Размер базовой архитектуры — 305,2 млн параметров, формат весов — safetensors. Лицензия в предоставленных данных не указана.
airnicco8/xlm-roberta-de — модель эмбеддингов на базе XLM-RoBERTa, представленная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки сходства текстов, семантического поиска и кластеризации. Модель обучена на немецкоязычных расшифровках выступлений TED; заявленный контекст составляет 514 токенов, размер — около 305,2 млн параметров. Модель принимает текст и выдаёт векторные представления, которые можно сравнивать для поиска семантически близких текстов или группировать для кластеризации. Для использования с Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Карточка также отмечает возможность дообучения для NLI и классификации текста, но не приводит готовых результатов для этих задач. Лицензия в предоставленных данных не указана.
Etelis/YELP_fewshot — модель семейства MPNet, опубликованная пользователем Etelis в формате PyTorch и оформленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Обучение использовало CosineSimilarityLoss. Модель содержит 136,7 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Её можно применять с библиотекой Sentence Transformers либо через Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
Yinka — модель для получения текстовых эмбеддингов, дообученная разработчиками Classical на открытой модели stella-v3.5-mrl с использованием многозадачной гибридной функции потерь, описанной в piccolo2. Она принимает текст и преобразует его в векторы для задач семантического поиска и сравнения текстов. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и поддерживает контекст до 512 токенов. Полный размер вектора — 1792 измерения; README указывает на возможность использовать векторы меньшей размерности, отбирая первые n измерений перед нормализацией. Для применения не требуются специальные префиксы. В таблице README приведены результаты на наборах задач классификации, кластеризации, сопоставления пар, ранжирования, поиска и семантического сходства; отдельного описания обучающих данных нет. Модель предназначена для извлечения признаков из текста. Доступные сведения не подтверждают конкретный набор поддерживаемых языков, поэтому языки не перечисляются. Лицензия в предоставленных данных не указана.
Nhat1904/32-shot-twitter — модель эмбеддингов предложений на базе MPNet, опубликованная пользователем Nhat1904. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства предложений. Модель имеет 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Она подходит для построения семантического поиска и группировки текстов; в карточке также описано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
aneforge/all-MiniLM-L12-v2 — это копия модели sentence-transformers/all-MiniLM-L12-v2, подготовленная для запуска через ANEForge на Apple Neural Engine. По README, веса побайтно совпадают с исходной моделью; архитектура — компактный плотный BERT с 40 млн параметров и контекстом до 512 токенов. Модель кодирует предложения и короткие фрагменты текста в эмбеддинги для семантического сравнения и поиска. Она рассчитана на английский язык; ANEForge компилирует граф модели в одну программу для Apple Neural Engine. Репозиторий распространяется по лицензии Apache-2.0.
KhaledReda/all-MiniLM-L6-v21-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v20-pair_score на наборе пар текстов с оценками сходства, синонимами и опечатками. Она кодирует предложения и абзацы в плотные векторы размерностью 384; сходство между текстами оценивается косинусной близостью. Архитектура основана на BERT и использует усреднение токенных представлений с последующей нормализацией. Модель предназначена для семантического сравнения текстов и поиска: её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. Модель поддерживает английский язык, содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Обучение ориентировано на пары коротких текстов; качество на других языках и существенно отличающихся доменах README не подтверждает.
along26/all-MiniLM-L6-v2_multilingual_malaysian-v2 — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Энкодер архитектуры BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска, а также для поиска перефразировок, кластеризации и классификации текстов. По примерам обучающих данных она адаптирована к сопоставлению текстов на малайском и английском языках. В README приведена оценка cosine_accuracy 0,0044; без описания протокола и набора метрик эту цифру сложно интерпретировать, поэтому качество на конкретной задаче следует проверять отдельно. Веса доступны в формате Safetensors; модель использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.
onnx-models/all-MiniLM-L6-v2-onnx — ONNX-порт модели sentence-transformers/all-MiniLM-L6-v2, подготовленный Binh Nguyen. Модель предназначена для создания векторных представлений текстов и задач сравнения предложений, включая извлечение признаков и работу с семантическим сходством. Используется через библиотеку light-embed. Модель включает Transformer, Pooling и Normalize, формирует embeddings размерностью 384 и поддерживает последовательности длиной до 256 токенов. Размер файлов на диске составляет около 0,08 ГБ, что делает модель компактной для сценариев локального или ресурсно-ограниченного применения. README не содержит сведений о поддерживаемых языках, конкретных показателях качества, ограничениях применения или лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.
all-MiniLM-L6-v2-pruned — англоязычный энкодер предложений, созданный на основе sentence-transformers/all-MiniLM-L6-v2 с сокращённым словарём токенов. Модель разработал владелец репозитория jangedoo; она использует архитектуру BERT и библиотеку Sentence Transformers. В метаданных указано 22,1 млн параметров и контекст до 512 токенов; README приводит 18 983 040 параметров после сокращения словаря на 31,83%.
tavakolih/all-MiniLM-L6-v2-pubmed-full — модель Sentence-Transformers на базе архитектуры BERT, обученная для преобразования предложений и абзацев в плотные векторы размерностью 384. В метаданных указаны 25,9 млн параметров, PyTorch и контекст до 512 токенов; датасет модели связан с PubMed. Модель предназначена для семантического поиска и кластеризации текстов: она представляет похожие по смыслу фрагменты близкими векторными представлениями. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Это текстовая модель эмбеддингов, а не генератор ответов; лицензия и конкретная специализация на медицинских текстах в доступных данных не подтверждены.
Qdrant подготовила ONNX-версию модели sentence-transformers/all-MiniLM-L6-v2, настроенную для возврата весов внимания. Модель предназначена для поиска BM42 и применяется для вычисления сходства между предложениями и подготовки представлений текста в поисковых системах. Модель основана на архитектуре BERT, содержит 25,9 млн параметров и поддерживает контекст до 512 токенов. В отличие от исходной модели, эта версия возвращает веса внимания; репозиторий содержит формат ONNX. Модель рассчитана на английский язык. Модель распространяется по лицензии Apache-2.0. Она подходит для поиска по текстовым коллекциям и ранжирования близких по смыслу фрагментов; качество за пределами английского языка и ограничения конкретной реализации в карточке не описаны.
KhaledReda разработал all-MiniLM-L6-v67-pair_score — модель Sentence Transformers, дообученную на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной близостью. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию. Модель рассчитана на английский язык; в README указана максимальная длина последовательности 256 токенов, а метаданные Hugging Face указывают контекст 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Она содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Качество для языков помимо английского и применимость к длинным текстам свыше указанного предела последовательности не подтверждены.
KhaledReda разработал англоязычную модель Sentence Transformer на основе дообученной sentence-transformers/all-MiniLM-L6-v2. Энкодер семейства BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Модель обучена на парах текстов с оценками сходства и рассчитана на последовательности до 256 токенов по README; метаданные указывают контекстное окно 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текстов. Её можно применять, например, для поиска товаров или документов по смыслу и ранжирования текстов по семантической близости. Для использования требуется библиотека Sentence Transformers или совместимая система инференса. Лицензия — Apache-2.0. Обучение на англоязычном датасете определяет основную область применения модели; качество для других языков в карточке не подтверждено. Для длинных текстов учитывайте предел последовательности из README; оценки сходства и результаты последующих задач могут требовать настройки под конкретные данные.
Arabert All NLI Triplet Matryoshka — арабская модель Sentence Transformers, разработанная Omartificial Intelligence Space и дообученная на aubmindlab/bert-base-arabertv02 с использованием набора Arabic NLI Triplet. Она преобразует предложения и абзацы на арабском языке в плотные векторные представления для сравнения семантической близости. Модель основана на BERT с усреднением токенных представлений, имеет 162,4 млн параметров и принимает последовательности длиной до 512 токенов. Вектор размерности 768 можно использовать для семантического поиска, поиска перефразировок, кластеризации и классификации текстов; обучение Matryoshka также рассчитано на представления меньшей размерности — 512, 256, 128 и 64. Для сравнения предусмотрена косинусная близость. В README приведены результаты оценки на STS-наборах, но они не гарантируют аналогичного качества на других данных. Лицензия — Apache-2.0.
Arabic-STS-Matryoshka-V2 — арабоязычная модель Sentence Transformers, дообученная разработчиком на базе aubmindlab/bert-base-arabertv02 для получения векторных представлений предложений и абзацев. Она построена на BERT с усреднением токенных представлений и формирует эмбеддинги размерности 768; для сравнения текстов указана косинусная мера сходства. Модель предназначена для семантического поиска, оценки смыслового сходства и кластеризации арабских текстов. Поддерживаются Matryoshka-эмбеддинги: векторы можно сокращать до 512, 256, 128 или 64 измерений, чтобы уменьшить требования к хранению и вычислениям. Максимальная длина последовательности — 512 токенов. Модель работает только с арабским языком и принимает текст, выдавая векторы для сравнения и поиска. В README приведена оценка на арабской части MTEB STS17 с небольшим снижением качества при уменьшении размерности, но числовые результаты не указаны. Лицензия в предоставленных данных не приведена.
Ara-EuroBERT — модель Sentence Transformer, разработанная Omartificial Intelligence Space путём дообучения EuroBERT/EuroBERT-210m для получения семантических эмбеддингов арабского текста. Энкодер содержит около 211,7 млн параметров и обрабатывает до 8192 токенов. Он преобразует предложения и абзацы в плотные векторы размерностью 768; обучение Matryoshka позволяет использовать также размерности 512, 256, 128 и 64. Для сравнения векторов рекомендуется косинусная мера. Модель предназначена для оценки семантического сходства, семантического поиска, извлечения информации, кластеризации текстов, обнаружения перефразирований и классификации. В README сообщается об улучшении относительных показателей STS17 и STS22.v2 по сравнению с базовым EuroBERT-210M. Модель оптимизирована для арабского языка; качество на других языках и в специализированных областях может быть ниже. Для очень коротких текстов полезно добавлять контекст, а длинные документы рекомендуется делить на смысловые фрагменты. Лицензия — MIT.
Ara-EuroBERT-610M — разработанная Omartificial-Intelligence-Space модель Sentence Transformers, дообученная на базе EuroBERT/EuroBERT-610m для получения семантических эмбеддингов арабского текста. Энкодер EuroBertModel содержит около 607,8 млн параметров и обрабатывает последовательности до 8192 токенов. Модель преобразует предложения и абзацы в плотные векторы размерностью 1152; доступны вложенные размерности 960, 768 и 512. Для сравнения векторов используется косинусное сходство. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. В README приведены результаты тестов семантического сходства на STS17 и STS22.v2, однако сравнение показателей в карточке неоднозначно, поэтому их не следует считать гарантией качества для других данных. Модель рассчитана на арабский язык. Распространяется по лицензии MIT.
AraModernBERT Base V1.0 — модель NAMAA-Space для понимания арабского языка на архитектуре ModernBERT. Она обучена предсказывать замаскированные токены на 100 ГБ арабского текста; для токенизации используется словарь из 50 280 единиц, подготовленный для арабского языка с применением transtokenization при инициализации эмбеддингов. Модель содержит 148,9 млн параметров, 22 слоя, 12 голов внимания и поддерживает контекст до 8 192 токенов с локальным и глобальным вниманием. Основная задача модели — заполнение пропусков в тексте. Её представления также можно применять в поиске информации, RAG, сравнении документов, классификации текстов, анализе тональности и распознавании именованных сущностей. В карточке приведены результаты отдельных экспериментов на классификации SANAD и арабском NER; отдельная STS-версия, согласно README, планировалась к выпуску отдельно. Модель ориентирована прежде всего на современный стандартный арабский язык; качество может отличаться на диалектах, классических текстах и узкоспециализированной лексике, а обучающие данные могут содержать смещения. Лицензия — Apache-2.0.
danfeg/ARBERT_Finetuned-AR-1500 — модель на базе BERT, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Для применения используется библиотека sentence-transformers; при работе через Transformers требуется отдельно выполнить подходящую операцию pooling для контекстных представлений токенов. Модель содержит 190 млн параметров и принимает последовательности длиной до 512 токенов. В README указано обучение с CosineSimilarityLoss; название модели и карточка указывают на дообучение ARBERT для арабского языка. Файлы опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
Armenian-Text-Embeddings-2-base — модель Metric-AI для преобразования армянских текстов в плотные векторные эмбеддинги. Она дообучена на базе intfloat/multilingual-e5-base и построена на архитектуре XLM-RoBERTa; содержит 305,2 млн параметров, выдаёт векторы размерности 768 и принимает последовательности длиной до 514 токенов. Модель предназначена для семантического поиска на армянском языке, извлечения документов для RAG, сравнения сходства текстов, кластеризации и классификации. В карточке также заявлена обработка транслитерированных запросов и межъязыковое понимание; метаданные указывают на обучающий набор Reddit на армянском языке. Лицензия — MIT. Качество может снижаться на специализированной терминологии и культурных контекстах; карточка также отмечает возможные смещения, унаследованные от данных Reddit, и ограничения, связанные с качеством переводов.
SrinivasanHF/autotrain-medq — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Это плотный BERT-энкодер на 25,9 млн параметров, предназначенный для преобразования предложений в векторы и вычисления семантического сходства. Модель подходит для поиска похожих текстов, сопоставления запросов с документами и кластеризации предложений. Контекст ограничен 512 токенами; используется формат safetensors. Карточка указывает тип задачи Sentence Transformers и приводит значение loss 0,299 на валидации, но не описывает набор данных или методику оценки. Базовая модель ориентирована на английский язык, поэтому применимость к другим языкам не подтверждена. Лицензия в предоставленных данных не указана.
LocalDoc разработала двуязычную модель эмбеддингов предложений для азербайджанского и английского языков. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для оценки семантической близости, семантического поиска, поиска перефразировок, классификации текстов и кластеризации. Модель основана на sentence-transformers/all-MiniLM-L6-v2: архитектура BERT с 6 слоями, скрытым размером 384 и 12 головами внимания. Она дообучена дистилляцией знаний на параллельном корпусе примерно из 4,14 млн азербайджано-английских пар; используется собственный токенизатор SentencePiece Unigram с словарём около 50 тыс. токенов. Максимальная длина входа — 512 токенов. В метаданных указано 33,4 млн параметров; README приводит оценку около 30,2 млн после расширения словаря. Модель подходит для двуязычного поиска и сравнения текстов, но заявленные результаты относятся к STS-бенчмаркам на азербайджанском и не гарантируют качество на других задачах или языках. Распространяется по лицензии CC BY 4.0.
Swanand30/BAAI-arabic-fine-tuned-m — модель эмбеддингов на базе XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текста. Для обучения использована функция MultipleNegativesRankingLoss с косинусным сходством. Модель содержит около 658,7 млн параметров, поддерживает контекст до 8194 токенов и распространяется в формате safetensors. Название указывает на настройку для арабского языка, однако README не приводит подробностей о данных обучения или сравнительной оценке качества. Модель подходит для поиска и группировки текстов по смыслу; лицензия в предоставленных сведениях не указана.
Kowshik24/bangla-sentence-transformer-ft-matryoshka — дообученная модель Sentence Transformers на базе shihab17/bangla-sentence-transformer для преобразования предложений и абзацев в плотные векторные представления. Она построена на XLM-RoBERTa с усреднением токенных эмбеддингов и выдаёт векторы размерностью 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности в README составляет 128 токенов, а метаданные указывают контекст до 514 токенов. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста. Matryoshka-обучение позволяет усекать эмбеддинги до меньших размерностей: README приводит результаты поиска для векторов размером 768, 512, 256, 128 и 64. В карточке указан бенгальский язык; описание базовой модели в каталоге также отмечает английский. Лицензия — Apache-2.0.
BERTA-uncased — двуязычная модель эмбеддингов предложений, разработанная Сергеем Жуковым как дистиллированная версия BERTA, основанной на ai-forever/FRIDA. Она построена на архитектуре BERT и предназначена для семантического сравнения русских и английских текстов, поиска и задач классификации и кластеризации на основе эмбеддингов. Модель содержит 155,5 млн параметров, 12 слоёв, формирует векторы размером 768 и обрабатывает до 512 токенов. Mean pooling и режим uncased делают представления нечувствительными к регистру. Поддерживаются префиксы для поиска, перефразирования, категоризации, анализа тональности, тем и следования. В README приведены результаты на ruMTEB; показатели различаются по задачам и бенчмаркам. Модель доступна в формате Safetensors по лицензии MIT. Она выдаёт эмбеддинги, поэтому для получения меток классификации или результатов поиска требуется подходящий downstream-компонент.
rithwik-db/bert-base-cased_banking77_10000 — модель Sentence-Transformers на архитектуре BERT, обученная представлять предложения и абзацы в виде плотных векторов размерности 768. Она предназначена для семантического поиска и кластеризации текстов; обучение проводилось с TripletLoss и евклидовой метрикой расстояния. Модель содержит 135,5 млн параметров, принимает текст, а её контекст ограничен 512 токенами. Модель подходит для поиска похожих запросов и группировки текстов по смыслу. Карточка не сообщает, на каких языках обучена модель или для какой предметной области она предназначена, поэтому её название само по себе не подтверждает специализированную поддержку банковских запросов. Лицензия в предоставленных данных не указана.