/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
3 751–3 780 из 13 467
jfarray
Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs

jfarray/Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs — модель sentence-transformers, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Карточка указывает на мультиязычную основу paraphrase-multilingual-mpnet-base-v2; метаданные не перечисляют конкретные поддерживаемые языки. В README описано обучение с CosineSimilarityLoss. Для использования доступны PyTorch и интеграция с Sentence-Transformers или Transformers с подходящей операцией pooling. Векторы подходят для поиска и сравнения смысловой близости; карточка не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.

710март 2022ctx514
textembeddinghugging-face
tomaarsen
ModernBERT-base-gooaq

tomaarsen/ModernBERT-base-gooaq — англоязычная модель Sentence Transformers, дообученная разработчиком tomaarsen на базе answerdotai/ModernBERT-base на датасете GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения по косинусному сходству. Архитектура состоит из encoder-модели ModernBERT с усреднением токенных представлений; размер — 149 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска ответов на вопросы, выявления перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценивания на NanoNQ, NanoMSMARCO и NanoBEIR, однако они не гарантируют качество на других данных. Модель обучалась на англоязычных парах вопросов и ответов GooAQ и рассчитана прежде всего на английский язык. Лицензия в предоставленных данных не указана.

10214дек. 2024ctx512
textembeddinghugging-face
YeonwooSung
ModernBERT-large-biencoder-msmarco

YeonwooSung выпустил дообученную на answerdotai/ModernBERT-large модель Sentence Transformer для получения плотных векторных представлений предложений и абзацев. Она предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Архитектура состоит из энкодера ModernBERT-large с усреднением токенных представлений; размер вектора — 1024, сходство измеряется косинусной метрикой. Модель содержит 394,7 млн параметров; метаданные указывают контекст до 8192 токенов, тогда как конфигурация Sentence Transformers в README ограничивает длину последовательности 512 токенами. Обучающий набор включает 499 184 примера. Карточка демонстрирует англоязычные данные, поэтому основное применение — для английского текста. Лицензия — MIT.

1280апр. 2025ctx8.2K
textembeddingmithugging-face
CocoRoF
ModernBERT-SimCSE-multitask_v03-retry

CocoRoF/ModernBERT-SimCSE-multitask_v03-retry — дообученная на основе CocoRoF/mobert_retry_SimCSE_test модель Sentence Transformer, разработанная CocoRoF. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для сравнения семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура — ModernBERT; модель содержит 183,8 млн параметров и принимает текстовые последовательности длиной до 8192 токенов по метаданным. README указывает максимальную длину 2048 токенов, поэтому фактический предел может зависеть от конфигурации используемого пайплайна. Для оценки сходства применяется косинусная мера; в README приведены результаты на sts_dev: 0,789 по Spearman и 0,7886 по Pearson. Примеры обучающих и оценочных данных — корейские предложения, но поддержка других языков явно не заявлена. Модель сохраняет веса в формате safetensors и может применяться через библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

980февр. 2025ctx8.2K
textembeddinghugging-face
dleemiller
ModernCE-large-sts

ModernCE-large-sts — англоязычный cross-encoder, разработанный dleemiller на основе answerdotai/ModernBERT-large и дообученный для оценки семантического сходства пар текстов. Модель принимает два текста вместе и выдаёт оценку от 0 до 1: чем выше балл, тем ближе их смысл. Она предназначена для сравнения предложений и длинных текстов, в том числе для оценки ответов LLM и ранжирования кандидатов по смысловой близости. Модель построена на архитектуре ModernBERT-large, содержит около 395 млн параметров и обрабатывает до 8192 токенов. Обучение включало пары из dleemiller/wiki-sim и дообучение на sentence-transformers/stsb. В README указаны результаты на тестовой части STS-Benchmark: корреляция Пирсона 0,9256 и Спирмена 0,9215. Для использования модели требуется библиотека sentence-transformers; лицензия — MIT. Как cross-encoder, она оценивает пары текстов совместно, поэтому для массового поиска по большому корпусу может потребоваться предварительный отбор кандидатов; заявленные метрики относятся к STS-Benchmark и не гарантируют такое же качество на других данных.

2.0K1янв. 2025ctx8.2K
textmithugging-face
webis
monoelectra-base

webis/monoelectra-base — англоязычный кросс-энкодер семейства mono, разработанный для ранжирования и повторной сортировки текстовых фрагментов. Модель представлена в статье Rank-DistiLLM, посвящённой сокращению разрыва в эффективности между кросс-энкодерами и большими языковыми моделями при переранжировании passage. Модель основана на google/electra-base-discriminator и содержит 136,7 млн параметров. Она принимает пары текстов для оценки их релевантности и подходит для переранжирования результатов поиска и отбора passages для последующей обработки. Максимальная длина контекста — 512 токенов; веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык и задачи ранжирования; контекст ограничен 512 токенами.

244май 2024ctx512
textapache-2.0hugging-face
webis
monoelectra-large

webis/monoelectra-large — модель ранжирования текстовых пар, представленная в работе Rank-DistiLLM, посвящённой повышению эффективности переранжирования пассажей. Это плотный cross-encoder семейства Mono на базе Google ELECTRA Large, дообученный для оценки релевантности пары запроса и текста. Модель предназначена для переранжирования найденных пассажей в поисковых системах и конвейерах поиска информации. Модель содержит около 433,9 млн параметров, принимает текст и выдаёт оценку для ранжирования. Максимальная длина контекста — 512 токенов. Репозиторий использует формат safetensors и библиотеку lightning-ir. Лицензия — Apache-2.0. В доступных сведениях не описаны языковое покрытие и дополнительные ограничения качества.

486май 2024ctx512
textapache-2.0hugging-face
Xavarary
mpnet-base-all-medium-triplet

Xavarary/mpnet-base-all-medium-triplet — англоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-distilroberta-v1 на датасете all-nli. Архитектура включает энкодер RoBERTa, усреднение токенных представлений и нормализацию; модель содержит 95,2 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Максимальная длина входа — 514 токенов по метаданным; в карточке указано ограничение в 512 токенов. Модель предназначена для семантического сравнения текстов, поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Её можно использовать для построения векторного поиска и оценки близости английских фраз. Обучение на парах и тройках all-nli и нормализованные эмбеддинги поддерживают сравнение векторных представлений. Модель распространяется по лицензии Apache-2.0. Карточка приводит результаты TripletEvaluator на all-nli-dev, однако значения cosine_accuracy заметно ниже dot_accuracy, поэтому способ сравнения векторов следует выбирать по результатам собственной проверки; опубликованные показатели ограничены указанным датасетом.

1180сент. 2024ctx514
textembeddingapache-2.0hugging-face
lizchu414
mpnet-base-all-nli-triplet

lizchu414/mpnet-base-all-nli-triplet — модель Sentence Transformers на базе MPNet, дообученная на наборе all-nli. Она кодирует предложения и абзацы на английском языке в плотные векторы размерности 768, нормализованные для сравнения косинусным сходством. Модель содержит 136,7 млн параметров и рассчитана на последовательности до 514 токенов по метаданным; в README указана максимальная длина 384 токена. Её применяют для семантического поиска, оценки сходства и поиска перефразировок, кластеризации текстов и извлечения признаков для классификации. README приводит результаты оценки на all-nli с точностью cosine около 0,925. Лицензия в предоставленных данных не указана.

1090окт. 2024ctx514
textembeddinghugging-face
rajistics
mpnet-base-all-nli-triplet

Это англоязычная модель Sentence Transformer на базе microsoft/mpnet-base, дообученная разработчиками Sentence Transformers на наборе sentence-transformers/all-nli с функцией потерь MultipleNegativesRankingLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения семантической близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из MPNet и mean pooling; максимальная длина последовательности — 512 токенов. В README приведены результаты оценки TripletEvaluator на наборах all-nli-dev и all-nli-test. Модель принимает текст и выдаёт векторы для дальнейшего поиска и анализа. Она рассчитана на английский язык. Распространяется по лицензии Apache-2.0.

1021июнь 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-gooaq

tomaarsen/mpnet-base-gooaq — текстовая Sentence Transformer модель, разработанная на базе microsoft/mpnet-base и дообученная на наборе вопросов и ответов GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель содержит около 136,7 млн параметров, использует архитектуру MPNet с усреднением токеновых представлений и принимает последовательности длиной до 512 токенов. Модель предназначена прежде всего для семантического поиска и сопоставления вопросов с ответами на английском языке. Её также можно применять для оценки семантического сходства, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты поиска на GooAQ dev: точность cosine_accuracy@1 — 0,7198, @3 — 0,884 и @5 — 0,9305. Модель выдаёт векторы, а не готовые ответы или метки классов; для поиска требуется сравнение векторов, например по косинусному сходству. Обучение ориентировано на англоязычные пары вопросов и ответов, поэтому качество для других языков не подтверждено. Лицензия — Apache-2.0.

1020июнь 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-nli

tomaarsen/mpnet-base-nli — модель семейства MPNet, опубликованная tomaarsen и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768; число параметров — 136,7 млн, максимальный контекст — 514 токенов. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения смысловой близости текстов. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства. Для работы можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling. В карточке указаны формат Safetensors и библиотека Sentence-Transformers. Языковая специализация и лицензия в предоставленных данных не обозначены; качество может зависеть от языка и предметной области входных текстов.

1.2K1февр. 2024ctx514
textembeddinghugging-face
tomaarsen
mpnet-base-nli-matryoshka

Tomaarsen/mpnet-base-nli-matryoshka — модель эмбеддингов предложений на архитектуре MPNet, опубликованная tomaarsen как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Обучение с MatryoshkaLoss позволяет использовать представления нескольких размерностей: 768, 512, 256, 128 и 64. Модель принимает текст и выдаёт векторные представления. Контекст составляет до 514 токенов; репозиторий содержит форматы safetensors, ONNX и OpenVINO. Данных о поддерживаемых естественных языках и лицензии в использованных источниках нет.

1.6K15февр. 2024ctx514
textembeddinghugging-face
knguyennguyen
mpnet_jacket4k_adjustedv3

knguyennguyen/mpnet_jacket4k_adjustedv3 — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная пользователем knguyennguyen. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В обучающем наборе было 11 097 пар anchor-positive, а в оценочном — 300 пар. Максимальная длина последовательности в конфигурации README — 128 токенов; метаданные указывают нативный контекст в 514 токенов. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать для ранжирования по сходству и дальнейшего анализа. Языки обучения и поддерживаемые естественные языки в предоставленных данных не определены. Модель сохранена в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных метаданных и README не указана. Качество для конкретных задач следует проверять отдельно; последовательности длиннее указанного в README предела могут обрезаться.

940янв. 2025ctx514
textembeddinghugging-face
jamescalam
mpnet-nli-sts

jamescalam/mpnet-nli-sts — модель на базе MPNet, разработанная James Calam для получения эмбеддингов предложений и абзацев. Она отображает текст в плотное векторное пространство размерности 768 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель дообучена на наборе STSb, используя jamescalam/mpnet-snli-negatives как исходную модель; в карточке сообщается о корреляции Пирсона около 0,9 по косинусному сходству на тестовой части STSb. Модель содержит 136,7 млн параметров, принимает английский текст, а её контекст ограничен 514 токенами. Распространяется в формате PyTorch по лицензии MIT.

1150сент. 2022ctx514
textembeddingmithugging-face
navidmadani
mpnet-twitter-freq100

navidmadani/mpnet-twitter-freq100 — модель Sentence-Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Её обучили с функцией CosineSimilarityLoss; по назначению это модель эмбеддингов для сравнения текстов. Модель подходит для семантического поиска, кластеризации и оценки сходства предложений. Архитектура содержит около 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и не указывает лицензию. README не сообщает, на каких языках обучена модель.

1010апр. 2023ctx514
textembeddinghugging-face
sieu-n
msmarco-distilbert-cos-v5_en-ko-ja_v1.2

sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.2 — модель на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 768 для сравнения их смыслового сходства. Её можно использовать для семантического поиска и кластеризации текстов; в метаданных Hugging Face основной задачей указано сравнение предложений, а среди поддерживаемых также есть извлечение признаков. Модель содержит 124,3 млн параметров, принимает текст и формирует векторные представления. Контекст ограничен 512 токенами. В названии указаны английский, корейский и японский языки; карточка не описывает отдельные языковые ограничения или результаты оценки качества. Модель опубликована в формате PyTorch и доступна для использования через Sentence-Transformers. Условия лицензирования в предоставленных данных не указаны.

940март 2023ctx512
textembeddinghugging-face
sieu-n
msmarco-distilbert-cos-v5_en-ko-ja_v1.3

sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.3 — модель Sentence-Transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Контекст модели составляет 514 токенов. Модель подходит для поиска похожих фраз и документов, сравнения текстовых запросов с текстовыми фрагментами и построения векторных представлений для последующей кластеризации. В README указано обучение с функцией потерь MSELoss; метаданные также отмечают возможность извлечения признаков и наличие эмбеддингов. Название указывает на английский, корейский и японский языки, однако карточка не описывает их качество или относительную поддержку. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

1151март 2023ctx514
textembeddinghugging-face
sangmini
msmarco-dotv5-MiniLM-L12_en-ko-ja

sangmini/msmarco-dotv5-MiniLM-L12_en-ko-ja — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель основана на архитектуре BERT; в репозитории указано 124,3 млн параметров, максимальная длина контекста — 512 токенов, формат весов — PyTorch. По названию модели она рассчитана на английский, корейский и японский языки. Её можно применять для создания векторного поиска и группировки похожих текстов; полученные эмбеддинги также подходят для вычисления семантической близости. В карточке не приведены конкретные результаты оценки качества. Лицензия в предоставленных данных не указана.

1000март 2023ctx512
textembeddinghugging-face
cross-encoder
msmarco-MiniLM-L12-en-de-v1

Модель cross-encoder/msmarco-MiniLM-L12-en-de-v1 разработана для Sentence Transformers и предназначена для повторного ранжирования текстовых фрагментов в поисковых системах. Она обучена на задаче ранжирования passage из MS MARCO и оценивает релевантность пары «запрос — документ»; обычно её применяют после первичного поиска, например BM25. Поддерживает англо-немецкие сценарии, включая запросы на одном из этих языков и документы на другом, а также английский и немецкий поиск. Это плотная модель на архитектуре BERT, класс BertForSequenceClassification, с 124,3 млн параметров и контекстом до 512 токенов; доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия Apache-2.0. Как cross-encoder, она оценивает пары по отдельности, поэтому обычно медленнее bi-encoder-поиска и подходит для ранжирования ограниченного набора кандидатов, а не для первичного поиска по всему корпусу.

27K6март 2022ctx512
textapache-2.0hugging-face
Xenova
ms-marco-MiniLM-L-12-v2

Xenova/ms-marco-MiniLM-L-12-v2 — это версия модели cross-encoder/ms-marco-MiniLM-L-12-v2 с весами в формате ONNX, подготовленная для работы в библиотеке Transformers.js. Модель предназначена для оценки релевантности пары текстов: например, поискового запроса и найденного документа или ответа на вопрос и контекста. Она возвращает числовой балл, который можно использовать для ранжирования результатов информационного поиска и переранжирования кандидатов. Модель относится к архитектуре MiniLM с 12 слоями и работает как модель классификации последовательностей, обрабатывая два текста совместно. В README указана совместимость с JavaScript-окружением и запуском непосредственно через Transformers.js; приведён пример применения к англоязычному запросу и двум фрагментам текста. ONNX-веса могут существовать в квантованном и неквантованном вариантах, что позволяет выбирать между меньшим размером и потенциально более высокой точностью. Сильная сторона модели — совместная оценка запроса и документа, обычно более подходящая для точного переранжирования, чем независимое построение эмбеддингов. Ограничения, параметры контекста, точный размер, поддерживаемые языки, показатели качества и лицензия в README не указаны. Условия использования следует уточнять в исходном репозитории cross-encoder/ms-marco-MiniLM-L-12-v2.

14K2янв. 2024ctx512
texthugging-face
cross-encoder
ms-marco-MiniLM-L2-v2

cross-encoder/ms-marco-MiniLM-L2-v2 — англоязычная модель ранжирования от команды Sentence Transformers, обученная на задаче MS MARCO Passage Ranking. Она оценивает релевантность пары «поисковый запрос — пассаж» и подходит для повторной сортировки результатов, предварительно найденных поисковой системой. Модель построена на архитектуре BERT и имеет 16,4 млн параметров; принимает текстовые пары и выдаёт оценку релевантности. Длина контекста — до 512 токенов. В README приведены результаты на TREC Deep Learning 2019 и наборе MS MARCO Passage Reranking; скорость измерялась на V100. Доступны форматы PyTorch, Safetensors, ONNX, OpenVINO и Flax. Модель предназначена прежде всего для англоязычного поиска. Для каждого кандидата запрос и пассаж оцениваются совместно, поэтому её обычно применяют после первичного поиска, а не для сравнения с большим корпусом напрямую. Распространяется по лицензии Apache-2.0.

94K14март 2022ctx512
textapache-2.0hugging-face
Xenova
ms-marco-TinyBERT-L-2-v2

Xenova/ms-marco-TinyBERT-L-2-v2 — это версия модели cross-encoder/ms-marco-TinyBERT-L-2-v2 с весами в формате ONNX, подготовленная репозиторием Xenova для работы в Transformers.js. Модель относится к классу sequence classification и оценивает релевантность пары текстов, например поискового запроса и найденного документа. Модель предназначена прежде всего для задач информационного поиска, ранжирования результатов и семантического сопоставления текстов, включая работу непосредственно в JavaScript-приложениях и веб-среде. В основе используется компактная архитектура TinyBERT с двумя слоями; доступны квантованные и неквантованные ONNX-варианты. В README приведён пример на английском языке, однако полный набор поддерживаемых языков и размер контекста не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели и связанных материалах. Компактность и совместимость с Transformers.js упрощают развёртывание, но ограничения TinyBERT могут отражаться на точности по сравнению с более крупными моделями.

2.1K4янв. 2024ctx512
texthugging-face
trmteb
multilingual-e5-base_contrastive_loss_training_with_large_data_v2

Это модель Sentence Transformers, разработанная trmteb и дообученная на базе intfloat/multilingual-e5-base на слабоконтролируемом контрастивном наборе турецких текстов. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию. Сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сопоставления текстов, оценки семантического сходства, поиска перефразировок, кластеризации и классификации текстов. Контекст ограничен 512 токенами по README (в метаданных указано 514). Обучающий набор содержит около 60 млн пар «запрос — релевантный текст» на турецком языке; базовая модель многоязычная, однако карточка не уточняет языковой охват этой версии. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать в системах поиска и анализа. Модель поставляется в формате safetensors и использует библиотеку sentence-transformers. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели.

920май 2025ctx514
textembeddinghugging-face
dinab
multilingual-e5-base-Q4_K_M-GGUF

dinab/multilingual-e5-base-Q4_K_M-GGUF — квантизированная версия мультиязычной модели эмбеддингов multilingual-e5-base, разработанной intfloat и представленной в формате GGUF. Модель предназначена для преобразования текстов в векторные представления и подходит для семантического поиска, сопоставления предложений, кластеризации, классификации и задач retrieval, включая использование через llama.cpp. Модель поддерживает множество языков, в том числе русский, английский, немецкий, французский, испанский, китайский, японский и другие. В названии указана квантизация Q4_K_M, которая уменьшает требования к памяти и делает модель удобнее для локального запуска, но может снижать точность по сравнению с полноразмерной версией. Размер параметров, архитектура, максимальная длина контекста и точные требования к оборудованию в README не указаны. Приведены результаты оценки на ряде наборов MTEB для классификации и поиска, однако они относятся к базовой модели multilingual-e5-base. Модель распространяется под лицензией MIT. README не содержит подробного описания ограничений, поэтому качество следует дополнительно проверять на целевых языках, доменах и сценариях применения.

9710янв. 2025
textembeddingmithugging-face
Ralriki
multilingual-e5-large-instruct-GGUF

Ralriki/multilingual-e5-large-instruct-GGUF — это GGUF-версия мультиязычной embedding-модели multilingual-e5-large-instruct, разработанной командой intfloat и адаптированной для использования в llama.cpp после добавления поддержки XLM-RoBERTa. Модель предназначена для создания векторных представлений текста, включая мультиязычный поиск, семантическое сходство и другие задачи, где требуется сопоставление текстов по смыслу. Для разных сценариев рекомендуется использовать соответствующие prompt-шаблоны из исходной модели. Доступны варианты квантования q4_k_m, q6_k, q8_0 и f16. Автор README рекомендует q6_k или q8_0: переход к 8-битному квантованию обычно почти не снижает качество относительно базовой модели, тогда как при переходе от q6 к q4 возможно небольшое заметное ухудшение, а при использовании уровней около q3 и ниже — существенная потеря качества. Модель ориентирована на мультиязычные тексты, однако конкретный список поддерживаемых языков и размер контекста в README не указаны. Модель распространяется по лицензии MIT. Для работы требуется совместимая поддержка GGUF и llama.cpp с поддержкой XLM-RoBERTa.

23K6авг. 2024
textmithugging-face
dragonkue
multilingual-e5-small-ko-v2

dragonkue/multilingual-e5-small-ko-v2 — модель Sentence Transformer на архитектуре BERT, дообученная на основе intfloat/multilingual-e5-small и объединённая методом Model Soup с dragonkue/multilingual-e5-small. Она предназначена прежде всего для поиска документов по запросу на корейском языке и других задач семантического поиска. Модель преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов, после чего длинный текст обрезается. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. В карточке указана поддержка корейского и английского языков; обучение и оценка ориентированы на корейские retrieval-задачи, включая поиск в документах из медицинской, финансовой, правовой и других областей. Компактный размер упрощает использование в лёгких приложениях; для повышения качества поиска автор рекомендует сочетать её с реранкером. Указанная лицензия — Apache-2.0.

14K4июнь 2025ctx512
textembeddingapache-2.0hugging-face
Fjoralb1
multilingual-e5-small-nli-matryoshka-128

Fjoralb1 выпустил модель эмбеддингов на базе архитектуры BERT, предназначенную для преобразования предложений и абзацев в плотные векторы размерностью 128. Модель содержит 124,3 млн параметров и принимает текст с контекстом до 512 токенов. Векторы подходят для семантического поиска, сравнения сходства, кластеризации и других задач, где нужно находить близкие по смыслу фрагменты текста. Модель обучалась с MatryoshkaLoss и MultipleNegativesRankingLoss; обучение поддерживает представления разных размерностей, включая 128, 64, 32 и 16. Модель доступна в форматах PyTorch и Safetensors для библиотеки Sentence Transformers. В предоставленных материалах сведения о лицензии и конкретных поддерживаемых языках отсутствуют.

3.0K1март 2024ctx512
textembeddinghugging-face
srikarvar
multilingual-e5-small-pairclass-contrastive

srikarvar/multilingual-e5-small-pairclass-contrastive — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-small. Она кодирует предложения и абзацы в плотные векторы размерности 384; для сравнения векторов используется косинусное сходство. Архитектура включает BERT, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель предназначена для оценки семантического сходства пар текстов, семантического поиска и поиска перефразирований. Эмбеддинги также можно использовать для кластеризации и классификации текста. В README приведены результаты бинарной классификации на наборах pair-class-dev и pair-class-test; обучение проведено с ContrastiveLoss на 296 парах. Многоязычность унаследована от базовой multilingual-e5-small, однако конкретные поддерживаемые языки в доступных данных не перечислены. Лицензия в предоставленных данных не указана.

180авг. 2024ctx512
textembeddinghugging-face
Abdul-Ib
multilingual-en-ar-2024

Abdul-Ib/multilingual-en-ar-2024 — модель на основе BERT из библиотеки Sentence Transformers, разработанная Abdul-Ib. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Название указывает на английский и арабский языки; README описывает модель как мультиязычную. Модель можно использовать для семантического поиска, группировки похожих фраз и построения систем сравнения предложений. Файлы модели опубликованы в формате safetensors. Условия лицензии в доступных данных не указаны.

910февр. 2024ctx512
textembeddinghugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей