/ Профессии
Универсальные способности и операции

I.11Классификация, ранжирование и сопоставление

В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
15
в этой профессии
Подходящих моделей
26 736
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

26 736 моделей
Загрузки
Лайки
Дата выхода
301–330 из 26 736
Stergios-Konstantinidis
MNLP_M3_document_encoder

MNLP_M3_document_encoder — дообученный Stergios Konstantinidis текстовый энкодер на базе sucharush/e5_stem_finetuned. Модель построена на BERT с Sentence Transformers: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотные векторы размерности 768. Для сравнения векторов используется косинусное сходство; максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Карточка сообщает о дообучении на 99 980 примерах с ContrastiveTensionLoss. Языковая специализация и лицензия в предоставленных данных не описаны.

1080июнь 2025ctx512
textembeddinghugging-face
Stergios-Konstantinidis
MNLP_M3_tokenizer_tuned

Это модель Sentence Transformers на базе BERT, дообученная автором Stergios-Konstantinidis от sucharush/e5_stem_finetuned. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализованные для сравнения косинусным сходством. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации. Максимальная длина входа — 512 токенов. В карточке указано обучение на 113 450 примерах; модель использует mean pooling и нормализацию выходных векторов. Лицензия в предоставленных данных не указана.

1240июнь 2025ctx512
textembeddinghugging-face
1998Shubham007
ModelRecomm

Карточка модели 1998Shubham007/ModelRecomm на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1070апр. 2024ctx512
textembeddingapache-2.0hugging-face
FareedKhan
models_testerrdd

Это модель Sentence Transformers, дообученная на базе mixedbread-ai/deepset-mxbai-embed-de-large-v1. Она использует трансформер XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; библиотека модели — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В карточке указаны результаты оценки на задаче поиска информации, однако данных недостаточно, чтобы обобщать эти показатели на другие наборы текстов. Лицензия в предоставленных источниках не указана.

1000нояб. 2024ctx514
textembeddinghugging-face
newmindai
modernbert-base-tr-uncased-allnli-stsb

Это модель Sentence Transformers на базе encoder-архитектуры ModernBERT, дообученная newmindai от artiwise-ai/modernbert-base-tr-uncased на турецком наборе all-nli-tr. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. Модель содержит 134,9 млн параметров. В README указан максимальный размер последовательности 256 токенов, тогда как метаданные указывают контекст до 8192 токенов; фактический рабочий предел зависит от конфигурации Sentence Transformers. Для турецкого STS в карточке приведены результаты Spearman 0,8081 на sts-test и 0,8327 на stsb-test при размерности 768; векторы также можно усекать до меньших размерностей. Модель принимает текст и выдаёт векторы, сама по себе не генерируя ответы. Условия лицензии в предоставленных данных не описаны.

650июнь 2025ctx8.2K
textembeddinghugging-face
Akryl
modernbert-embed-base-akryl-matryoshka

Akryl/modernbert-embed-base-akryl-matryoshka — англоязычная Sentence Transformers модель, дообученная разработчиком Akryl на базе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 с нормализацией; близость текстов можно оценивать косинусным сходством. Архитектура включает ModernBertModel, усреднение токенных представлений и нормализацию. Модель принимает последовательности длиной до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, классификации и кластеризации. Matryoshka-обучение позволяет использовать укороченные представления, в том числе размерностью 512 и 256; в карточке приведены результаты поиска для этих размерностей и исходных 768 на наборе dim_768. Лицензия — Apache-2.0. Оценки в карточке относятся к небольшому набору из 402 примеров и не гарантируют такое же качество на других данных.

1010сент. 2025ctx8.2K
textembeddingapache-2.0hugging-face
nomic-ai
modernbert-embed-base-unsupervised

nomic-ai/modernbert-embed-base-unsupervised — англоязычная модель эмбеддингов на базе encoder-only архитектуры ModernBERT. Разработчики обучили её с помощью библиотеки contrastors в течение одной эпохи на 235 млн слабонаблюдаемых контрастивных пар из набора Nomic Embed. Модель содержит 149 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 8192 токена. Модель предназначена для поиска по смыслу, сравнения предложений и других задач, использующих текстовые эмбеддинги. В тестах MTEB она показала результаты, близкие к nomic-embed-text-v1_unsup; авторы рекомендуют modernbert-embed для задач построения эмбеддингов. Доступны веса в формате safetensors. Лицензия — Apache-2.0.

14K10дек. 2024ctx8.2K
textembeddingapache-2.0hugging-face
ytu-ce-cosmos
modernbert-tr-embed

ModernBERT-TR Embed — компактная модель текстовых эмбеддингов на основе ModernBERT, разработанная ytu-ce-cosmos для представления турецких текстов в виде векторов. Модель содержит около 148,7 млн параметров, принимает текст и поддерживает контекст до 8192 токенов. Она предназначена для семантического поиска и оценки сходства предложений; также применима для классификации, кластеризации и двуязычного поиска на турецком и английском языках. Модель дистиллирована из Qwen/Qwen3-Embedding-8B, затем дообучена на задачах поиска и понимания турецкого языка, а несколько чекпойнтов объединены усреднением весов. По приведённому в карточке сравнению, она показывает конкурентные результаты на турецких бенчмарках при меньшем числе параметров, чем некоторые сравниваемые модели. Доступны форматы ONNX и safetensors; модель рассчитана на использование с Sentence Transformers и Text Embeddings Inference. Лицензия — Apache-2.0.

9496июнь 2026ctx8.2K
textembeddingapache-2.0hugging-face
dleemiller
ModernCE-large-sts

ModernCE-large-sts — англоязычный cross-encoder, разработанный dleemiller на основе answerdotai/ModernBERT-large и дообученный для оценки семантического сходства пар текстов. Модель принимает два текста вместе и выдаёт оценку от 0 до 1: чем выше балл, тем ближе их смысл. Она предназначена для сравнения предложений и длинных текстов, в том числе для оценки ответов LLM и ранжирования кандидатов по смысловой близости. Модель построена на архитектуре ModernBERT-large, содержит около 395 млн параметров и обрабатывает до 8192 токенов. Обучение включало пары из dleemiller/wiki-sim и дообучение на sentence-transformers/stsb. В README указаны результаты на тестовой части STS-Benchmark: корреляция Пирсона 0,9256 и Спирмена 0,9215. Для использования модели требуется библиотека sentence-transformers; лицензия — MIT. Как cross-encoder, она оценивает пары текстов совместно, поэтому для массового поиска по большому корпусу может потребоваться предварительный отбор кандидатов; заявленные метрики относятся к STS-Benchmark и не гарантируют такое же качество на других данных.

2.0K1янв. 2025ctx8.2K
textmithugging-face
hlyu
mpnet_14710

hlyu/mpnet_14710 — модель на основе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 61,2 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Векторы можно использовать для поиска похожих текстов и группировки семантически близких предложений. Для работы предусмотрены Sentence-Transformers и Hugging Face Transformers; при использовании Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. Модель опубликована под идентификатором hlyu/mpnet_14710; сведения о лицензии в доступных данных отсутствуют.

1110апр. 2023ctx514
textembeddinghugging-face
tomaarsen
mpnet-base-gooaq-cmnbrl-1024bs

Это текстовая модель Sentence Transformer на архитектуре MPNet, разработанная tomaarsen и дообученная на парах вопросов и ответов из набора GooAQ. Она преобразует предложения и абзацы в плотные векторы размерностью 768, сравниваемые по косинусному сходству, и предназначена для семантического поиска и сопоставления текстов. В карточке приведены результаты оценки поиска по GooAQ-dev: точность cosine_accuracy@1 — 0,759, @3 — 0,8924 и @5 — 0,931. Модель подходит для поиска ответов на вопросы, оценки сходства предложений, поиска перефразировок, кластеризации и использования в качестве признаков для классификации текста. Основной язык — английский. Максимальная длина входной последовательности — 512 токенов по README и 514 токенов в метаданных; модель выдаёт векторы, а не готовые текстовые ответы. Лицензия — Apache-2.0.

1020янв. 2026ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-gooaq-gor

tomaarsen/mpnet-base-gooaq-gor — текстовая модель Sentence Transformers, дообученная на парах вопросов и ответов набора GooAQ с функцией потерь GlobalOrthogonalRegularizationLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель основана на microsoft/mpnet-base и использует архитектуру MPNet с усреднением токенных представлений. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сопоставления вопросов с ответами, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска на GooAQ-dev. Модель рассчитана на английский язык и распространяется по лицензии Apache-2.0.

1080февр. 2026ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-gooaq-qat

Это модель Sentence Transformer на базе microsoft/mpnet-base, дообученная авторами репозитория tomaarsen на наборе GooAQ с учётом квантования. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 768; сходство между текстами оценивается косинусной близостью. Архитектура использует MPNet и усреднение токенных представлений, максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, в том числе вопросов и ответов. Её можно применять для поиска похожих вопросов, извлечения релевантных ответов, кластеризации и классификации текста на основе эмбеддингов. Обучение на GooAQ включает 90 тысяч пар вопрос–ответ; в README приведены оценки поиска для представлений float32, int8 и binary. Модель принимает текст и выдаёт векторные представления. Она ориентирована на английский язык и не является генеративной моделью. Лицензия — Apache-2.0.

920февр. 2026ctx514
textembeddingapache-2.0hugging-face
spl4shedEdu
mpnet_ISM

spl4shedEdu/mpnet_ISM — модель Sentence Transformers, дообученная автором spl4shedEdu на базе sentence-transformers/all-mpnet-base-v2. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; эмбеддинги нормализуются, а сходство можно сравнивать по косинусной мере. По данным карточки, обучение проводилось на парах anchor–positive с функцией потерь CachedMultipleNegativesRankingLoss; тренировочная выборка содержит 281 342 примера. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Модель принимает текст и выдаёт векторы признаков для предложений и абзацев. README указывает максимальную длину последовательности 384 токена, а метаданные каталога — контекст 514 токенов. Примеры обучающих данных относятся к товарам и каталогам, но карточка не ограничивает применение конкретной областью. Лицензия в предоставленных данных не указана.

930май 2025ctx514
textembeddinghugging-face
jamescalam
mpnet-qa

jamescalam/mpnet-qa — модель на базе MPNet, опубликованная James Calam и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, которые подходят для семантического поиска, сравнения сходства и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с функцией MultipleNegativesRankingLoss и косинусной мерой сходства. Её можно использовать с Sentence-Transformers или Transformers, применяя корректную операцию pooling. Лицензия и конкретные поддерживаемые языки в предоставленных данных не указаны.

650сент. 2022ctx514
textembeddinghugging-face
Tool-COLT
msmarco-roberta-base-ance-firstp-v1-ToolBenchG3

Tool-COLT/msmarco-roberta-base-ance-firstp-v1-ToolBenchG3 — модель на базе RoBERTa, созданная для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в эмбеддинги размерности 768 и подходит для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстов по смыслу. Модель содержит 151,8 млн параметров, использует формат PyTorch и принимает последовательности длиной до 514 токенов. Её можно применять с Sentence-Transformers или Hugging Face Transformers, используя соответствующую операцию pooling. Лицензия в предоставленных данных не указана.

1000авг. 2024ctx514
textembeddinghugging-face
ValentinaKim
Multilingual-base-soil-embedding

ValentinaKim разработала многоязычную модель Sentence Transformer для преобразования предложений и абзацев в плотные векторы размерностью 384. Модель дообучена на базе intfloat/multilingual-e5-small; архитектура включает BERT, усреднение токенов и нормализацию векторов. Максимальная длина входа — 512 токенов, сходство текстов можно оценивать косинусной близостью. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README описано обучение на 2320 парах текстов и приведены метрики поиска для вариантов размерности 64, 128 и 256. Модель распространяется по лицензии Apache-2.0.

1080окт. 2024ctx512
textembeddingapache-2.0hugging-face
AbdullahMoQH
multilingual-e5-base

Карточка модели AbdullahMoQH/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

2100май 2026ctx514
textembeddingmithugging-face
intfloat
multilingual-e5-base

Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

6.7M410май 2023ctx514
textembeddingmithugging-face
Karmukilan
multilingual-e5-base

Карточка модели Karmukilan/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

2100май 2026ctx514
textembeddingmithugging-face
mikelalda
multilingual-e5-base

Карточка модели mikelalda/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

2010июнь 2026ctx514
textembeddingmithugging-face
NaganoJRC
multilingual-e5-base

Карточка модели NaganoJRC/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

2300апр. 2026ctx514
textembeddingmithugging-face
Teradata
multilingual-e5-base

Teradata выпустила ONNX-версию модели multilingual-e5-base для получения векторных представлений предложений и абзацев. Модель основана на XLM-RoBERTa, содержит около 305 млн параметров, принимает до 514 токенов и формирует векторы размерности 768. Репозиторий включает варианты fp32, int8 и uint8; модель подготовлена для запуска в Teradata Vantage, в том числе через встроенную функцию ONNXEmbeddings. Векторы подходят для измерения семантического сходства, кластеризации текстов и поиска релевантных фрагментов в RAG-системах. Модель многоязычная; метаданные перечисляют языки от африкаанс до хинди и индонезийского, а README указывает на исходную multilingual-e5-base. Лицензия MIT разрешает коммерческое использование. Это преобразование исходной модели в ONNX; качество и охват языков зависят от исходной модели и конкретной задачи.

1470февр. 2025ctx514
textmithugging-face
hajkis-glami
multilingual-e5-base-embeddings

Карточка модели hajkis-glami/multilingual-e5-base-embeddings на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

2190окт. 2025ctx514
textembeddingmithugging-face
anhtuansh
multilingual-e5-base-Matryoshka-5e-11k

Это модель Sentence Transformer, дообученная автором anhtuansh на базе intfloat/multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768; архитектура включает XLM-RoBERTa, усреднение токенов и нормализацию, а близость векторов можно оценивать косинусным сходством. Модель предназначена для семантического поиска, сопоставления текстов, поиска перефразировок, кластеризации и классификации текста. При дообучении использован набор json из 10 200 пар anchor-positive с MatryoshkaLoss и MultipleNegativesRankingLoss. Максимальная длина входа — 512 токенов по README и 514 токенов контекстного окна по метаданным. Многоязычная базовая модель позволяет работать с текстами на разных языках; в обучающих примерах есть вьетнамские юридические тексты. README приводит результаты оценки поиска, но не уточняет язык и состав тестовых данных. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

980дек. 2024ctx514
textembeddinghugging-face
mrm8488
multilingual-e5-large-ft-sts-spanish-matryoshka-768-16-5e

Это многоязычная модель Sentence Transformer от mrm8488, дообученная на базе intfloat/multilingual-e5-large на расширенном испаноязычном наборе stsb_multi_es_aug. Модель на архитектуре XLM-RoBERTa преобразует предложения и абзацы в плотные текстовые эмбеддинги; описание указывает размерность 1024, усреднение токенов с последующей нормализацией и сравнение по косинусному сходству. Максимальная длина последовательности составляет 512 токенов по README; метаданные каталога указывают нативный контекст 514 токенов. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки сходства на STS для нескольких размерностей в диапазоне 16–768. Модель содержит 658,7 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

3976июнь 2024ctx514
textembeddinghugging-face
aiacademyvn
multilingual-e5-large-instruct

Карточка модели aiacademyvn/multilingual-e5-large-instruct на Hugging Face совпадает с карточкой Nextcloud-AI/multilingual-e5-large-instruct, поэтому описание составлено по ней. Nextcloud-AI/multilingual-e5-large-instruct — модель текстовых эмбеддингов семейства E5, основанная на XLM-RoBERTa-large. Разработчики исходной модели — Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei; репозиторий Nextcloud-AI содержит её копию. Модель имеет 24 слоя и размерность эмбеддинга 1024, насчитывает 658,7 млн параметров и принимает текст длиной до 514 токенов по метаданным; README предупреждает об усечении длинных текстов до 512 токенов. Она предназначена для создания векторных представлений текста и поддерживает извлечение признаков и сравнение предложений. Подходит для поиска документов по смыслу, ранжирования пассажей и оценки семантического сходства. При кодировании запроса рекомендуется добавлять краткую инструкцию, описывающую задачу; к документам такую инструкцию добавлять не требуется. Модель поддерживает 100 языков XLM-RoBERTa, хотя качество может снижаться для языков с малым объёмом обучающих данных. Репозиторий предоставляет веса в форматах safetensors и ONNX. Лицензия — MIT. README указывает, что результаты могут немного отличаться в зависимости от версий Transformers и PyTorch, а абсолютные значения косинусного сходства не следует трактовать как универсальную оценку: для поиска важнее относительный порядок результатов.

1140окт. 2024ctx514
textembeddingmithugging-face
Nextcloud-AI
multilingual-e5-large-instruct

Nextcloud-AI/multilingual-e5-large-instruct — модель текстовых эмбеддингов семейства E5, основанная на XLM-RoBERTa-large. Разработчики исходной модели — Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei; репозиторий Nextcloud-AI содержит её копию. Модель имеет 24 слоя и размерность эмбеддинга 1024, насчитывает 658,7 млн параметров и принимает текст длиной до 514 токенов по метаданным; README предупреждает об усечении длинных текстов до 512 токенов. Она предназначена для создания векторных представлений текста и поддерживает извлечение признаков и сравнение предложений. Подходит для поиска документов по смыслу, ранжирования пассажей и оценки семантического сходства. При кодировании запроса рекомендуется добавлять краткую инструкцию, описывающую задачу; к документам такую инструкцию добавлять не требуется. Модель поддерживает 100 языков XLM-RoBERTa, хотя качество может снижаться для языков с малым объёмом обучающих данных. Репозиторий предоставляет веса в форматах safetensors и ONNX. Лицензия — MIT. README указывает, что результаты могут немного отличаться в зависимости от версий Transformers и PyTorch, а абсолютные значения косинусного сходства не следует трактовать как универсальную оценку: для поиска важнее относительный порядок результатов.

1585сент. 2024ctx514
textembeddingmithugging-face
GyuBack
multilingual-e5-large-instruct-FT_klue_mrc_full32b

GyuBack/multilingual-e5-large-instruct-FT_klue_mrc_full32b — это Sentence Transformer, дообученный на базе intfloat/multilingual-e5-large-instruct для семантического сопоставления вопросов и документов. Модель преобразует текст в нормализованные плотные векторы размерности 1024; сходство оценивается косинусной мерой. В основе — трансформер XLM-RoBERTa с усреднением токенных представлений и максимальной длиной последовательности 512 токенов. Модель подходит для семантического поиска, ранжирования и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Данные обучения включают 23 392 пары: короткие вопросы на корейском языке и более длинные фрагменты документов; примеры указывают на адаптацию для поиска по корейским вопросам и контекстам. Лицензия в предоставленных источниках не указана.

1280нояб. 2024ctx514
textembeddinghugging-face
maiyad
multilingual-e5-small

Multilingual-E5-small — модель текстовых эмбеддингов, основанная на архитектуре BERT и обученная авторами работы Liang Wang и соавторов методом контрастивного предобучения на слабой разметке. В репозитории maiyad/multilingual-e5-small представлены веса модели размером 124,3 млн параметров; модель имеет 12 слоёв и выдаёт векторы размерности 384. Она основана на microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных датасетов. Модель предназначена для поиска и сравнения текстов: семантического сходства, поиска пассажей по запросу, поиска перефразировок и межъязыкового поиска. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к тексту для поиска — «passage: »; для ряда симметричных задач и извлечения признаков рекомендуется префикс «query: ». Модель поддерживает 100 языков, но для языков с малым объёмом обучающих данных качество может быть ниже. Контекст ограничен 512 токенами, длинные тексты усекаются. Лицензия — MIT.

910янв. 2024ctx512
textembeddingmithugging-face

Задачи профессии

15 задач
172Присвоение объекту одной или нескольких категорий. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Исходные данные: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Присвоение объекту одной или нескольких категорий» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
173Иерархическая классификация по многоуровневому справочнику. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: результат «Иерархическая классификация по многоуровневому справочнику» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
174Классификация при наличии очень малого числа примеров. — Для этой задачи система извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Рабочие входы: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: результат «Классификация при наличии очень малого числа примеров» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
175Определение степени уверенности и передача сомнительных случаев человеку. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: установленное значение или вариант по задаче «Определение степени уверенности и передача сомнительных случаев человеку» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
176Приоритизация объектов по срочности, ценности или риску. — Механизм: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. Исходные данные: история исходов, признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: результат «Приоритизация объектов по срочности, ценности или риску» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
177Ранжирование кандидатов по множеству критериев. — AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. К исходным данным относятся эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Ранжирование кандидатов по множеству критериев» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
178Сопоставление двух объектов на совместимость. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: карта соответствий и различий для «Сопоставление двух объектов на совместимость», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
179Многостороннее сопоставление участников, ресурсов и ограничений. — Практическая реализация: AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Входной контекст включает критерии приоритета, объекты, признаки и эталонные категории. Формат результата: карта соответствий и различий для «Многостороннее сопоставление участников, ресурсов и ограничений», где элементы приведены к единым критериям и связаны с первичными данными. Ошибки выявляют экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
180Поиск наиболее близкого аналога или прецедента. — Механизм: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Исходные данные: объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: ранжированный список кандидатов по задаче «Поиск наиболее близкого аналога или прецедента» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
181Выявление принадлежности записей одному реальному объекту. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. К исходным данным относятся признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление принадлежности записей одному реальному объекту», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
182Определение сходства и различий между сложными объектами. — Для этой задачи система последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Рабочие входы: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: установленное значение или вариант по задаче «Определение сходства и различий между сложными объектами» с оценкой уверенности и основаниями решения. Критерии приёмки: по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
183Автоматическое назначение очереди, команды или исполнителя. — Практическая реализация: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: решает комбинаторную задачу с ограничениями и пересчитывает план при сбоях. Входной контекст включает список работ или точек, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: конкретный результат по задаче «Автоматическое назначение очереди, команды или исполнителя» с исходными данными, промежуточными основаниями и возможностью проверки. Ошибки выявляют сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
184Выделение пограничных случаев, не подходящих ни к одной известной категории. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: структурированные данные, полученные в рамках «Выделение пограничных случаев, не подходящих ни к одной известной категории», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
185Калибровка баллов модели в интерпретируемые вероятности. — AI замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. К исходным данным относятся история исходов, объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: управляющее решение для «Калибровка баллов модели в интерпретируемые вероятности» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Надёжность оценивают в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
186Объяснение факторов, повлиявших на классификацию или ранг. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: объяснимые выводы по задаче «Объяснение факторов, повлиявших на классификацию или ранг» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений. <a id="section-i-12"></a>

0 моделей