/ Профессии
Универсальные способности и операции

I.11Классификация, ранжирование и сопоставление

В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
15
в этой профессии
Подходящих моделей
26 736
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

26 736 моделей
Загрузки
Лайки
Дата выхода
2 611–2 640 из 26 736
jfarray
Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs

jfarray/Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs — модель sentence-transformers, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Карточка указывает на мультиязычную основу paraphrase-multilingual-mpnet-base-v2; метаданные не перечисляют конкретные поддерживаемые языки. В README описано обучение с CosineSimilarityLoss. Для использования доступны PyTorch и интеграция с Sentence-Transformers или Transformers с подходящей операцией pooling. Векторы подходят для поиска и сравнения смысловой близости; карточка не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.

710март 2022ctx514
textembeddinghugging-face
tomaarsen
ModernBERT-base-gooaq

tomaarsen/ModernBERT-base-gooaq — англоязычная модель Sentence Transformers, дообученная разработчиком tomaarsen на базе answerdotai/ModernBERT-base на датасете GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения по косинусному сходству. Архитектура состоит из encoder-модели ModernBERT с усреднением токенных представлений; размер — 149 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска ответов на вопросы, выявления перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценивания на NanoNQ, NanoMSMARCO и NanoBEIR, однако они не гарантируют качество на других данных. Модель обучалась на англоязычных парах вопросов и ответов GooAQ и рассчитана прежде всего на английский язык. Лицензия в предоставленных данных не указана.

10214дек. 2024ctx512
textembeddinghugging-face
nickprock
ModernBERT-base-sts

nickprock/ModernBERT-base-sts — англоязычная модель Sentence Transformer, дообученная автором на answerdotai/ModernBERT-base с использованием датасета STSB и функции потерь CoSENTLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768, а сходство между ними оценивается косинусной мерой. Модель построена на ModernBERT и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для оценки семантического сходства предложений; её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты на STS-dev и STS-test: Spearman по косинусному сходству составляет 0,8877 и 0,8684 соответственно. Обучение и оценка описаны для английского языка, поэтому качество на других языках не подтверждено. Лицензия в предоставленных данных не указана.

1302янв. 2025ctx8.2K
textembeddinghugging-face
BounharAbdelaziz
ModernBERT-Morocco-Sentence-Embeddings-v0.2-bs-32-lr-2e-05-ep-2-wp-0.05-gacc-1-gnm-1.0-v0.3

BounharAbdelaziz/ModernBERT-Morocco-Sentence-Embeddings-v0.2-bs-32-lr-2e-05-ep-2-wp-0.05-gacc-1-gnm-1.0-v0.3 — модель Sentence Transformers, дообученная Abdelaziz Bounhar на базе BounharAbdelaziz/ModernBERT-Morocco для создания эмбеддингов предложений на марокканской дариже. Она преобразует предложения и абзацы в плотные векторы размерности 768; сходство оценивается косинусной мерой. Модель построена на ModernBERT с mean pooling и поддерживает последовательности до 8192 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. В карточке приведены результаты оценки на наборах для триплетного ранжирования, семантического сходства и перевода между английским и марокканской дариже; эти результаты зависят от конкретных тестовых данных. Модель выпущена под лицензией Apache-2.0.

1220февр. 2025ctx8.2K
textembeddingapache-2.0hugging-face
dleemiller
ModernCE-base-nli

ModernCE-base-nli — англоязычный cross-encoder на архитектуре ModernBERT-base, обученный автором dleemiller для классификации отношений между парами текстов: противоречие, нейтральность или следование. Модель дообучена на наборе AllNLI из Sentence Transformers и совместима с сопоставимыми cross-encoder-моделями Sentence Transformers. Модель предназначена для NLI, оценки смыслового сходства и проверки того, следует ли гипотеза из текста-посылки. Автор сообщает точность 90,34% на MNLI mismatched и 90,25% на SNLI. В README заявлена обработка последовательностей до 8192 токенов, тогда как метаданные указывают нативный контекст 2048 токенов. Веса содержат около 149 млн параметров и доступны в формате safetensors. Лицензия — MIT. Показатели приведены для указанных тестовых наборов; они не гарантируют качество на других данных. Модель ориентирована на английский язык.

9863февр. 2025ctx2K
textmithugging-face
castorini
monot5-3b-msmarco

Это модель MonoT5, разработанная Castorini: вариант T5, дообученный на наборе MS MARCO Passage в течение 100 тысяч шагов (примерно 10 эпох) для переранжирования текстовых фрагментов. Она предназначена для оценки релевантности найденных отрывков запросу и их сортировки в поисковых системах и системах ответа на вопросы. В основе — архитектура T5; модель работает с текстом, а указанный для неё контекст составляет 512 токенов. MonoT5 можно применять для повторного ранжирования результатов первичного поиска, например, передавать ей запрос и найденные документы, чтобы повысить релевантность верхних результатов. README ссылается на статью «Document Ranking with a Pretrained Sequence-to-Sequence Model» и библиотеку PyGaggle с примерами использования. Репозиторий содержит веса PyTorch; в метаданных указано 385,2 млн параметров. Язык данных для дообучения в предоставленной карточке не обозначен, поэтому языковая поддержка не уточняется. Условия лицензии в предоставленных данных не описаны.

1322март 2022ctx512
textembeddinghugging-face
Xavarary
mpnet-base-all-medium-triplet

Xavarary/mpnet-base-all-medium-triplet — англоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-distilroberta-v1 на датасете all-nli. Архитектура включает энкодер RoBERTa, усреднение токенных представлений и нормализацию; модель содержит 95,2 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Максимальная длина входа — 514 токенов по метаданным; в карточке указано ограничение в 512 токенов. Модель предназначена для семантического сравнения текстов, поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Её можно использовать для построения векторного поиска и оценки близости английских фраз. Обучение на парах и тройках all-nli и нормализованные эмбеддинги поддерживают сравнение векторных представлений. Модель распространяется по лицензии Apache-2.0. Карточка приводит результаты TripletEvaluator на all-nli-dev, однако значения cosine_accuracy заметно ниже dot_accuracy, поэтому способ сравнения векторов следует выбирать по результатам собственной проверки; опубликованные показатели ограничены указанным датасетом.

1180сент. 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-all-nli-triplet

Модель tomaarsen/mpnet-base-all-nli-triplet — англоязычная Sentence Transformer-модель, созданная дообучением microsoft/mpnet-base на триплетах датасета sentence-transformers/all-nli. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов с помощью косинусного сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура состоит из MPNet и mean pooling; максимальная длина входа — 512 токенов. Модель содержит 136,7 млн параметров и распространяется в формате safetensors. Карточка приводит результаты TripletEvaluator на наборах all-nli-dev и all-nli-test: точность по косинусному сходству составляет 0,9004 и 0,915 соответственно. Модель рассчитана на английский язык, её лицензия — Apache-2.0. Она выдаёт векторы, а не готовые ответы; для задач поиска обычно нужны отдельное хранилище и механизм ранжирования. Результаты карточки получены на данных AllNLI и не гарантируют качество на других языках или предметных областях.

1151май 2024ctx514
textembeddingapache-2.0hugging-face
mertcobanov
mpnet-base-all-nli-triplet-turkish-v3

Это модель Sentence Transformers на архитектуре MPNet, дообученная mertcobanov на наборе AllNLI Turkish triplets на базе microsoft/mpnet-base. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения текстов по косинусному сходству; длина входа — до 512 токенов. Модель подходит для поиска семантически близких фраз и документов, оценки сходства предложений, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Обучающие примеры содержали турецкие предложения, однако в README поле языка указано как en, а метаданные карточки также содержат тег en; поэтому поддержка турецкого подтверждается обучающим набором, но заявленный основной язык неоднозначен. Модель содержит 136,7 млн параметров, использует MPNet с усреднением токенных представлений и опубликована в формате safetensors. Лицензия — Apache-2.0. Оценка на турецких AllNLI dev/test по cosine accuracy составила 0,7423 и 0,7503 соответственно; эти результаты относятся к указанным наборам и не гарантируют качество на других данных.

1291нояб. 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-gooaq

tomaarsen/mpnet-base-gooaq — текстовая Sentence Transformer модель, разработанная на базе microsoft/mpnet-base и дообученная на наборе вопросов и ответов GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель содержит около 136,7 млн параметров, использует архитектуру MPNet с усреднением токеновых представлений и принимает последовательности длиной до 512 токенов. Модель предназначена прежде всего для семантического поиска и сопоставления вопросов с ответами на английском языке. Её также можно применять для оценки семантического сходства, поиска перефразировок, кластеризации и классификации текста. В карточке приведены результаты поиска на GooAQ dev: точность cosine_accuracy@1 — 0,7198, @3 — 0,884 и @5 — 0,9305. Модель выдаёт векторы, а не готовые ответы или метки классов; для поиска требуется сравнение векторов, например по косинусному сходству. Обучение ориентировано на англоязычные пары вопросов и ответов, поэтому качество для других языков не подтверждено. Лицензия — Apache-2.0.

1020июнь 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-nli-matryoshka

Tomaarsen/mpnet-base-nli-matryoshka — модель эмбеддингов предложений на архитектуре MPNet, опубликованная tomaarsen как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Обучение с MatryoshkaLoss позволяет использовать представления нескольких размерностей: 768, 512, 256, 128 и 64. Модель принимает текст и выдаёт векторные представления. Контекст составляет до 514 токенов; репозиторий содержит форматы safetensors, ONNX и OpenVINO. Данных о поддерживаемых естественных языках и лицензии в использованных источниках нет.

1.6K15февр. 2024ctx514
textembeddinghugging-face
tomaarsen
mpnet-base-nq

tomaarsen/mpnet-base-nq — англоязычная Sentence Transformer-модель, дообученная автором на парах запросов и ответов из набора Natural Questions. Она основана на microsoft/mpnet-base и кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель содержит 136,7 млн параметров, использует архитектуру MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов по README и 514 токенов в метаданных. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. Обучение на Natural Questions ориентирует её на сопоставление вопросов и ответов на английском языке. Для использования в Sentence Transformers предусмотрены готовые средства загрузки и кодирования текстов. Модель распространяется по лицензии Apache-2.0. Её назначение — получение текстовых эмбеддингов; она не генерирует ответы. Качество зависит от соответствия текстов и предметной области обучающим данным, а поддержка языков помимо английского не заявлена.

1300нояб. 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-nq-cgist-1-gte

Это модель Sentence Transformers, дообученная авторами tomaarsen на парах запросов и ответов из набора Natural Questions. Она основана на microsoft/mpnet-base: архитектура MPNet с примерно 136,7 млн параметров преобразует текст в плотные эмбеддинги размерности 768; для представления последовательности используется среднее объединение токенов, а сходство обычно оценивается косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для поиска по смыслу и сравнения текстов на английском языке. Её можно применять для поиска ответов на запросы, семантического сходства, поиска перефразировок, кластеризации и классификации текстов; README также приводит оценки на наборах для информационного поиска. Это модель эмбеддингов, а не генератор ответов: сама по себе она возвращает векторы, которые обычно индексируют или сравнивают в отдельной системе. Модель распространяется по лицензии Apache-2.0. Результаты приведённых в карточке оценок различаются в зависимости от набора данных, поэтому качество для конкретного корпуса следует оценивать отдельно; английский язык и ограничение в 512 токенов также ограничивают область применения.

1120нояб. 2024ctx514
textembeddingapache-2.0hugging-face
tomaarsen
mpnet-base-nq-cgist-triplet-3-gte

Это англоязычная модель Sentence Transformer, разработанная tomaarsen и дообученная на microsoft/mpnet-base с использованием набора gooaq-hard-negatives. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, семантического поиска и задач сравнения текстов. Сходство векторов можно оценивать косинусной мерой. Модель построена на MPNet с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Она подходит для поиска ответов на вопросы и других сценариев англоязычного информационного поиска. Также README перечисляет кластеризацию, классификацию текста и поиск парафразов как возможные применения. Модель принимает текст и выдаёт векторы; лицензия — Apache-2.0. Показатели в README приведены для отдельных тестовых наборов и не гарантируют качество на других данных.

1170нояб. 2024ctx514
textembeddingapache-2.0hugging-face
jamescalam
mpnet-snli-negatives

jamescalam/mpnet-snli-negatives — англоязычная модель Sentence Transformers на базе MPNet, разработанная James Briggs и дообученная на датасете Stanford Natural Language Inference (SNLI) с отрицательными примерами. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текстовые последовательности длиной до 514 токенов. В README приведены значения MRR@10 и MAP около 0,95 на тестовом наборе SNLI; эти результаты относятся к указанной оценке и не гарантируют такое же качество на других данных. Доступна под лицензией MIT.

1051сент. 2022ctx514
textembeddingmithugging-face
Xenova
msmarco-distilbert-base-v4

Xenova/msmarco-distilbert-base-v4 — версия модели sentence-transformers/msmarco-distilbert-base-v4 с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Модель предназначена для извлечения признаков и создания векторных представлений текста, которые могут использоваться в задачах семантического поиска, сопоставления текстов и других сценариях обработки естественного языка. В названии указана архитектура на основе DistilBERT; точный размер модели, поддерживаемые языки, размер контекстного окна и перечень модальностей в README не приведены. Ключевое преимущество — возможность запуска через Transformers.js, включая веб- и JavaScript-сценарии, благодаря ONNX-весам. Ограничения, условия лицензирования и дополнительные характеристики в предоставленных данных не указаны.

8930май 2023ctx512
textembeddinghugging-face
sieu-n
msmarco-distilbert-cos-v5_en-ko-ja_v1.2

sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.2 — модель на базе BERT, преобразующая предложения и абзацы в плотные векторы размерностью 768 для сравнения их смыслового сходства. Её можно использовать для семантического поиска и кластеризации текстов; в метаданных Hugging Face основной задачей указано сравнение предложений, а среди поддерживаемых также есть извлечение признаков. Модель содержит 124,3 млн параметров, принимает текст и формирует векторные представления. Контекст ограничен 512 токенами. В названии указаны английский, корейский и японский языки; карточка не описывает отдельные языковые ограничения или результаты оценки качества. Модель опубликована в формате PyTorch и доступна для использования через Sentence-Transformers. Условия лицензирования в предоставленных данных не указаны.

940март 2023ctx512
textembeddinghugging-face
sieu-n
msmarco-distilbert-cos-v5_en-ko-ja_v1.2.4

sieu-n/msmarco-distilbert-cos-v5_en-ko-ja_v1.2.4 — модель Sentence-Transformers на базе BERT с 124,3 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, кластеризации и семантического поиска. Модель принимает текст и выдаёт эмбеддинги; контекст ограничен 512 токенами. Название указывает на обучение для английского, корейского и японского языков с использованием MS MARCO, однако сведения о точной методике и результатах обучения в карточке ограничены. Модель опубликована в формате PyTorch и подходит для построения поиска по смыслу и группировки текстов. Лицензия в предоставленных данных не указана.

970март 2023ctx512
textembeddinghugging-face
sangmini
msmarco-dotv5-MiniLM-L12_en-ko-ja

sangmini/msmarco-dotv5-MiniLM-L12_en-ko-ja — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель основана на архитектуре BERT; в репозитории указано 124,3 млн параметров, максимальная длина контекста — 512 токенов, формат весов — PyTorch. По названию модели она рассчитана на английский, корейский и японский языки. Её можно применять для создания векторного поиска и группировки похожих текстов; полученные эмбеддинги также подходят для вычисления семантической близости. В карточке не приведены конкретные результаты оценки качества. Лицензия в предоставленных данных не указана.

1000март 2023ctx512
textembeddinghugging-face
cross-encoder
ms-marco-electra-base

cross-encoder/ms-marco-electra-base — англоязычный кросс-энкодер на базе ELECTRA, разработанный для ранжирования фрагментов MS MARCO. Модель совместно обрабатывает запрос и каждый кандидатный текст и оценивает их релевантность; её используют после первичного поиска, чтобы пересортировать найденные документы. Архитектура — ElectraForSequenceClassification, размер — 136,7 млн параметров, библиотека — Sentence Transformers. Контекст ограничен 512 токенами; доступны форматы PyTorch, Safetensors, ONNX и OpenVINO. Модель подходит для повышения качества поиска по коллекциям документов, например в схеме retrieve-and-rerank с ElasticSearch. Она дообучена на задаче ранжирования фрагментов MS MARCO и распространяется по лицензии Apache-2.0. Модель рассчитана на английский язык; совместная обработка каждой пары «запрос — фрагмент» требует отдельного вычисления для каждого кандидата.

637K7март 2022ctx512
textapache-2.0hugging-face
cross-encoder
msmarco-MiniLM-L12-en-de-v1

Модель cross-encoder/msmarco-MiniLM-L12-en-de-v1 разработана для Sentence Transformers и предназначена для повторного ранжирования текстовых фрагментов в поисковых системах. Она обучена на задаче ранжирования passage из MS MARCO и оценивает релевантность пары «запрос — документ»; обычно её применяют после первичного поиска, например BM25. Поддерживает англо-немецкие сценарии, включая запросы на одном из этих языков и документы на другом, а также английский и немецкий поиск. Это плотная модель на архитектуре BERT, класс BertForSequenceClassification, с 124,3 млн параметров и контекстом до 512 токенов; доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия Apache-2.0. Как cross-encoder, она оценивает пары по отдельности, поэтому обычно медленнее bi-encoder-поиска и подходит для ранжирования ограниченного набора кандидатов, а не для первичного поиска по всему корпусу.

27K6март 2022ctx512
textapache-2.0hugging-face
falloutxvats
ms-marco-minilm-l6-v2

Карточка модели falloutxvats/ms-marco-minilm-l6-v2 на Hugging Face совпадает с карточкой cross-encoder/ms-marco-MiniLM-L6-v2, поэтому описание составлено по ней. cross-encoder/ms-marco-MiniLM-L6-v2 — англоязычный ранжировщик на основе архитектуры BERT, предназначенный для переранжирования результатов поиска. Модель обучена на задаче MS MARCO Passage Ranking и оценивает релевантность пары «запрос — фрагмент текста», после чего найденные документы можно сортировать по оценке. Модель содержит 25,9 млн параметров, принимает пары текстов и поддерживает контекст до 512 токенов. Она рассчитана на этап reranking в системах информационного поиска, например после получения кандидатов из ElasticSearch. Доступны форматы PyTorch, SafeTensors, ONNX, OpenVINO и Flax. Модель распространяется по лицензии Apache 2.0. Описанные данные указывают на англоязычное обучение и назначение; качество для других языков не подтверждено. README приводит оценки на наборах TREC Deep Learning 2019 и MS MARCO, но не содержит чисел для этой версии MiniLM-L6-v2.

110сент. 2026ctx512
textapache-2.0hugging-face
Xenova
ms-marco-MiniLM-L-6-v2

Xenova/ms-marco-MiniLM-L-6-v2 — это версия модели cross-encoder/ms-marco-MiniLM-L-6-v2 с весами в формате ONNX, подготовленная для работы с библиотекой Transformers.js. В карточке не указано, кто разработал исходную модель; Xenova предоставляет совместимую с веб-средой упаковку весов. Модель предназначена для задач информационного поиска и оценки релевантности пар текстов. Она принимает запрос и кандидатный текст, после чего вычисляет оценку их соответствия, поэтому подходит для ранжирования результатов поиска и переранжирования документов. В качестве архитектуры указана MiniLM-L-6-v2, используемая в режиме cross-encoder с задачей sequence classification. В README не приведены точные размеры модели, поддерживаемые языки и максимальная длина контекста. Для модели доступны квантованные и неквантованные ONNX-веса; пример показывает различающиеся числовые оценки для одной и той же пары текстов. Основное преимущество — возможность запуска через Transformers.js, включая веб-сценарии. Ограничения и условия лицензирования в README не указаны; также отсутствуют сведения о гарантиях качества, доменной специализации и производительности.

663K10янв. 2024ctx512
texthugging-face
Sami92
multiling-e5-large-instruct-claim-matching

Sami92/multiling-e5-large-instruct-claim-matching — модель Sentence Transformers, дообученная на базе intfloat/multilingual-e5-large-instruct для поиска семантически одинаковых утверждений. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 1024; сходство между текстами оценивается косинусной мерой. Основа архитектуры — XLM-RoBERTa, максимальная длина последовательности составляет 512 токенов. Модель предназначена для сопоставления утверждений в автоматической проверке фактов: например, чтобы находить копии публикаций с дезинформацией или ранее проверенные утверждения. Обучающие данные содержат 51 106 пар текстов из Telegram-каналов, а разметка соответствия создавалась с помощью GPT-4o. В README сообщается о высокой точности классификации по порогу сходства, но F1 зависит от выбранного порога; для минимизации ложноположительных совпадений рекомендуется порог выше 0,91. Модель принимает текст и возвращает векторы, пригодные для сравнения и поиска ближайших утверждений. Она дообучена на данных из немецкоязычных Telegram-каналов; перенос на другие языки и источники может потребовать проверки. Лицензия — CC BY 4.0.

1070авг. 2024ctx514
textembeddingcc-by-4.0hugging-face
alphaedge-ai
multilingual-e5-large-nep-16384

alphaedge-ai/multilingual-e5-large-nep-16384 — текстовая embedding-модель для семантического сходства, поиска, сопоставления запросов и документов и ранжирования. Она основана на intfloat/multilingual-e5-large и распространяется в формате Sentence Transformers; исходная архитектура Multilingual E5 разработана Liang Wang, Nan Yang и соавторами. Модель оптимизирована для непальского языка методом trimming: словарь сокращён до 16 384 токенов, а размер модели уменьшен на 42,73% — до 320 665 600 параметров. Модель предназначена прежде всего для работы с непальскими текстами: построения эмбеддингов запросов и документов, семантического поиска и оценки их сходства. Для сокращения словаря использовались 29 721 текст из датасета lbourdois/fineweb-2-trimming. Главное преимущество — существенно меньший объём памяти при заявленной близкой к исходной модели производительности на непальском языке. Ограничения включают возможное ухудшение качества для других языков, поскольку редко используемые в выбранном языке токены были удалены; максимальная длина контекста и поддерживаемые дополнительные модальности в README не указаны. Модель распространяется по лицензии MIT.

9271март 2026ctx514
textembeddingmithugging-face
jangedoo
multilingual-e5-small-en-pruned

jangedoo/multilingual-e5-small-en-pruned — это компактная модель текстовых эмбеддингов, созданная на основе intfloat/multilingual-e5-small. Разработчик применил к ней отсечение токенов словаря: размер словаря сокращён с 250 037 до 71 547 токенов, а число параметров в README — с 117,7 млн до 49,1 млн. Метаданные каталога указывают 55,8 млн параметров; эти значения в источниках расходятся. Модель предназначена для получения векторных представлений предложений и их семантического сравнения, в том числе для поиска похожих текстов. В приведённых README тестах результаты на STS-B и NanoClimateFEVER близки к базовой модели. Архитектура — BERT; библиотека — Sentence Transformers; максимальный контекст — 512 токенов. Базовая модель многоязычная, но конкретные поддерживаемые языки в доступных данных не перечислены. Для использования в Sentence Transformers README показывает загрузку через SentenceTransformer и вызов encode; в примере указан trust_remote_code=True. Лицензия в предоставленных данных не приведена.

130июнь 2026ctx512
textembeddinghugging-face
Mohamed-Gamil
multilingual-e5-small-JapaneseTeacher

Mohamed-Gamil/multilingual-e5-small-JapaneseTeacher — модель Sentence Transformers, дообученная на базе intfloat/multilingual-e5-small для создания эмбеддингов предложений и абзацев. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией, выдаёт плотные векторы размерности 384 и сравнивает их с помощью косинусного сходства. Максимальная длина последовательности — 512 токенов; число параметров — 124,3 млн. Модель предназначена для семантического поиска и сопоставления текстов, включая оценку сходства, поиск перефразировок, кластеризацию и классификацию на основе эмбеддингов. В README указаны английский язык и обучающие пары anchor-positive; примеры обучающих данных содержат японский текст и грамматические пояснения, поэтому возможна специализация на сопоставлении японских учебных материалов, но её охват не подтверждён отдельным описанием. Доступна по лицензии Apache-2.0.

1400сент. 2025ctx512
textembeddingapache-2.0hugging-face
dragonkue
multilingual-e5-small-ko

dragonkue/multilingual-e5-small-ko — компактная модель Sentence Transformers на архитектуре BERT, дообученная разработчиком dragonkue на базе intfloat/multilingual-e5-small на корейских парах «запрос — фрагмент текста». Она предназначена прежде всего для поиска корейских документов и подбора релевантных фрагментов, а также для оценки семантического сходства предложений. Модель кодирует предложения и абзацы в плотные векторы размерности 384 и нормализует их; сходство можно сравнивать по косинусной мере. Максимальная длина входа — 512 токенов. Для асимметричного поиска README рекомендует добавлять к запросам префикс «query: », а к документам — «passage: ». Помимо поиска, эмбеддинги подходят для кластеризации, поиска перефразирований и классификации текста. Модель рассчитана на лёгкие приложения и демонстрации, где важны скорость и компактность; для более точного поиска можно дополнить её реранкером. Карточка сообщает об оценке на корейских бенчмарках поиска, но не приводит в доступном тексте результаты для этой модели. Длинные тексты обрезаются до 512 токенов. Лицензия — Apache-2.0.

4.6K11май 2025ctx512
textembeddingapache-2.0hugging-face
dragonkue
multilingual-e5-small-ko-v2

dragonkue/multilingual-e5-small-ko-v2 — модель Sentence Transformer на архитектуре BERT, дообученная на основе intfloat/multilingual-e5-small и объединённая методом Model Soup с dragonkue/multilingual-e5-small. Она предназначена прежде всего для поиска документов по запросу на корейском языке и других задач семантического поиска. Модель преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов, после чего длинный текст обрезается. Модель подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текста. В карточке указана поддержка корейского и английского языков; обучение и оценка ориентированы на корейские retrieval-задачи, включая поиск в документах из медицинской, финансовой, правовой и других областей. Компактный размер упрощает использование в лёгких приложениях; для повышения качества поиска автор рекомендует сочетать её с реранкером. Указанная лицензия — Apache-2.0.

14K4июнь 2025ctx512
textembeddingapache-2.0hugging-face
jangedoo
multilingual-e5-small-ne-pruned

jangedoo/multilingual-e5-small-ne-pruned — компактная модель создания текстовых эмбеддингов, основанная на multilingual-e5-small от intfloat. Она использует архитектуру BERT и Sentence Transformers; словарь токенов сокращён примерно на 91,6%, а количество параметров — на 74,8% относительно базовой версии по README. Модель предназначена для семантического поиска, сравнения предложений и подбора похожих текстов на разных языках. Она принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. В оценке на STSbenchmark для непальского языка pruning сохранил почти исходные показатели сходства предложений, тогда как на NanoClimateFEVER точность поиска первого результата снизилась. README показывает пример использования через Sentence Transformers. Лицензия в предоставленных данных не указана.

490июнь 2026ctx512
textembeddinghugging-face

Задачи профессии

15 задач
172Присвоение объекту одной или нескольких категорий. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Исходные данные: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Присвоение объекту одной или нескольких категорий» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
173Иерархическая классификация по многоуровневому справочнику. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: результат «Иерархическая классификация по многоуровневому справочнику» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
174Классификация при наличии очень малого числа примеров. — Для этой задачи система извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Рабочие входы: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: результат «Классификация при наличии очень малого числа примеров» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
175Определение степени уверенности и передача сомнительных случаев человеку. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: установленное значение или вариант по задаче «Определение степени уверенности и передача сомнительных случаев человеку» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
176Приоритизация объектов по срочности, ценности или риску. — Механизм: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. Исходные данные: история исходов, признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: результат «Приоритизация объектов по срочности, ценности или риску» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
177Ранжирование кандидатов по множеству критериев. — AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. К исходным данным относятся эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Ранжирование кандидатов по множеству критериев» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
178Сопоставление двух объектов на совместимость. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: карта соответствий и различий для «Сопоставление двух объектов на совместимость», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
179Многостороннее сопоставление участников, ресурсов и ограничений. — Практическая реализация: AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Входной контекст включает критерии приоритета, объекты, признаки и эталонные категории. Формат результата: карта соответствий и различий для «Многостороннее сопоставление участников, ресурсов и ограничений», где элементы приведены к единым критериям и связаны с первичными данными. Ошибки выявляют экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
180Поиск наиболее близкого аналога или прецедента. — Механизм: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Исходные данные: объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: ранжированный список кандидатов по задаче «Поиск наиболее близкого аналога или прецедента» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
181Выявление принадлежности записей одному реальному объекту. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. К исходным данным относятся признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление принадлежности записей одному реальному объекту», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
182Определение сходства и различий между сложными объектами. — Для этой задачи система последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Рабочие входы: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: установленное значение или вариант по задаче «Определение сходства и различий между сложными объектами» с оценкой уверенности и основаниями решения. Критерии приёмки: по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
183Автоматическое назначение очереди, команды или исполнителя. — Практическая реализация: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: решает комбинаторную задачу с ограничениями и пересчитывает план при сбоях. Входной контекст включает список работ или точек, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: конкретный результат по задаче «Автоматическое назначение очереди, команды или исполнителя» с исходными данными, промежуточными основаниями и возможностью проверки. Ошибки выявляют сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
184Выделение пограничных случаев, не подходящих ни к одной известной категории. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: структурированные данные, полученные в рамках «Выделение пограничных случаев, не подходящих ни к одной известной категории», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
185Калибровка баллов модели в интерпретируемые вероятности. — AI замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. К исходным данным относятся история исходов, объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: управляющее решение для «Калибровка баллов модели в интерпретируемые вероятности» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Надёжность оценивают в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
186Объяснение факторов, повлиявших на классификацию или ранг. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: объяснимые выводы по задаче «Объяснение факторов, повлиявших на классификацию или ранг» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений. <a id="section-i-12"></a>

0 моделей