/ Профессии
Универсальные способности и операции

I.11Классификация, ранжирование и сопоставление

В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
15
в этой профессии
Подходящих моделей
26 736
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

26 736 моделей
Загрузки
Лайки
Дата выхода
1 681–1 710 из 26 736
swardiantara
bert-tiny-yelp-k3-fixed-cosine

swardiantara/bert-tiny-yelp-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная автором на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерностью 128 и предназначена для поиска по смыслу, извлечения текстовых признаков и сравнения текстов по косинусному сходству. Архитектура состоит из BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров и работает с текстом. В README указана максимальная длина последовательности 128 токенов, тогда как метаданные сообщают контекст до 512 токенов; для практического использования следует учитывать ограничение конфигурации модели и проверять фактическую длину входа. Карточка описывает обучающий набор из 585 120 примеров с парами текстов и оценками. Модель подходит для поиска похожих отзывов и ранжирования текстов по семантической близости. Лицензия в предоставленных данных не указана.

630июнь 2026ctx512
textembeddinghugging-face
Nhat1904
best-32-shot-model

Nhat1904/best-32-shot-model — модель Sentence Transformers на архитектуре MPNet, обученная для получения плотных 768-мерных векторов предложений и абзацев. В карточке указано обучение с CosineSimilarityLoss; размер модели — 136,7 млн параметров, максимальная длина контекста — 514 токенов. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать через библиотеку Sentence-Transformers или Transformers с соответствующей операцией pooling. В репозитории указаны веса PyTorch. В карточке не названы языки обучения и лицензия, поэтому их условия и языковую специализацию по имеющимся данным определить нельзя.

600дек. 2022ctx514
textembeddinghugging-face
emersoftware
beto-mlm-bcn-mnrl-msmarco-es-v2

emersoftware/beto-mlm-bcn-mnrl-msmarco-es-v2 — модель Sentence-Transformers на архитектуре BERT с 137,1 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; в карточке также заявлена поддержка извлечения признаков и сходства предложений. Максимальный контекст — 512 токенов. Модель рассчитана на работу с испанскими текстами, о чём говорит её идентификатор, связанный с BETO и MS MARCO на испанском языке. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

580февр. 2024ctx512
textembeddinghugging-face
plaguss
bge-base-argilla-sdk-matryoshka

BGE base ArgillaSDK Matryoshka — англоязычная модель Sentence Transformers, дообученная разработчиками модели на базе BAAI/bge-base-en-v1.5 для получения плотных эмбеддингов предложений и абзацев. Модель построена на BERT, использует пулинг CLS-токена и нормализацию векторов; размерность представления составляет 768, а сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучение на 882 примерах с MatryoshkaLoss и TripletLoss позволяет использовать укороченные представления размером 512, 256, 128 или 64 измерения наряду с полными 768-мерными эмбеддингами. Максимальная длина входной последовательности — 512 токенов. Модель работает с английским текстом; лицензия — Apache-2.0.

795июнь 2024ctx512
textembeddingapache-2.0hugging-face
abhimazu
bge-base-en-v1.5-fin

abhimazu/bge-base-en-v1.5-fin — дообученная модель Sentence Transformers на базе BAAI/bge-base-en-v1.5, созданная автором репозитория на наборе marvelousjaguar_embedding. Это плотная BERT-модель с 136,7 млн параметров: она преобразует предложения и абзацы в нормализованные векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель ориентирована на английский язык. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. В данных обучения 455 пар «запрос — релевантный текст», поэтому качество на других тематиках и типах запросов может отличаться; модель не генерирует текст и рассчитана на получение эмбеддингов. Лицензия в предоставленных данных не указана.

1200июнь 2025ctx512
textembeddinghugging-face
Suva
bge-base-finetune-v2

Suva/bge-base-finetune-v2 — модель эмбеддингов предложений и абзацев на базе архитектуры BERT, опубликованная в формате Sentence-Transformers. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска, сравнения смысловой близости и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства; размер модели — 136,7 млн параметров, контекст — до 512 токенов. Модель предназначена для систем поиска по смыслу, группировки текстов и вычисления сходства между фрагментами. README не указывает языки обучения или датасеты, поэтому языковую специализацию определить нельзя. Модель опубликована в форматах PyTorch и Safetensors; сведения о лицензии в доступных данных отсутствуют.

1180янв. 2024ctx512
textembeddinghugging-face
RedHatAI
bge-large-en-v1.5-quant

RedHatAI/bge-large-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-Large-en-v1.5 от BAAI, подготовленная Red Hat AI. Модель основана на архитектуре BERT и распространяется в формате ONNX с квантованием INT8; для запуска README рекомендует DeepSparseSentenceTransformers, а ускорение inference обеспечивается DeepSparse. Модель преобразует английский текст в векторные представления для семантического поиска, сопоставления текстов и построения retrieval-систем. Контекст ограничен 512 токенами. По README, ускорение на 10-ядерном ноутбуке достигает 4,8 раза, а на 16-ядерном AWS-инстансе — 3,5 раза; эти показатели относятся к указанным конфигурациям. Модель выпущена под лицензией MIT. Квантование INT8 и формат ONNX ориентированы на более эффективный inference; поддерживаемый язык — английский.

10022окт. 2023ctx512
textembeddingmithugging-face
BAAI
bge-large-zh-noinstruct

BAAI/bge-large-zh-noinstruct — плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в векторы для семантического поиска, извлечения релевантных документов, кластеризации и классификации; эмбеддинги также можно использовать в векторных базах данных для систем с генерацией с дополнением по поиску. Архитектура модели основана на BERT, содержит 424,3 млн параметров и обрабатывает последовательности длиной до 512 токенов. Карточка указывает китайский язык и формат PyTorch. Модель предназначена для получения векторов текста и сравнения их относительной близости. README предупреждает, что у этой версии распределение оценок сходства менее удобно: высокий абсолютный балл сам по себе не означает, что тексты похожи. Для новых проектов авторы рекомендуют BAAI/bge-large-zh-v1.5, который улучшает распределение сходства и поиск без инструкций. Модель распространяется по лицензии MIT. Для пороговой фильтрации сходства порог следует подбирать на собственных данных; для поиска по коротким запросам и длинным документам инструкция для запроса может улучшить результат.

14511авг. 2023ctx512
textembeddingmithugging-face
jackhsuster
bge-large-zh-v1.5

Карточка модели jackhsuster/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

1030май 2026ctx512
textembeddingmithugging-face
ryanx0019
bge-large-zh-v1.5

Карточка модели ryanx0019/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

1010июнь 2026ctx512
textembeddingmithugging-face
Shitao
bge-m3

Shitao/bge-m3 — модель для получения векторных представлений предложений и абзацев на основе архитектуры XLM-RoBERTa. Она преобразует текст в плотные эмбеддинги размерности 1024, пригодные для семантического поиска и кластеризации. Размер модели — 658,7 млн параметров, контекст — до 8194 токенов. В карточке также указаны задачи извлечения признаков и сравнения семантического сходства. Лицензия в предоставленных данных не указана.

4325янв. 2024ctx8.2K
textembeddinghugging-face
seongil-dn
bge-m3-3800_steps_v2_24-144_mixed

seongil-dn/bge-m3-3800_steps_v2_24-144_mixed — модель Sentence Transformer на архитектуре XLM-RoBERTa, разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов и сравнения их сходства. В README также заявлены поиск перефразировок, классификация текста и кластеризация как сценарии применения. Модель принимает текстовые последовательности длиной до 8192 токенов, использует CLS-пулинг и нормализацию векторов; для оценки сходства рекомендована косинусная мера. Веса опубликованы в формате safetensors, использовать их можно через библиотеку Sentence Transformers. Языки и условия лицензии в предоставленных данных не указаны.

1240март 2025ctx8.2K
textembeddinghugging-face
binh230
bge-m3-finetuned-2

Binh230/bge-m3-finetuned-2 — модель Sentence Transformers на базе XLM-RoBERTa, дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует текст в векторы размерностью 1024 и предназначена для семантического поиска, сравнения сходства, поиска перефразирований, кластеризации и классификации текстов. Модель поддерживает последовательности до 8192 токенов; сходство векторов оценивается косинусной мерой. Для обучения использовано 68 042 парных примера, а архитектура включает трансформер, pooling по CLS-токену и нормализацию векторов. В примерах обучающих данных есть вьетнамские вопросы и фрагменты нормативных документов, поэтому модель подходит для поиска и сопоставления вьетнамских текстов. Лицензия в предоставленных данных не указана.

970дек. 2024ctx8.2K
textembeddinghugging-face
lm-kit
bge-m3-gguf

lm-kit/bge-m3-gguf — репозиторий с квантизированными версиями embedding-модели BGE-M3, базовая модель которой опубликована BAAI. Модель предназначена для получения векторных представлений текста и связанных задач поиска и семантического сопоставления. Формат распространения — GGUF, что позволяет использовать модель в совместимых инструментах и приложениях. Квантизация выполнена с помощью LM-Kit.NET версии 2024.9.0, а конвертация — посредством llama.cpp с указанной ревизией. README не содержит сведений о размере модели, архитектуре, поддерживаемых языках, длине контекста, модальностях и конкретных вариантах квантования, поэтому эти характеристики нельзя достоверно уточнить. Лицензия — MIT.

11K14сент. 2024
textmithugging-face
juyoungml
bge-m3-ko-v1.1

juyoungml разработал эту модель Sentence Transformers как дообучение BAAI/bge-m3 на корейском наборе ko-triplet-v1.0. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализует их и предназначена для сравнения по косинусному сходству, семантического поиска и поиска перефразировок. Также в README указаны кластеризация и классификация текстов как возможные сценарии применения. Модель основана на XLM-RoBERTa и принимает текст длиной до 8192 токенов. Она ориентирована на корейский язык; репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана. README сообщает точность cosine_accuracy 0,99 на TripletEvaluator, однако это значение относится к указанной оценке и не гарантирует такое качество на других данных.

690дек. 2024ctx8.2K
textembeddinghugging-face
mlx-community
bge-m3-mlx-fp16

mlx-community преобразовала BAAI/bge-m3 в формат MLX с точностью FP16 для инференса на компьютерах Apple Silicon. Это модель эмбеддингов на архитектуре XLM-RoBERTa с 658,7 млн параметров, размерностью векторов 1024 и контекстом до 8194 токенов. Она поддерживает плотный, разреженный и многовекторный поиск, включая подход ColBERT, и подходит для семантического и гибридного поиска по многоязычным текстам и документам. Модель рассчитана на создание векторных представлений для поиска, сопоставления и ранжирования текстов; карточка описывает генерацию эмбеддингов с помощью MLX, а также совместимость с oMLX embedding endpoint. Указаны английский, китайский, немецкий, испанский, французский, итальянский, японский, корейский, португальский и русский языки. Конверсия неофициальная; лицензия — MIT. README подтверждает формат FP16 и назначение для Apple Silicon, а метаданные перечисляют safetensors как формат файлов.

4.1K4март 2026ctx8.2K
textembeddingmithugging-face
newmindai
bge-m3-stsb

newmindai выпустила модель семантического сходства турецких предложений, дообученную на базе BAAI/bge-m3 на турецком наборе STS-B. Это Sentence Transformers на архитектуре XLM-RoBERTa с 658,7 млн параметров; модель кодирует текст в эмбеддинги и предназначена для оценки сходства пар предложений. В README указаны корреляции Спирмена 0,8629 и Пирсона 0,8575 на оценке STS-B. Модель подходит для поиска похожих предложений, сопоставления вопросов с ответами, поиска перефразирований и группировки турецких текстов. Метаданные указывают контекст до 8194 токенов, тогда как README сообщает ограничение последовательности в 1024 токена; фактический рабочий предел может зависеть от конфигурации загрузки. Поддержка языка в карточке отмечена для турецкого. Лицензия — Apache-2.0.

1783янв. 2026ctx8.2K
textembeddingapache-2.0hugging-face
BorisTM
bge-m3-unsupervised_en_ru

BorisTM/bge-m3-unsupervised_en_ru — уменьшенная по словарю версия модели BAAI/bge-m3-unsupervised, предназначенная для создания эмбеддингов английских и русских текстов и сравнения предложений. Разработчик оставил в словаре токены только для английского и русского языков: размер словаря составляет 21% от исходного, а число параметров — 63,3% от исходного. В репозитории указано 449,9 млн параметров; архитектура основана на XLM-RoBERTa, максимальная длина контекста — 8194 токена. Модель подходит для семантического поиска, сопоставления предложений и построения векторных представлений текстов на английском и русском языках. В README заявлено, что сокращение словаря не снизило качество эмбеддингов для этих языков. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

1011июнь 2024ctx8.2K
textembeddinghugging-face
SmartComponents
bge-micro-v2

bge-micro-v2 — компактная модель эмбеддингов предложений семейства BERT, опубликованная SmartComponents. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 18,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и ONNX. Это дистиллированная модель: двухэтапное обучение началось с bge-micro и опиралось на BAAI/bge-small-en-v1.5. Модель предназначена для построения векторного поиска и группировки текстов; README описывает применение через Sentence-Transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не названа, поэтому условия её использования здесь определить нельзя.

2944февр. 2024ctx512
textembeddinghugging-face
mostafamhmdi
bge-persian

mostafamhmdi/bge-persian — модель Sentence Transformer, дообученная автором на базе BAAI/bge-m3 для сравнения семантической близости персидских предложений и абзацев. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией, выдаёт плотные векторы размерностью 1024 и сравнивает их косинусным сходством. Максимальная длина последовательности составляет 8192 токена, число параметров — около 658,7 млн. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе из 10 963 пар предложений с оценками сходства и функцией CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

770авг. 2026ctx8.2K
textembeddinghugging-face
Amanda
bge_portuguese_v4

Amanda/bge_portuguese_v4 — модель Sentence Transformer на архитектуре XLM-RoBERTa, обученная для преобразования предложений и абзацев в плотные эмбеддинги размерности 1024. В карточке не указано, кто именно обучил модель. Она использует CLS-пулинг и нормализацию векторов, а сходство текстов можно оценивать косинусным сходством; максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Репозиторий содержит веса в формате safetensors; для работы используется библиотека Sentence Transformers. По названию модель ориентирована на португальский язык. Лицензия в доступных данных не указана.

620авг. 2024ctx8.2K
textembeddinghugging-face
Xenova
bge-reranker-base

Xenova/bge-reranker-base — модель переранжирования текстов, представляющая ONNX-версию BAAI/bge-reranker-base. Модель подготовлена для работы с библиотекой Transformers.js и предназначена для запуска в JavaScript-средах, включая сценарии, где требуется совместимость с WebML. Основное назначение модели — оценивать и ранжировать текстовые варианты, например результаты поиска или документы относительно запроса. В README указана поддержка задачи text-ranking и совместимость с Transformers.js; модель можно использовать через pipeline с типом text-classification. Архитектура, количество параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. К сильным сторонам относятся формат ONNX, интеграция с Transformers.js и возможность применения в веб-ориентированных сценариях. Ограничения и точные характеристики качества в предоставленных данных не описаны. Лицензия модели в README не указана.

15K5сент. 2023ctx514
texthugging-face
Geofront
BGE-Reranker-v2-M3-GGUF

Geofront/BGE-Reranker-v2-M3-GGUF — это GGUF-версия мультиязычной модели переранжирования BAAI/bge-reranker-v2-m3, разработанной командой BAAI и проекта FlagEmbedding. Модель принимает пару «запрос — документ» и непосредственно вычисляет показатель их релевантности, поэтому предназначена для переранжирования результатов поиска, семантического поиска, retrieval-augmented generation и других сценариев, где требуется уточнить порядок найденных текстов. Модель основана на bge-m3 и поддерживает мультиязычные входные данные; при этом README не указывает точный размер модели, архитектуру в терминах числа параметров, максимальную длину контекста и конкретный перечень языков. Значения релевантности можно преобразовать в диапазон от 0 до 1 с помощью sigmoid. К сильным сторонам относятся мультиязычность, сравнительно быстрая инференс-работа и удобство развёртывания. Ограничение состоит в том, что модель оценивает пары запроса и документа, а не создаёт эмбеддинги, поэтому для первичного поиска обычно требуется отдельная embedding-модель. Лицензия — Apache-2.0.

2621апр. 2026
textembeddingapache-2.0hugging-face
SMARTICT
bge-small-en-v1.5-tr-rag-v1

SMARTICT/bge-small-en-v1.5-tr-rag-v1 — англоязычная модель Sentence Transformers от SMARTICT, дообученная на базе BAAI/bge-small-en-v1.5 для семантического поиска и сравнения текстов. Она кодирует предложения и абзацы в плотные эмбеддинги размерности 384; архитектура включает BERT, пулинг по CLS-токену и нормализацию. Максимальная длина входа — 512 токенов, для сравнения используется косинусное сходство. Обучение проводилось на 8 970 парах anchor-positive с MultipleNegativesRankingLoss. Модель подходит для поиска фрагментов по запросу, оценки семантической близости, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки поиска на наборе dim_384, включая cosine_accuracy@1 0,6088 и @5 0,7172. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык; качество на других языках не подтверждено, а входы длиннее 512 токенов ограничены максимальной длиной последовательности.

1041нояб. 2024ctx512
textembeddingapache-2.0hugging-face
rajatrc1705
bge-small-matryoshka-fine-tuned

Rajatrc1705 дообучил англоязычную модель эмбеддингов BAAI/bge-small-en на датасете sentence-transformers/hotpotqa. Это Sentence Transformer на архитектуре BERT с 40 млн параметров, который преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения текстов используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также может использоваться для поиска перефразировок, кластеризации и классификации текстов. Обучение на HotpotQA ориентирует её на сопоставление вопросов с релевантными фрагментами текста. Доступны варианты представления размерностью 256, 128 и 64 с близкими результатами в приведённых в карточке тестах TripletEvaluator. Модель принимает текст и выдаёт векторы признаков. Она рассчитана на английский язык и не заявлена как мультиязычная. Распространяется по лицензии Apache-2.0.

940авг. 2024ctx512
textembeddingapache-2.0hugging-face
teven
bi_all_bs160_allneg_finetuned_WebNLG2017

teven/bi_all_bs160_allneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная как Sentence Transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска и кластеризации текстов, а также для оценки сходства предложений. Модель содержит 136,7 млн параметров и принимает текстовые входы длиной до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017; название репозитория также указывает на пакетный размер 160 и обучение с негативными примерами. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

910сент. 2022ctx514
textembeddinghugging-face
teven
bi_all_bs192_hardneg_finetuned_WebNLG2017

teven/bi_all_bs192_hardneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная teven и опубликованная в формате PyTorch для получения плотных векторных представлений предложений и абзацев. Она содержит 136,7 млн параметров, выдаёт эмбеддинги размерности 768 и рассчитана на контекст до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017. Её можно применять для семантического поиска, сравнения сходства предложений и кластеризации текстов. README предлагает использовать библиотеку Sentence Transformers. Лицензия и перечень поддерживаемых естественных языков в предоставленных данных не указаны.

880сент. 2022ctx514
textembeddinghugging-face
teven
bi_all-mpnet-base-v2_finetuned_WebNLG2020_data_coverage

teven выпустил дообученную модель Sentence Transformers на базе all-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. По названию репозитория модель дообучена на данных WebNLG 2020 для задачи покрытия данных; в карточке указан MPNet с 136,7 млн параметров и контекстом до 514 токенов. Модель принимает текст и возвращает векторные представления, пригодные для поиска похожих фрагментов и группировки текстов. В README приведён вариант применения через библиотеку Sentence Transformers. Лицензия и конкретные языки обучения в предоставленных данных не указаны.

630сент. 2022ctx514
textembeddinghugging-face
oguuzhansahin
bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k

Модель oguuzhansahin/bi-encoder-mnrl-dbmdz-bert-base-turkish-cased-margin_3.0-msmarco-tr-10k — турецкая sentence-transformers-модель на базе BERT, дообученная как bi-encoder для сопоставления запросов и текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, ранжирования кандидатов по близости и кластеризации. Модель оценивали на 10 тысячах запросов из переведённого набора MSMARCO dev; в README приведены метрики поиска при разных настройках сходства. Число параметров — 137,8 млн, максимальная длина контекста — 512 токенов. Основное применение — поиск релевантных документов по запросу на турецком языке. Модель выдаёт эмбеддинги, а для получения результатов поиска их нужно сравнивать с эмбеддингами документов. Лицензия в предоставленных данных не указана.

80910дек. 2023ctx512
textembeddinghugging-face
Lajavaness
bilingual-embedding-small

bilingual-embedding-small — модель векторных представлений предложений от Lajavaness для французского и английского языков. Она дообучена на базе Multilingual-MiniLM-L12-H384 и использует архитектуру Sentence Transformers: MiniLM-кодировщик, усреднение токенных представлений и нормализацию. Модель содержит 124,3 млн параметров, кодирует предложения в 384-мерные векторы и принимает последовательности длиной до 512 токенов. Модель предназначена для сравнения смысловой близости предложений, семантического поиска и кластеризации текста на французском и английском. В обучении использовались SNLI, XNLI и STS Benchmark для обоих языков, а также аугментация обучающих пар. Доступна по лицензии Apache-2.0. Карточка не содержит результатов оценки качества, поэтому точность для конкретных задач по ней определить нельзя. Контекст ограничен 512 токенами; модель рассчитана на французский и английский языки.

7.7K9июль 2024ctx512
textembeddingapache-2.0hugging-face

Задачи профессии

15 задач
172Присвоение объекту одной или нескольких категорий. — Механизм: AI сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Исходные данные: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Присвоение объекту одной или нескольких категорий» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
173Иерархическая классификация по многоуровневому справочнику. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: результат «Иерархическая классификация по многоуровневому справочнику» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
174Классификация при наличии очень малого числа примеров. — Для этой задачи система извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Рабочие входы: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: результат «Классификация при наличии очень малого числа примеров» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
175Определение степени уверенности и передача сомнительных случаев человеку. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: установленное значение или вариант по задаче «Определение степени уверенности и передача сомнительных случаев человеку» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
176Приоритизация объектов по срочности, ценности или риску. — Механизм: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. Исходные данные: история исходов, признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: результат «Приоритизация объектов по срочности, ценности или риску» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Проверка: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
177Ранжирование кандидатов по множеству критериев. — AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. К исходным данным относятся эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: результат «Ранжирование кандидатов по множеству критериев» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
178Сопоставление двух объектов на совместимость. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: карта соответствий и различий для «Сопоставление двух объектов на совместимость», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
179Многостороннее сопоставление участников, ресурсов и ограничений. — Практическая реализация: AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. Входной контекст включает критерии приоритета, объекты, признаки и эталонные категории. Формат результата: карта соответствий и различий для «Многостороннее сопоставление участников, ресурсов и ограничений», где элементы приведены к единым критериям и связаны с первичными данными. Ошибки выявляют экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
180Поиск наиболее близкого аналога или прецедента. — Механизм: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Исходные данные: объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: ранжированный список кандидатов по задаче «Поиск наиболее близкого аналога или прецедента» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
181Выявление принадлежности записей одному реальному объекту. — AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. К исходным данным относятся признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: перечень объектов, событий или отклонений, относящихся к «Выявление принадлежности записей одному реальному объекту», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
182Определение сходства и различий между сложными объектами. — Для этой задачи система последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Рабочие входы: эталонные категории, пары для сопоставления, критерии приоритета и объекты. Формат результата: установленное значение или вариант по задаче «Определение сходства и различий между сложными объектами» с оценкой уверенности и основаниями решения. Критерии приёмки: по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
183Автоматическое назначение очереди, команды или исполнителя. — Практическая реализация: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: решает комбинаторную задачу с ограничениями и пересчитывает план при сбоях. Входной контекст включает список работ или точек, пары для сопоставления, критерии приоритета, объекты и признаки. Формат результата: конкретный результат по задаче «Автоматическое назначение очереди, команды или исполнителя» с исходными данными, промежуточными основаниями и возможностью проверки. Ошибки выявляют сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
184Выделение пограничных случаев, не подходящих ни к одной известной категории. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: критерии приоритета, объекты, признаки и эталонные категории. Формат результата: структурированные данные, полученные в рамках «Выделение пограничных случаев, не подходящих ни к одной известной категории», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
185Калибровка баллов модели в интерпретируемые вероятности. — AI замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: оценивает вероятность и тяжесть исхода отдельно, затем объединяет их в профиль риска. К исходным данным относятся история исходов, объекты, признаки, эталонные категории и пары для сопоставления. Формат результата: управляющее решение для «Калибровка баллов модели в интерпретируемые вероятности» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Надёжность оценивают в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений.
186Объяснение факторов, повлиявших на классификацию или ранг. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: признаки, эталонные категории, пары для сопоставления и критерии приоритета. Формат результата: объяснимые выводы по задаче «Объяснение факторов, повлиявших на классификацию или ранг» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; по размеченной выборке, матрице ошибок, качеству ранжирования и объяснимости спорных решений. <a id="section-i-12"></a>

0 моделей