/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
3 991–4 020 из 13 467
fluid-ai
bert-multilingual-passage-reranking-msmarco

Карточка модели fluid-ai/bert-multilingual-passage-reranking-msmarco на Hugging Face совпадает с карточкой amber-tech/bert-multilingual-passage-reranking-msmarco, поэтому описание составлено по ней. amber-tech/bert-multilingual-passage-reranking-msmarco — мультиязычная модель ранжирования пассажей, дообученная на данных MS MARCO. Она принимает поисковый запрос и текстовый фрагмент, оценивает их соответствие и выдаёт оценку от −10 до 10; более высокое значение означает более релевантную пару. Модель построена на BERT с полносвязной сетью над вектором CLS размерности 768 и содержит 194,6 млн параметров. Модель предназначена для повторного ранжирования первых результатов поиска, например для повышения релевантности выдачи Elasticsearch. README заявляет поддержку более 100 языков, хотя обучение проводилось на англоязычных данных; автор также сообщает о хороших результатах на немецких запросах. Суммарный вход запроса и фрагмента ограничен 512 токенами, а указанное время обработки составляет около 300 мс на запрос на GPU. Модель доступна по лицензии Apache-2.0. Скорость может ограничивать её применение к большим наборам результатов; заявленные улучшения релевантности основаны на оценках автора и не гарантируют такой же эффект на других поисковых системах и данных.

2910авг. 2023ctx512
textapache-2.0hugging-face
ricardo-filho
bert-portuguese-cased-nli-assin-assin-2

ricardo-filho/bert-portuguese-cased-nli-assin-assin-2 — модель эмбеддингов предложений на базе BERT, опубликованная автором Ricardo Filho. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,1 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. Название указывает на обучение для португальского языка и задачу NLI с данными ASSIN и ASSIN 2; модель подходит для поиска похожих фраз и группировки текстов на португальском. Для использования доступны Sentence-Transformers и Transformers с соответствующим pooling. В README указана лицензия? Нет данных о лицензии, поэтому условия распространения по представленным сведениям определить нельзя.

1154март 2022ctx512
textembeddinghugging-face
swardiantara
bert-tiny-sst5-k1-adaptive-euclidean

Компактная модель Sentence Transformer, разработанная swardiantara на базе google/bert_uncased_L-2_H-128_A-2 и дообученная для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные эмбеддинги размерности 128, которые можно сравнивать по косинусному сходству и использовать для поиска и извлечения релевантных текстов. Модель построена на BERT с двумя слоями и использует усреднение токенных представлений; в метаданных указано 4,4 млн параметров. README задаёт максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Обучение проводилось на 42 730 парах текстов с OrdinalProxyContrastiveLoss. Модель принимает и выдаёт текстовые данные через векторные представления. Базовая модель англоязычная, и примеры обучающих данных также на английском. Подходит для семантического поиска и сравнения предложений, особенно в сценариях с ограниченными вычислительными ресурсами. README не указывает лицензию; перед использованием следует проверить условия в карточке репозитория. Короткое обучение и небольшая базовая архитектура могут ограничивать качество на задачах и языках, отличающихся от обучающих данных.

710июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-sst5-k3-adaptive-euclidean

Это компактная модель Sentence Transformers, дообученная автором swardiantara на базе google/bert_uncased_L-2_H-128_A-2 для получения векторных представлений предложений и абзацев. Архитектура включает двухслойный BERT с mean pooling; модель кодирует текст в плотные векторы размерностью 128, а сходство между ними можно оценивать косинусной мерой. В метаданных указаны 4,4 млн параметров и контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 128 токенов. Модель предназначена для поиска и сопоставления текстов по смыслу, включая retrieval. Обучение описано на 111 102 парах текстов с оценками сходства и различия; примеры и базовая модель указывают на английский язык. Она компактна и рассчитана на создание эмбеддингов, но карточка не приводит сравнительных оценок качества; практический лимит входа в указанной конфигурации — 128 токенов. Лицензия в предоставленных данных не указана.

780июнь 2026ctx512
textembeddinghugging-face
swardiantara
bert-tiny-sst5-k3-fixed-cosine

swardiantara/bert-tiny-sst5-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерности 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT и усредняющий pooling; модель содержит 4,4 млн параметров. Модель принимает текст и поддерживает последовательности длиной до 512 токенов по метаданным Hugging Face. В README указан предел 128 токенов, поэтому при использовании следует учитывать возможное расхождение конфигурации и карточки. Данные обучения содержат англоязычные текстовые пары; основное применение модели — поиск по смысловой близости и извлечение признаков. Лицензия в предоставленных данных не указана.

630июнь 2026ctx512
textembeddinghugging-face
m3hrdadfi
bert-zwnj-wnli-mean-tokens

m3hrdadfi/bert-zwnj-wnli-mean-tokens — модель эмбеддингов на базе BERT, опубликованная пользователем m3hrdadfi. Она предназначена для получения векторных представлений предложений и оценки их семантического сходства; применять её можно через Sentence-Transformers либо Transformers с подходящей операцией pooling поверх контекстных представлений токенов. В модели около 145,5 млн параметров, максимальная длина контекста — 512 токенов; доступен формат PyTorch. Модель подходит для построения поиска по смыслу, сопоставления похожих предложений и других сценариев, где нужны эмбеддинги текста. Метаданные указывают на BERT и возможности получения эмбеддингов; идентификатор модели и название mean-tokens также указывают на mean pooling. Лицензия в предоставленных данных не указана.

1010март 2022ctx512
textembeddinghugging-face
inrealm
bge-base-all-nli-triplet

inrealm/bge-base-all-nli-triplet — англоязычная модель Sentence Transformer, созданная дообучением BAAI/bge-small-en на наборе sentence-transformers/all-nli. Она использует архитектуру BERT с пулингом CLS-токена и нормализацией, преобразует предложения и абзацы в плотные эмбеддинги размерности 384; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Максимальная длина последовательности — 512 токенов. Для работы с ней используются Sentence Transformers и форматы текстовых эмбеддингов. Модель оптимизирована для английского языка и обучена на примерах отношений entailment из all-nli. Качество на других языках и задачах, отличающихся от семантического сопоставления, может быть ниже. Лицензия в предоставленных данных не указана.

970июнь 2024ctx512
textembeddinghugging-face
daniellgoncalves
bge-base-horizon-europe-matryoshka

BGE base Financial Matryoshka — англоязычная модель Sentence Transformer, разработанная на основе BAAI/bge-base-en-v1.5 и дообученная для создания эмбеддингов предложений и абзацев. Архитектура основана на BERT; модель содержит 136,7 млн параметров, формирует нормализованные плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска парафраз, кластеризации и классификации текстов. Обучение использовало MatryoshkaLoss и MultipleNegativesRankingLoss; README указывает на небольшой обучающий набор из 45 примеров. Модель принимает английский текст и выдаёт векторы эмбеддингов. Лицензия — Apache-2.0.

1040авг. 2024ctx512
textembeddingapache-2.0hugging-face
htdht
bge_m3_finetuned

htdht/bge_m3_finetuned — дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработанная автором репозитория htdht. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024 для семантического поиска и извлечения документов по запросу. Архитектура включает XLM-RoBERTa, CLS-пулинг и нормализацию; сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель обучалась на парах запрос–положительный документ с MultipleNegativesRankingLoss и рассчитана на текстовый поиск. Примеры обучающих данных и запросов в карточке преимущественно на вьетнамском языке, в том числе для поиска товарных описаний; результаты приведены для retrieval-оценки. Лицензия в предоставленных данных не указана.

130июль 2026ctx8.2K
textembeddinghugging-face
upskyy
bge-m3-korean

upskyy/bge-m3-korean — модель Sentence Transformers, дообученная разработчиком upskyy на базе BAAI/bge-m3 на наборах korsts и kornli. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для сравнения смысловой близости текстов; сходство оценивается косинусной мерой. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений, максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Основной целевой язык — корейский; метаданные также отмечают многоязычную поддержку. В README приведена оценка на sts-dev: корреляция Спирмена для косинусного сходства 0,8724. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не приведена.

35K66авг. 2024ctx8.2K
textembeddinghugging-face
seongil-dn
bge-m3-kor-retrieval-bs16-checkpoint-283

Модель seongil-dn/bge-m3-kor-retrieval-bs16-checkpoint-283 — дообученный Sentence Transformer на базе BAAI/bge-m3, опубликованный автором seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического поиска и сравнения текстов; также подходит для поиска перефразировок, кластеризации и классификации текста. В модели используется XLM-RoBERTa с пуллингом CLS-токена и нормализацией векторов; README указывает максимум 1024 токена на вход, а метаданные — нативный контекст до 8194 токенов. Для оценки сходства применяется косинусная близость. Модель принимает текст и возвращает векторные представления. Базовая BGE-M3 описана как многоязычная модель для поиска по текстам и документам; имя текущего чекпойнта указывает на корейскую retrieval-настройку, но явный перечень поддерживаемых языков для этого чекпойнта в карточке не приведён. В репозитории указана лицензия и условия использования не описаны в предоставленных данных, поэтому их нельзя уточнить.

650дек. 2024ctx8.2K
textembeddinghugging-face
Xenova
bge-reranker-base

Xenova/bge-reranker-base — модель переранжирования текстов, представляющая ONNX-версию BAAI/bge-reranker-base. Модель подготовлена для работы с библиотекой Transformers.js и предназначена для запуска в JavaScript-средах, включая сценарии, где требуется совместимость с WebML. Основное назначение модели — оценивать и ранжировать текстовые варианты, например результаты поиска или документы относительно запроса. В README указана поддержка задачи text-ranking и совместимость с Transformers.js; модель можно использовать через pipeline с типом text-classification. Архитектура, количество параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. К сильным сторонам относятся формат ONNX, интеграция с Transformers.js и возможность применения в веб-ориентированных сценариях. Ограничения и точные характеристики качества в предоставленных данных не описаны. Лицензия модели в README не указана.

15K5сент. 2023ctx514
texthugging-face
dragonkue
bge-reranker-v2-m3-ko

dragonkue/bge-reranker-v2-m3-ko — корейски оптимизированная версия многоязычного переранжировщика BAAI/bge-reranker-v2-m3, дообученная автором dragonkue. Это cross-encoder на архитектуре XLM-RoBERTa с примерно 659 млн параметров: модель принимает пару «запрос — фрагмент документа» и выдаёт оценку их релевантности, которую можно преобразовать в значение от 0 до 1 с помощью sigmoid. Контекст составляет до 8194 токенов. Модель предназначена для переупорядочивания результатов семантического поиска и повышения точности поиска по корейским текстам, в том числе в RAG-сценариях. README приводит результаты тестирования на корейском бенчмарке для финансового сектора, где базовый bge-reranker-v2-m3 показал высокие значения среди сравниваемых cross-encoder-моделей. Как и другие cross-encoder, она медленнее bi-encoder при обработке большого числа пар, поэтому обычно применяется для повторной оценки ограниченного набора кандидатов. Лицензия — Apache-2.0.

237K25окт. 2024ctx8.2K
textapache-2.0hugging-face
mlx-community
bge-small-en-v1.5-bf16

bge-small-en-v1.5-bf16 — англоязычная модель для создания векторных представлений предложений и текстов. Модель представлена сообществом mlx-community в формате BF16 и основана на bge-small-en-v1.5; исходная модель предназначена для задач feature extraction и sentence similarity. Модель подходит для семантического поиска, сопоставления похожих текстов, классификации, кластеризации, retrieval и reranking, а также для построения систем поиска дубликатов и оценки семантической близости. В README приведены результаты тестирования на наборах MTEB для классификации, поиска, кластеризации, переранжирования и оценки текстовой близости, включая Amazon, ArguAna, AskUbuntu, Banking77 и BIOSSES. Поддерживаемый язык — английский. Сведения о точном размере модели, архитектуре, размерности эмбеддингов и максимальной длине контекста в предоставленных данных отсутствуют. Модель ориентирована на эффективное получение эмбеддингов, однако её качество и применимость следует оценивать на данных конкретного проекта; переносимость на другие языки не подтверждена. Лицензия — MIT.

6712апр. 2025ctx512
textembeddingmithugging-face
jebish7
bge-small-en-v1.5_MNSR_3

jebish7/bge-small-en-v1.5_MNSR_3 — дообученная автором карточки модель Sentence Transformers на базе BAAI/bge-small-en-v1.5. Она преобразует предложения и абзацы на английском языке в плотные эмбеддинги размерности 384; архитектура включает BERT, пулинг CLS-токена и нормализацию. Модель рассчитана на семантическое сравнение текстов по косинусному сходству, семантический поиск, поиск перефразировок, кластеризацию и классификацию текстов. Максимальная длина входа — 512 токенов. В обучении использован CSV-датасет из 29 545 пар «запрос — релевантный фрагмент»; приведённые примеры относятся к финансовому регулированию ADGM, но карточка не подтверждает более широкую специализацию на этой области. Компактный размер в 40 млн параметров подходит для построения поиска и сравнения англоязычных текстов. Лицензия в предоставленных данных не указана.

1090нояб. 2024ctx512
textembeddinghugging-face
teven
bi_all_bs192_hardneg_finetuned_WebNLG2020_relevance

teven/bi_all_bs192_hardneg_finetuned_WebNLG2020_relevance — модель эмбеддингов предложений на базе MPNet, созданная для оценки семантической близости. Она преобразует предложения и абзацы в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сопоставления текстов. В метаданных указано 136,7 млн параметров, контекст — до 514 токенов; модель использует PyTorch и интерфейс Sentence Transformers. Модель обучена с CosineSimilarityLoss на данных, связанных с WebNLG2020; название также указывает на обучение с hard negatives. Она принимает текст и выдаёт векторы, которые можно использовать для ранжирования или поиска похожих фрагментов. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

870сент. 2022ctx514
textembeddinghugging-face
teven
bi_all-mpnet-base-v2_finetuned_WebNLG2020_data_coverage

teven выпустил дообученную модель Sentence Transformers на базе all-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. По названию репозитория модель дообучена на данных WebNLG 2020 для задачи покрытия данных; в карточке указан MPNet с 136,7 млн параметров и контекстом до 514 токенов. Модель принимает текст и возвращает векторные представления, пригодные для поиска похожих фрагментов и группировки текстов. В README приведён вариант применения через библиотеку Sentence Transformers. Лицензия и конкретные языки обучения в предоставленных данных не указаны.

630сент. 2022ctx514
textembeddinghugging-face
peter2000
bmz_topics_

peter2000/bmz_topics — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, опубликованная автором peter2000. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. В репозитории указаны PyTorch и использование через Sentence-Transformers либо Transformers с подходящей операцией pooling; объём модели — около 305,2 млн параметров, контекст — 514 токенов. Модель обучалась с BatchHardTripletLoss. Карточка не уточняет целевые языки, обучающие данные и лицензию, поэтому пригодность для конкретного языка или домена следует проверять на собственных данных.

911сент. 2022ctx514
textembeddinghugging-face
tardellirs
brazembed-pt-br-sts

brazembed-pt-br-sts — компонент системы BrazEmbed-PT-BR от tardellirs, предназначенный для вычисления семантического сходства предложений на бразильском португальском. Это дообученная модель SentenceTransformer на базе BERTimbau Base с архитектурой BERT; её размер составляет 136,1 млн параметров, а контекст ограничен 512 токенами. Модель формирует эмбеддинги с mean pooling и L2-нормализацией, без префикса инструкции. Модель подходит для оценки близости предложений, поиска семантически похожих текстов и ранжирования кандидатов по сходству. В README для системы BrazEmbed-PT-BR приведён результат MTEB(por) mean_16 0,6567 и заявлено первое место в классе моделей около 100 млн параметров; это системный показатель, а не отдельная оценка данного компонента. Распространяется по лицензии MIT.

1220июнь 2026ctx512
textembeddingmithugging-face
cheongmyeong17
Contrastive-Embedding-v2

Contrastive-Embedding-v2 — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем cheongmyeong17. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Модель обучалась с ContrastiveLoss и косинусной метрикой расстояния; для работы можно использовать Sentence-Transformers или Transformers с соответствующей операцией pooling. Модель содержит 144 млн параметров, принимает текстовые входы, а её контекст ограничен 512 токенами. В карточке не указаны конкретные языки, область специализации или лицензия, поэтому эти характеристики нельзя уточнить. Эмбеддинги подходят для построения поиска и группировки текстов, но качество на конкретном языке и предметной области следует проверять отдельно.

940авг. 2023ctx512
textembeddinghugging-face
teven
cross_all_bs320_vanilla_finetuned_WebNLG2020_metric_average

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_metric_average — модель эмбеддингов предложений на архитектуре MPNet, опубликованная на Hugging Face в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768; модель содержит 136,7 млн параметров и рассчитана на входную последовательность до 514 токенов. Модель подходит для семантического поиска и кластеризации текстов. Её можно использовать через библиотеку Sentence Transformers или через Transformers с подходящей операцией pooling. По названию репозитория модель дообучена на WebNLG 2020, однако README не уточняет точную схему обучения. Карточка не сообщает поддерживаемые естественные языки и лицензию, поэтому их нельзя надёжно указать.

920сент. 2022ctx514
textembeddinghugging-face
antoinelouis
crossencoder-mMiniLMv2-L12-mmarcoFR

crossencoder-mMiniLMv2-L12-mmarcoFR — французский cross-encoder, разработанный Antoine Louis. Он оценивает релевантность пары «запрос — фрагмент текста», совместно обрабатывая оба текста и выдавая оценку от 0 до 1. Модель предназначена для повторного ранжирования результатов семантического поиска после первичного отбора, например BM25 или плотным би-энкодером. Модель основана на дистиллированной многоязычной XLM-RoBERTa mMiniLMv2-L12-H384 и дообучена на французских данных mMARCO с трудными негативными примерами. В репозитории указано 124,3 млн параметров; максимальная длина входа по метаданным — 514 токенов, а в описании обучения для склеенной пары использовалось ограничение в 256 токенов. Поддерживается французский язык; для инференса указана библиотека Sentence-Transformers. Модель подходит для сортировки найденных фрагментов по релевантности, но сама не выполняет первичный поиск и не генерирует ответы. Обучение и оценка проводились на данных mMARCO-fr; результаты могут зависеть от домена, качества первичного поиска и длины текстовых пар. Лицензия — MIT.

9901сент. 2023ctx514
textmithugging-face
T-Systems-onsite
cross-en-de-roberta-sentence-transformer

T-Systems-onsite выпустила модель на основе XLM-RoBERTa для получения векторных представлений предложений на английском и немецком языках. Модель дообучена для сравнения семантической близости предложений, в том числе между языками: тексты на английском и немецком с похожим смыслом отображаются в близкие векторы. Репозиторий содержит версии весов для PyTorch, Safetensors и TensorFlow; общее число параметров — 305,2 млн, контекст — до 514 токенов. Модель предназначена для семантического поиска, оценки текстового сходства и поиска перефразирований. Её можно использовать, например, чтобы искать немецкие документы по английскому запросу или сравнивать предложения по косинусному сходству. Для работы авторы рекомендуют библиотеку Sentence Transformers. Модель дообучена на англо-немецких данных STSbenchmark с дополнительными парами предложений между языками; карточка приводит результаты оценки на английском, немецком и их межъязыковых парах. Лицензия — MIT. Модель выдаёт эмбеддинги, а не готовые текстовые ответы; качество поиска зависит от корпуса и настроек сравнения. Карточка описывает её применение прежде всего для английского и немецкого языков, поэтому не следует считать заявленное межъязыковое качество универсальным для других языковых пар.

18K71март 2022ctx514
textembeddingmithugging-face
nnudee
Curtain_Recommendation

Curtain_Recommendation — модель эмбеддингов на базе XLM-RoBERTa, опубликованная пользователем nnudee. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на получение представлений, подходящих для поиска и ранжирования похожих текстов. Модель предназначена для семантического поиска, группировки текстов и рекомендаций по сходству между предложениями или абзацами. Репозиторий содержит веса в формате safetensors; размер модели — около 305,2 млн параметров, максимальный контекст — 514 токенов. Для использования подходит Sentence-Transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

1130нояб. 2024ctx514
textembeddinghugging-face
davidoneil
decisoes-processos-tce-ft-gemma

davidoneil/decisoes-processos-tce-ft-gemma — модель Sentence Transformer, созданная дообучением google/embeddinggemma-300m на 49 816 обучающих примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска и сопоставления текстов, а также может применяться для поиска перефразирований, классификации и кластеризации. Модель принимает текст длиной до 2048 токенов и выдаёт эмбеддинги. В карточке приведены примеры обучающих данных с длинными текстами, но их тематика и поддерживаемые языки не определены, поэтому специализацию по области или языку установить нельзя. Репозиторий использует библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных сведениях не указана.

1040сент. 2025ctx2K
textembeddinghugging-face
drewgenai
demo-compare-arctic-embed-m-ft

drewgenai создал Sentence Transformers-модель, дообученную на базе Snowflake/snowflake-arctic-embed-m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения текстов и извлечения информации. Модель использует архитектуру BERT с CLS-пулингом и нормализацией векторов; сходство оценивается по косинусной мере. Максимальная длина входной последовательности — 512 токенов. Модель подходит для поиска релевантных документов по запросу, выявления перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Карточка описывает всего 8 обучающих примеров, поэтому приведённые высокие значения метрик следует трактовать осторожно: они не подтверждают качество на широком наборе данных. В метаданных указана англоязычная базовая модель. Лицензия в предоставленных данных не указана.

1180февр. 2025ctx512
textembeddinghugging-face
infgrad
dewey_en_beta

Dewey EN Beta — англоязычная модель эмбеддингов от NovaSearch Team, разработанная совместно с Richinfo на базе answerdotai/ModernBERT-large. Это дообученный двунаправленный энкодер ModernBERT с 394,7 млн параметров; веса опубликованы в формате safetensors, лицензия — MIT. Модель принимает английский текст и строит векторные представления для поиска и сравнения текстов. Контекстное окно достигает 131 072 токенов. Модель поддерживает представление одним вектором и набором векторов по смысловым фрагментам; для поиска документов запрос кодируют одним вектором, а релевантность документа определяют по максимальному сходству с его векторами фрагментов. В README рекомендовано добавлять специальные промпты для поиска, семантического сходства, классификации и кластеризации. Авторы заявляют о сильных результатах на коротких и длинных англоязычных тестах, однако эти оценки приведены в карточке модели и не являются независимой гарантией качества. Модель подходит для семантического поиска по длинным документам, сходства предложений, кластеризации и классификации текстов. Авторы называют её альфа- или бета-версией и отмечают, что на коротких текстах она может уступать специализированным моделям эмбеддингов; поддерживается только английский язык.

16219март 2025ctx131.1K
textembeddingmithugging-face
diwank
dfe-base-en-1

diwank/dfe-base-en-1 — модель на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1536 для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена с использованием TripletLoss с евклидовой метрикой расстояния. Она подходит для семантического поиска и кластеризации текстовых фрагментов. Суффикс en в названии указывает на английскую ориентацию; карточка не перечисляет поддерживаемые языки явно. Доступна в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

740окт. 2023ctx512
textembeddinghugging-face
KennethEnevoldsen
dfm-sentence-encoder-large-exp1

KennethEnevoldsen/dfm-sentence-encoder-large-exp1 — модель на базе BERT, упакованная для работы с Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 453,9 млн параметров и принимает последовательности длиной до 512 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель предназначена для получения текстовых эмбеддингов; README не приводит результаты бенчмарков или конкретные поддерживаемые языки. Доступна в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

1010нояб. 2023ctx512
textembeddinghugging-face
KennethEnevoldsen
dfm-sentence-encoder-medium

Kenneth Enevoldsen разработал dfm-sentence-encoder-medium — модель на базе XLM-RoBERTa, которая преобразует предложения и абзацы в плотные векторы размерностью 768. Модель содержит 151,7 млн параметров и рассчитана на контекст длиной до 514 токенов. Векторы подходят для поиска семантически близких текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусным сходством; для работы доступны Sentence-Transformers и Hugging Face Transformers с необходимой операцией pooling. Лицензия — MIT. Модель создаёт текстовые эмбеддинги, а не готовые ответы. README не уточняет, на каких языках она обучалась, поэтому языковую поддержку нельзя определить по имеющимся данным.

1510июль 2023ctx514
textembeddingmithugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей