/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
2 671–2 700 из 13 467
seongil-dn
bge-m3-kor-retrieval-bs16-checkpoint-849

Это модель Sentence Transformers, дообученная разработчиком карточки на базе BAAI/bge-m3. Она использует XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина последовательности в README — 1024 токена. Модель предназначена для семантического поиска и сравнения текстов; также её можно применять для поиска перефразирований, кластеризации и классификации текстов. Она выдаёт векторы признаков, которые можно использовать в системах поиска и ранжирования. Метаданные указывают поддержку многоязычных представлений через базовую BGE-M3, однако конкретные языки этой версии не перечислены. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

1170дек. 2024ctx8.2K
textembeddinghugging-face
hooman650
bge-m3-onnx-o4

hooman650/bge-m3-onnx-o4 — версия весов модели BAAI/bge-m3 в формате ONNX. Это многоязычная модель на архитектуре XLM-RoBERTa с 658,7 млн параметров и контекстом до 8194 токенов. Она предназначена для извлечения признаков текста и задач поиска: поддерживает плотные эмбеддинги, разреженное представление и многовекторный поиск; заявлена поддержка более 100 языков и документов длиной до 8192 токенов. Модель подходит для построения семантического и гибридного поиска, поиска по длинным документам и многоязычных систем извлечения информации. Репозиторий указывает, что веса нельзя загрузить напрямую через обычный онлайн-интерфейс, и описывает скачивание снимка репозитория. Поддержка многовекторного режима обозначена как планируемая. Лицензия — MIT.

10K11февр. 2024ctx8.2K
textembeddingmithugging-face
SmartComponents
bge-micro-v2

bge-micro-v2 — компактная модель эмбеддингов предложений семейства BERT, опубликованная SmartComponents. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 18,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и ONNX. Это дистиллированная модель: двухэтапное обучение началось с bge-micro и опиралось на BAAI/bge-small-en-v1.5. Модель предназначена для построения векторного поиска и группировки текстов; README описывает применение через Sentence-Transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не названа, поэтому условия её использования здесь определить нельзя.

2944февр. 2024ctx512
textembeddinghugging-face
elsayovita
bge-micro-v2-esg

BGE micro v2 ESG — компактная модель Sentence Transformers, дообученная на базе TaylorAI/bge-micro-v2 для представления английских предложений и абзацев в виде плотных векторов. В основе используется BERT с усреднением токенных представлений; модель содержит 18,8 млн параметров, выдаёт эмбеддинги размерности 384 и принимает последовательности длиной до 512 токенов. Для сравнения векторов предусмотрена косинусная мера сходства. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Обучение на парах контекстов и вопросов с MatryoshkaLoss позволяет использовать укороченные представления размерностью 256, 128, 64 или 32, хотя показатели поиска снижаются при уменьшении размерности. Поддерживается английский язык. Лицензия — Apache-2.0.

1030сент. 2024ctx512
textembeddingapache-2.0hugging-face
BAAI
bge-multilingual-gemma2

BAAI/bge-multilingual-gemma2 — мультиязычная модель эмбеддингов от BAAI на базе google/gemma-2-9b. Это плотная модель семейства Gemma 2 с 9 млрд параметров и контекстом до 8192 токенов; она преобразует текст в векторные представления для поиска и сравнения смысловой близости. Модель обучена на данных для разных языков и задач, включая поиск, классификацию и кластеризацию. В README отмечены английский, китайский, японский, корейский и французский языки, а также результаты на мультиязычных бенчмарках MIRACL, MTEB, C-MTEB и AIR-Bench. Её можно применять для поиска по смыслу, ранжирования кандидатов и группировки похожих текстов. Модель распространяется под лицензией Gemma. Для кодирования по умолчанию используются доступные GPU; README описывает запуск через FlagEmbedding, Sentence Transformers и Transformers. Заявленные высокие результаты относятся к бенчмаркам, поэтому качество на конкретных языках и типах данных следует оценивать отдельно.

187K203июль 2024ctx8.2K
textembeddinggemmahugging-face
mostafamhmdi
bge-persian

mostafamhmdi/bge-persian — модель Sentence Transformer, дообученная автором на базе BAAI/bge-m3 для сравнения семантической близости персидских предложений и абзацев. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией, выдаёт плотные векторы размерностью 1024 и сравнивает их косинусным сходством. Максимальная длина последовательности составляет 8192 токена, число параметров — около 658,7 млн. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе из 10 963 пар предложений с оценками сходства и функцией CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

770авг. 2026ctx8.2K
textembeddinghugging-face
cstr
bge-reranker-base-GGUF

Это GGUF-конверсия модели BAAI/bge-reranker-base, первоначально разработанной BAAI и подготовленной для запуска через движок CrispEmbed. Модель представляет собой cross-encoder reranker для английского и китайского языков: она оценивает соответствие запроса и текстового кандидата и предназначена для переранжирования результатов поиска, семантического поиска и других задач сопоставления текстов. Формат GGUF позволяет использовать её через ggml-совместимую инфраструктуру без Python и ONNX. Модель построена на архитектуре BERT и содержит 278 млн параметров, 12 слоёв, размерность представлений 768, CLS-pooling и токенизатор WordPiece. Доступны варианты F32 размером около 1066 МБ, Q8_0 размером около 287 МБ и Q4_K размером около 247 МБ; квантованные версии требуют меньше памяти, но используют приближённое числовое представление. Указанный контекстный размер в README отсутствует. Конверсия и квантование не изменяли архитектуру, словарь или заявленные возможности исходной модели; заявлена побитная эквивалентность с реализацией Hugging Face с косинусным сходством не менее 0,999 на тестовых текстах. Для инференса модель рассчитана на CrispEmbed, включая локальный и серверный режимы. Распространяется по лицензии MIT, при этом условия исходной модели BAAI/bge-reranker-base остаются определяющими.

4070апр. 2026
textembeddingmithugging-face
BAAI
bge-reranker-v2-gemma

BAAI/bge-reranker-v2-gemma — мультиязычная модель-переранжировщик от BAAI, созданная на основе Google Gemma 2B и обученная на смеси мультиязычных наборов данных. Она принимает запрос вместе с текстом-кандидатом и выдаёт оценку их релевантности; более высокие значения означают лучшее соответствие, а оценку можно преобразовать функцией sigmoid в диапазон от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например первых 100 документов, найденных системой извлечения. Архитектура — плотная GemmaForCausalLM, размер — 2,5 млрд параметров, формат весов — safetensors. Модель поддерживает мультиязычные сценарии, имеет контекст длиной до 8192 токенов и может использоваться через FlagEmbedding. В README отмечены сильные мультиязычные возможности и высокая эффективность ранжирования; конкретные языки помимо общего указания на мультиязычность не перечислены. Лицензия — Apache-2.0. Как и другие ранжировщики, модель оценивает пары «запрос — текст» и не заменяет генератор ответов; качество сортировки зависит от исходных кандидатов и соответствия данных целевой области.

18K88март 2024ctx8.2K
textembeddingapache-2.0hugging-face
dengcao
bge-reranker-v2-m3

Карточка модели dengcao/bge-reranker-v2-m3 на Hugging Face совпадает с карточкой BAAI/bge-reranker-v2-m3, поэтому описание составлено по ней. BAAI/bge-reranker-v2-m3 — многоязычная модель переранжирования от BAAI, построенная на базе bge-m3 и использующая архитектуру XLM-RoBERTa для классификации последовательностей. Она принимает запрос и текстовый фрагмент и выдаёт оценку их релевантности; более высокий балл означает более подходящий фрагмент. При необходимости оценку можно преобразовать сигмоидой в значение от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например, для уточнения порядка документов, найденных системой извлечения, и повышения качества выдачи в многоязычных сценариях. В README она описана как быстрая и удобная для развёртывания; метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Карточка характеризует её как многоязычную, но не перечисляет отдельные языки. Модель доступна по лицензии Apache-2.0. Релевантность оценивается для пары «запрос — фрагмент», поэтому для поиска по корпусу сначала нужны кандидаты, полученные отдельной системой извлечения; модель сама не выполняет полный поиск. Скорость и пригодность к развёртыванию заявлены в карточке, но конкретные показатели производительности не приведены.

2300июнь 2025ctx8.2K
textapache-2.0hugging-face
furiosa-ai
bge-reranker-v2-m3

furiosa-ai публикует копию многоязычной модели-переранжировщика BAAI/bge-reranker-v2-m3 и Furiosa Executable Bundle для запуска через Furiosa-LLM на ускорителях FuriosaAI RNGD. Модель использует плотную архитектуру XLM-RoBERTa и класс XLMRobertaForSequenceClassification; она обрабатывает пары «запрос — документ» и выдаёт оценки релевантности для переупорядочивания результатов поиска в RAG- и поисковых конвейерах. Размер составляет 658,7 млн параметров, нативный контекст — 8194 токена. Репозиторий сохраняет исходные веса FP32 без низкоразрядной квантизации; для исполнения через FXB Furiosa-LLM преобразует их в BF16. На RNGD модель использует tensor parallelism с размером 8 PE на одной карте. Доступна лицензия Apache 2.0. Карточка описывает назначение переранжирования, но не приводит конкретный список поддерживаемых языков.

1.7K0авг. 2026ctx8.2K
textapache-2.0hugging-face
onnx-community
bge-reranker-v2-m3-ONNX

onnx-community/bge-reranker-v2-m3-ONNX — это ONNX-версия модели BAAI/bge-reranker-v2-m3, автоматически преобразованная и опубликованная сообществом onnx-community. Модель предназначена для переранжирования текстов: она может оценивать релевантность текстового фрагмента заданному запросу и использоваться в задачах поиска, семантического сопоставления и построения систем retrieval-augmented generation (RAG). Модель доступна для запуска через библиотеку Transformers.js и представлена в формате ONNX, что делает её подходящей для JavaScript-приложений и сред, поддерживающих ONNX. README не содержит сведений о точной архитектуре, размере, поддерживаемых языках, максимальной длине контекста, модальностях, показателях качества или ограничениях. Лицензия также не указана, поэтому условия использования по предоставленным данным определить нельзя.

16K12авг. 2025ctx8.2K
texthugging-face
raul-delarosa99
bge-small-en-v1.5-RIRAG_ObliQA

raul-delarosa99/bge-small-en-v1.5-RIRAG_ObliQA — англоязычная Sentence Transformer модель, дообученная разработчиком на базе BAAI/bge-small-en-v1.5 для поиска и сопоставления текстов в сценариях вопросов и ответов. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 512; архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов. Для сравнения используется косинусное сходство. Модель содержит 40 млн параметров и обрабатывает до 512 токенов на входе. Модель подходит для семантического поиска релевантных фрагментов по вопросу, оценки сходства предложений и абзацев, поиска перефразировок, кластеризации и классификации текстов. В приведённой оценке на qa_eval дообученная версия показала более высокие значения точности и полноты поиска на первых десяти результатах, чем базовая модель. Обучающий набор содержит 29 547 пар anchor-positive с примерами вопросов и фрагментов ответов, в том числе юридического содержания. Для практического использования модель формирует векторные представления текста; она не генерирует ответы сама по себе. Лицензия в предоставленных данных не указана.

1360окт. 2024ctx512
textembeddinghugging-face
rajatrc1705
bge-small-matryoshka-fine-tuned

Rajatrc1705 дообучил англоязычную модель эмбеддингов BAAI/bge-small-en на датасете sentence-transformers/hotpotqa. Это Sentence Transformer на архитектуре BERT с 40 млн параметров, который преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения текстов используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также может использоваться для поиска перефразировок, кластеризации и классификации текстов. Обучение на HotpotQA ориентирует её на сопоставление вопросов с релевантными фрагментами текста. Доступны варианты представления размерностью 256, 128 и 64 с близкими результатами в приведённых в карточке тестах TripletEvaluator. Модель принимает текст и выдаёт векторы признаков. Она рассчитана на английский язык и не заявлена как мультиязычная. Распространяется по лицензии Apache-2.0.

940авг. 2024ctx512
textembeddingapache-2.0hugging-face
teven
bi_all_bs320_vanilla_finetuned_WebNLG2020_relevance

teven/bi_all_bs320_vanilla_finetuned_WebNLG2020_relevance — модель эмбеддингов на архитектуре MPNet, созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекст до 514 токенов. Модель дообучена с использованием CosineSimilarityLoss; название указывает на обучение для оценки релевантности на данных WebNLG2020. Подходит для семантического поиска и ранжирования текстовых фрагментов по сходству. Опубликована в формате PyTorch. Лицензия в предоставленных данных не указана.

940сент. 2022ctx514
textembeddinghugging-face
BidirLM
BidirLM-0.6B-Embedding

BidirLM-0.6B-Embedding — разработанная командой BidirLM многоязычная двунаправленная модель-энкодер для получения текстовых эмбеддингов и последующего дообучения под задачи обработки текста. Это контрастивно дообученная версия промежуточной модели BidirLM-0.6B-Base, основанной на Qwen3-0.6B; архитектура BidirLM использует маскированное предсказание следующего токена и mean pooling. В README указано 596 млн параметров и размерность эмбеддингов 1024, а в метаданных — 507,9 млн параметров. Метаданные указывают контекст до 40 960 токенов; в оценках извлечения длинного контекста версия 0.6B показала лучший результат при 8k токенах, а стандартная оценка MTEB проводилась при длине 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации, ранжирования и поиска соответствий между текстами. Её также можно дообучать для классификации последовательностей и токенов, включая NER и POS. Карточка заявляет поддержку более 119 языков, но приводит подробности обучения на 87 языках; список языков в метаданных покрывает меньший поднабор. Модель распространяется по лицензии Apache-2.0. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers.

2354апр. 2026ctx41K
textembeddingapache-2.0hugging-face
BjarneNPO
BjarneNPO-01_09_2025_14_44_33

Это модель Sentence Transformers, дообученная разработчиком BjarneNPO на базе FacebookAI/xlm-roberta-base. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между текстами оценивается косинусной мерой. Архитектура состоит из XLM-RoBERTa с усреднением токенных представлений, число параметров — 305,2 млн, максимальная длина последовательности — 512 токенов (514 токенов нативного контекста по метаданным). Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В карточке приведены обучающие пары «запрос — ответ» объёмом 72 349 примеров и примеры на немецком языке, однако языковая поддержка явно не перечислена. Лицензия в предоставленных данных не указана.

1370сент. 2025ctx514
textembeddinghugging-face
NbAiLab
borealis-embed-212m

NbAiLab/borealis-embed-212m — текстовая модель эмбеддингов, разработанная NbAiLab на архитектуре Gemma3Text. Она предварительно обучена с нуля на открытой части данных Aurora 2604, затем дообучена как Sentence Transformer с усредняющим pooling. Модель преобразует предложения и абзацы в плотные векторы размерности 768, которые сравниваются по косинусному сходству. Модель предназначена для семантического поиска, извлечения релевантных фрагментов, ранжирования и поддержки классификации текста. Она рассчитана прежде всего на норвежский букмол и нюношк, а также поддерживает шведский, датский и английский. Максимальная длина входа составляет 8192 токена; при дообучении использовалась длина 2048 токенов. В метаданных указано 211,6 млн параметров и библиотека Sentence Transformers. В README приведены результаты оценки на скандинавском бенчмарке эмбеддингов и тестах поиска по длинному контексту; модель показала улучшение относительно указанных версий nb-sbert. Она не генерирует текст: выходом являются векторы для последующего поиска или сравнения. Лицензия — NB-license.

1.4K7сент. 2026ctx8.2K
textembeddingotherhugging-face
yahyaabd
bps-custom-tokenizer-paraphrase-multilingual-MiniLM-L12-v2-mnrl-2

Это модель Sentence Transformers на базе yahyaabd/bps-custom-tokenizer-paraphrase-multilingual-MiniLM-L12-v2, дообученная разработчиком yahyaabd на наборе statictable-triplets-all. Архитектура основана на BERT и содержит около 124,8 млн параметров. Модель кодирует предложения и абзацы в плотные векторы размерностью 384; максимальная длина входа — 512 токенов. Для сравнения векторов предусмотрена косинусная близость. Модель предназначена для семантического поиска и сопоставления текстов: поиска похожих фрагментов, подбора перефразировок, кластеризации и использования в качестве признаков для классификации текста. Обучающие примеры — запросы и связанные с ними положительные и отрицательные тексты; в README приведены примеры на индонезийском языке. Доступна в формате safetensors, библиотека — sentence-transformers. Условия лицензии в предоставленных данных не указаны.

1270май 2025ctx512
textembeddinghugging-face
RinTrin
climate-tech-0.8316

RinTrin/climate-tech-0.8316 — модель Sentence Transformers на базе BERT, разработанная автором репозитория RinTrin. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для поиска по смыслу, сравнения текстов и кластеризации. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; модель распространяется в формате PyTorch. Модель подходит для построения семантического поиска и группировки текстов по сходству. В карточке также указано обучение с CosineSimilarityLoss. README не сообщает поддерживаемые естественные языки и лицензию, поэтому их нельзя определить по доступным данным.

940февр. 2023ctx512
textembeddinghugging-face
easonanalytica
cnm-multilingual-small-v2

Это Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, дообученный для сопоставления предложений и абзацев. Модель разработана автором репозитория easonanalytica и преобразует текст в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Архитектура включает BertModel и усреднение токеновых представлений. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Она дообучена с ContrastiveLoss на 55 205 парных примерах. Поддерживает многоязычное представление текста благодаря базовой модели. Репозиторий содержит веса в формате safetensors и использует библиотеку Sentence Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

1230нояб. 2025ctx512
textembeddinghugging-face
CohereLabs
command-a-reasoning-08-2025

Cohere Command A Reasoning — авторегрессионная языковая модель с открытыми весами, разработанная Cohere и Cohere Labs. Модель на 111 млрд параметров предназначена для диалогов, агентных сценариев и работы с внешними инструментами; она поддерживает режим рассуждений, который можно включать для повышения качества или отключать ради меньшей задержки. Модель принимает текст и генерирует текст. Она обучена на 23 языках и поддерживает контекст до 256 тыс. токенов и генерацию до 32 тыс. токенов. Архитектура использует Transformer с чередованием слоёв скользящего внимания и глобального внимания; после предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Для работы с инструментами и цитированием результатов предусмотрен шаблон диалога Transformers. Модель подходит для многоязычного диалога, сложных запросов с рассуждением, вызова инструментов и агентных рабочих процессов. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования с Cohere; также необходимо соблюдать Acceptable Use Policy Cohere Labs. Для загрузки модели README рекомендует версию Transformers из исходного репозитория с необходимыми изменениями.

1.1K146авг. 2025
textcc-by-nc-4.0hugging-face
Tool-COLT
contriever-base-msmarco-v1-ToolBenchG3

Tool-COLT/contriever-base-msmarco-v1-ToolBenchG3 — модель на базе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска и кластеризации. Модель содержит 136,7 млн параметров и принимает текст с контекстом до 512 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства. Модель подходит для построения семантического поиска и группировки текстов; для получения эмбеддингов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В карточке указана библиотека PyTorch. Лицензия в предоставленных данных не приведена.

1040авг. 2024ctx512
textembeddinghugging-face
Tool-COLT
contriever-base-msmarco-v1-ToolLens

Tool-COLT/contriever-base-msmarco-v1-ToolLens — модель Sentence-Transformers на основе BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для семантического поиска, сравнения текстов и кластеризации; обучение с MultipleNegativesRankingLoss использовало косинусное сходство. Модель содержит 136,7 млн параметров, принимает текст и формирует эмбеддинги; максимальная длина контекста — 512 токенов. Модель подходит для построения поиска по смыслу и группировки похожих текстов. В метаданных указаны формат safetensors и библиотека Transformers; README описывает использование через Sentence-Transformers или Transformers с подходящим pooling. Язык и лицензия в предоставленных данных не установлены.

950авг. 2024ctx512
textembeddinghugging-face
nishimoto
contriever-sentencetransformer

nishimoto/contriever-sentencetransformer — порт Contriever в формате Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Векторные представления можно использовать для сравнения смысловой близости предложений и абзацев. Репозиторий содержит веса PyTorch; для работы с моделью в README рекомендуется библиотека Sentence-Transformers. Ограничение контекста — 512 токенов. В README лицензия не указана.

3891февр. 2024ctx512
textembeddinghugging-face
Kyleiwaniec
COS_TAPT_n_RoBERTa_STS

Kyleiwaniec/COS_TAPT_n_RoBERTa_STS — модель на архитектуре RoBERTa, созданная для Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024, предназначенные для оценки семантической близости, семантического поиска и кластеризации. Модель обучалась с функцией потерь CosineSimilarityLoss; её контекст составляет 514 токенов, размер — около 454,1 млн параметров. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Для использования с Transformers поверх контекстных представлений требуется применить соответствующую операцию pooling. В репозитории указаны веса PyTorch; лицензия не приведена в доступных данных.

730авг. 2022ctx514
textembeddinghugging-face
teven
cross_all_bs192_hardneg_finetuned_WebNLG2020_data_coverage

Модель teven/cross_all_bs192_hardneg_finetuned_WebNLG2020_data_coverage — модель Sentence-Transformers на архитектуре MPNet, разработанная пользователем teven. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и кластеризации. Модель содержит 136,7 млн параметров и принимает текст; контекст составляет до 514 токенов. Репозиторий содержит веса PyTorch. Сведения о лицензии и конкретных языках в предоставленных данных отсутствуют.

880сент. 2022ctx514
textembeddinghugging-face
teven
cross_all_bs192_hardneg_finetuned_WebNLG2020_metric_average

teven/cross_all_bs192_hardneg_finetuned_WebNLG2020_metric_average — текстовая модель на базе MPNet, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и предназначена для поиска семантически близких фрагментов, кластеризации и оценки сходства. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска, группировки похожих текстов и сравнения предложений по смыслу. Для корректного использования в Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов; README также описывает применение через Sentence-Transformers. Лицензия и поддерживаемые естественные языки в предоставленных данных не установлены.

890сент. 2022ctx514
textembeddinghugging-face
teven
cross_all_bs320_vanilla_finetuned_WebNLG2020_relevance

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сопоставления релевантности. Модель предназначена для векторного поиска и других задач, где нужно сравнивать смысл текстов; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

900сент. 2022ctx514
textembeddinghugging-face
antoinelouis
crossencoder-mdebertav3-base-mmarcoFR

Модель crossencoder-mdebertav3-base-mmarcoFR разработана для ранжирования франкоязычных текстов. Это cross-encoder на базе mDeBERTa V3 Base: он совместно обрабатывает запрос и отрывок, учитывает взаимодействие между ними и выдаёт оценку релевантности. Модель содержит 306 млн параметров, принимает пары «запрос — отрывок» и поддерживает контекст до 512 токенов; при обучении максимальная длина пары составляла 256 токенов. Модель предназначена для второго этапа семантического поиска: после первичного отбора документов, например BM25 или плотным биэнкодером, она пересчитывает релевантность отрывков и упорядочивает их. Обучена на франкоязычной части mMARCO — машинно переведённого набора MS MARCO — с трудными отрицательными примерами; оценивалась на dev-выборке mMARCO-fr. Оценки выдаются в диапазоне от 0 до 1. Для ранжирования большого корпуса требуется предварительный этап поиска, поскольку модель обрабатывает пары по отдельности. Лицензия — MIT.

4851май 2024ctx512
textmithugging-face
yunyu
cross-encoder-stsb-deberta-v3-large

yunyu/cross-encoder-stsb-deberta-v3-large — модель, опубликованная пользователем yunyu на Hugging Face. Это cross-encoder на архитектуре DeBERTa-v3-large, дообученный для оценки семантического сходства пар текстов на основе задачи STS-B. Модель принимает пару текстов и возвращает оценку их смысловой близости, поэтому подходит для классификации и ранжирования текстовых пар. Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. В метаданных Hugging Face она обозначена как text-classification; используются Transformers и PyTorch. Основной сценарий — переранжирование результатов поиска, сопоставление пользовательского запроса с документами или описаниями, а также фильтрация и оценка семантического сходства в RAG-конвейерах. Как cross-encoder модель обрабатывает две последовательности совместно и обычно требует отдельного вычисления для каждой пары, что ограничивает производительность при массовом сравнении большого числа кандидатов. Контекст ограничен 512 токенами. Сведения о лицензии в доступных источниках не установлены.

310авг. 2023ctx512
texthugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей