/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
1 261–1 290 из 13 467
HasinMDG
SetFit_Labse_Sentiment_Towards_Topic

HasinMDG/SetFit_Labse_Sentiment_Towards_Topic — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации.

940янв. 2023ctx512
textembeddinghugging-face
taldarim
setfit-pc-multilabel-example

taldarim/setfit-pc-multilabel-example — модель Sentence-Transformers на архитектуре MPNet, которая преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель доступна в формате PyTorch. Модель подходит для поиска похожих текстов, группировки предложений и построения векторных представлений для последующей обработки. Она обучалась с функцией потерь CosineSimilarityLoss. Язык обучения или основной язык в доступных материалах не указан. Лицензия в предоставленных метаданных и README не указана.

1160янв. 2023ctx514
textembeddinghugging-face
lsanochkin
setfit-rubert-intent

lsanochkin/setfit-rubert-intent — модель эмбеддингов предложений на базе BERT, опубликованная пользователем lsanochkin. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling. В README указано обучение с SupConLoss в SetFit. Метаданные сообщают о 205,5 млн параметров, контекстном окне до 512 токенов и формате PyTorch. Модель принимает текст и выдаёт векторы; в карточке нет сведений о поддерживаемых естественных языках. Лицензия не указана в предоставленных данных.

1141дек. 2022ctx512
textembeddinghugging-face
aammari
setfit-zero-shot-classification-pbsp-p3-bhvr

Модель aam mari/setfit-zero-shot-classification-pbsp-p3-bhvr — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости. Подходит для семантического поиска, кластеризации и оценки сходства текстов. Модель содержит 136,7 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 514 токенов. Репозиторий содержит веса PyTorch. В карточке указано обучение с CosineSimilarityLoss; сведения о лицензии и поддерживаемых естественных языках отсутствуют.

860дек. 2022ctx514
textembeddinghugging-face
ipipan
silver-retriever-base-v1.1

Silver Retriever Base v1.1 — модель эмбеддингов на базе BERT, созданная Пётром Рыбаком из Института информатики Польской академии наук. Она кодирует польские предложения и абзацы в плотные векторы размерности 768 для поиска релевантных фрагментов и семантического поиска. Модель дообучена на парах «вопрос — фрагмент текста» из наборов PolQA и MAUPQA в течение 8 000 шагов; для получения эмбеддингов используется pooling контекстных представлений. Модель предназначена прежде всего для поиска ответов на польском языке. При подготовке запросов рекомендуется добавлять префикс «Pytanie:», а для документов объединять заголовок и текст через специальный токен; для сравнения эмбеддингов обычно подходит косинусное расстояние. Архитектура основана на HerBERT-base, размер — 151,6 млн параметров, контекст — 514 токенов. Модель опубликована в форматах PyTorch и Safetensors под лицензией CC BY-SA 4.0. Карточка приводит сравнительную оценку на задачах поиска, но из доступного фрагмента таблицы нельзя установить полные результаты для Silver Retriever. Она рассчитана на польский текст и не предназначена для генерации ответов.

40412нояб. 2023ctx514
textembeddingcc-by-sa-4.0hugging-face
sparse-encoder-testing
splade-bert-tiny-nq-onnx

sparse-encoder-testing/splade-bert-tiny-nq-onnx — компактная англоязычная модель разреженных текстовых представлений семейства SPLADE на архитектуре BERT, опубликованная пользователем или организацией sparse-encoder-testing. Модель реализована для библиотеки Sentence Transformers, доступна в формате ONNX и содержит около 4,4 млн параметров; максимальная длина входа составляет 512 токенов. Обучение выполнено с использованием SpladeLoss на наборе sentence-transformers/natural-questions размером около 99 000 примеров. Модель преобразует запросы и документы в разреженные векторные представления, пригодные для семантического поиска, информационного поиска и построения retrieval-компонента RAG-систем. Она ориентирована на английский язык и может применяться для сопоставления пользовательских вопросов с релевантными фрагментами документов. Формат ONNX удобен для быстрого или кроссплатформенного инференса при наличии совместимого runtime. Модель не генерирует ответы и не предназначена для обычной классификации или генерации текста; её результаты требуют последующего поиска и ранжирования. Качество может снижаться на русском и других языках, на текстах, существенно отличающихся от материалов Natural Questions, а также при превышении контекста в 512 токенов. Модель распространяется по лицензии Apache-2.0.

6440июль 2025ctx512
textembeddingapache-2.0hugging-face
sparse-encoder
splade-camembert-base-v2

splade-camembert-base-v2 — франкоязычный разреженный кодировщик SPLADE, дообученный на базе almanach/camembert-base с использованием библиотеки Sentence Transformers и данных msmarco-qwen3-reranker-0.6_b-french. Модель принимает предложения и абзацы и преобразует их в разреженные векторы размерностью 32 005; сходство между векторами оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, а также может использоваться для оценки сходства предложений. Архитектура включает CamembertForMaskedLM и SPLADE pooling с max-пулингом и ReLU. Максимальная длина последовательности — 512 токенов (514 токенов в метаданных). Карточка приводит результаты оценки на франкоязычных наборах NanoBEIR и French STS. Модель поддерживает французский язык и распространяется по лицензии Apache-2.0. Она создаёт разреженные векторные представления для поиска и не предназначена для генерации связных текстовых ответов; качество зависит от предметной области и корпуса поиска.

33K0июль 2025ctx514
textembeddingapache-2.0hugging-face
tomaarsen
splade-cocondenser-kldiv-marginmse-minilm-temp-4

Это англоязычный разреженный текстовый энкодер SPLADE, опубликованный tomaarsen и дообученный на базе Luyu/co-condenser-marco с помощью Sentence Transformers. Модель преобразует предложения и абзацы в разреженные векторы размерности 30 522; близость оценивается скалярным произведением. Архитектура включает BERT с masked language modeling и SPLADE-пулингом по максимуму с ReLU. Модель предназначена для семантического поиска и разреженного поиска информации: например, для ранжирования документов по запросу в поисковых системах и системах retrieval. Максимальная длина входной последовательности — 512 токенов. Для дообучения использовались 99 000 примеров; в README приведены оценки на NanoMSMARCO, NanoNFCorpus и NanoNQ. Модель принимает текст на английском языке и выдаёт разреженные векторные представления. В репозитории указаны веса Safetensors, библиотека Sentence Transformers и лицензия Apache-2.0. Результаты оценки относятся к небольшим наборам Nano и сами по себе не гарантируют качество на других данных.

1100июнь 2025ctx512
textembeddingapache-2.0hugging-face
mahiyama
splade-ja-310m-v2

mahiyama/splade-ja-310m-v2 — японская модель разреженного поиска SPLADE, разработанная на основе sbintuitions/modernbert-ja-310m. Это дообученный ModernBERT с MLM-головой и max-пулингом SPLADE: он преобразует запросы и документы в разреженные векторы по словарным токенам, которые сравниваются скалярным произведением. Модель предназначена для семантического поиска и извлечения документов; один и тот же энкодер используется для запросов и документов. Обучение включает дистилляцию оценок реранкера и последующую краткую адаптацию на данных административных FAQ, викторин, академических текстов и длинных документов. Модель содержит около 314,6 млн параметров и поддерживает контекст до 8192 токенов. Разреженные представления подходят для инвертированных индексов и позволяют анализировать, какие токены влияют на поиск. В карточке приведена оценка на 11 задачах retrieval JMTEB v2; длина входа при оценке ограничивалась ресурсами GPU и различалась по задачам. Лицензия — MIT.

1560май 2026ctx8.2K
textembeddingmithugging-face
yjoonjang
splade-ko-v1

yjoonjang/splade-ko-v1 — корейский разреженный энкодер SPLADE, дообученный автором на базе skt/A.X-Encoder-base с помощью Sentence Transformers. Модель преобразует предложения и абзацы в разреженные векторы размерности 50 000; сходство между ними оценивается скалярным произведением. В основе архитектуры — ModernBERT с маскированным языковым моделированием и SPLADE-пулингом. В метаданных указаны 148,7 млн параметров и контекст до 16 384 токенов, тогда как README задаёт максимальную длину последовательности 8 192 токена. Модель предназначена для семантического поиска и разреженного поиска документов на корейском языке. В README приведены оценки на корейских наборах поиска, включая Ko-StrategyQA, AutoRAGRetrieval и MIRACLRetrieval. Модель распространяется по лицензии Apache-2.0. Она выдаёт разреженные векторы и не генерирует ответы; заявленные характеристики поиска относятся к указанным в карточке тестам.

1.2K17окт. 2025ctx16.4K
textembeddingapache-2.0hugging-face
Arthur-75
storm-qwen3-1.7B

STORM Qwen3 Keyword Generator — дообученная компактная языковая модель на архитектуре Qwen3ForCausalLM с 1,7 млрд параметров, созданная для расширения поисковых запросов полезными ключевыми словами. STORM применяет пошаговую оптимизацию генерации по метрикам извлечения информации: варианты продолжения оцениваются по результатам BM25, чтобы добавлять термины, помогающие находить документы при несовпадении формулировок запроса и текста документов. Модель предназначена для лексического поиска и может использоваться как переписыватель запросов перед поиском по стандартному BM25-индексу. В карточке описан перенос подхода на 18 языков; метаданные указывают контекст до 40 960 токенов и поддержку диалога. Для генерации можно применять beam search, в том числе групповой, либо обычное декодирование. Репозиторий содержит веса в формате safetensors, а базовая модель — Qwen/Qwen3-1.7B. В препринте сообщается о результатах на TREC DL и BEIR, а также о переносе на MIRACL; эти заявления относятся к представленному подходу и не гарантируют качество конкретного чекпойнта во всех поисковых системах. Лицензия в предоставленных данных не указана.

2511июнь 2026ctx41K
texthugging-face
Arthur-75
storm-qwen3-8B

STORM Qwen3 Keyword Generator — дообученная языковая модель семейства Qwen3, разработанная для расширения поисковых запросов. Она генерирует дополнительные термины, помогающие лексическому поиску BM25 находить документы при несовпадении слов запроса и текста документов. Метод STORM использует оценку качества поиска для отбора продолжений генерации; модель можно запускать с beam search или без него. Модель содержит 7,6 млрд параметров, построена на плотной архитектуре Qwen3 и принимает текст, выдавая текст. Контекст составляет до 40 960 токенов. В статье описаны результаты на TREC DL и BEIR и перенос без дополнительного обучения на 18 языков MIRACL; отдельный список поддерживаемых языков для данного чекпойнта не приведён. Модель предназначена для интеграции с существующим индексом BM25 и не требует перестройки индекса при смене модели. Лицензия в предоставленных данных не указана.

3811июнь 2026ctx41K
texthugging-face
OpenMatch
t5-ance

OpenMatch/t5-ance — модель семейства T5, дообученная для получения представлений запросов и документов в задачах поиска. Обучение проводилось на наборе MS MARCO Passage по процедуре ANCE с увеличенным размером пакета; модель содержит 123,8 млн параметров и принимает последовательности длиной до 512 токенов. В README приведён результат MRR@10 0,3570 на dev-разбиении MS MARCO Passage. Модель предназначена для извлечения признаков текста, в частности для кодирования запросов и пассажей в поисковых системах и системах ранжирования. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.

1421окт. 2022ctx512
textembeddingmithugging-face
jadanovitch
t5gemma-2-270m-encoder

jadanovitch опубликовал инфраструктурную конверсию текстового энкодера из google/t5gemma-2-270m-270m для запуска в vLLM. Модель содержит 257 млн параметров, 18 слоёв, скрытый размер 640 и двунаправленное внимание; веса и активации представлены в BF16. Контекст составляет до 32 768 токенов. Энкодер предназначен для представления текста и сценариев поиска, извлечения информации и переранжирования. Несмотря на тег text-generation и возможность загрузки через generation runner в vLLM, модель не обучалась как самостоятельная авторегрессионная языковая модель и не предназначена для обычной генерации текста. Веса декодера, зрения и мультимодальные компоненты исключены. Применяются условия лицензии Gemma.

3170сент. 2026ctx32.8K
textgemmahugging-face
castorini
tct_colbert-v2-msmarco

Карточка модели castorini/tct_colbert-v2-msmarco на Hugging Face совпадает с карточкой castorini/tct_colbert-v2-hnp-msmarco, поэтому описание составлено по ней. castorini/tct_colbert-v2-hnp-msmarco — модель семейства TCT-ColBERT-V2, опубликованная Castorini для воспроизведения варианта плотных моделей поиска, описанного в статье о дистилляции знаний для dense retrieval. Она предназначена для извлечения векторных представлений текстов и их использования в поиске по коллекции документов, в частности в сценариях, связанных с MS MARCO. Модель построена на архитектуре BERT, содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch. README связывает её с исследовательской работой и отчётом о воспроизведении в Pyserini. Лицензия в доступных данных не приведена.

1210март 2022ctx512
textembeddinghugging-face
utahnlp
tevatron-elastic-qwen3-0.6b-retriever-ltc

Это плотная языковая модель Qwen3 с 507,9 млн параметров, дообученная командой Utah NLP в рамках Tevatron-Elastic для поиска релевантных документов. Чекпойнт поддерживает эластичное сжатие токенов M-LTC: из одной модели можно выбирать разные коэффициенты сохранения токенов и настраивать точку работы через Tevatron-Elastic. Модель предназначена для получения представлений запросов и документов и их сопоставления в информационном поиске. В README указаны обучающие данные rlhn/rlhn-680K, максимальная длина при обучении 512 токенов и префиксы `query:` и `passage:`. Для полной конфигурации приведён результат 0,511 nDCG@10 на BEIR-15. Это ресурс для воспроизводимости экспериментов, а не заявление о превосходстве над современными моделями. Базовая модель имеет нативный контекст 32 768 токенов; лицензия — Apache-2.0.

60июль 2026ctx32.8K
textembeddingapache-2.0hugging-face
lmtri0312
tramy-encoder

tramy-encoder — дообученная модель эмбеддингов на архитектуре BERT, созданная на основе alphaedge-ai/multilingual-e5-small-vie-32768. Она предназначена для поиска по запросам на вьетнамском и английском языках, особенно для туристического помощника и ответов на вопросы по сохранённым инструкциям, документам и фрагментам текста. Модель формирует векторы размерности 384 и рассчитана на асимметричный поиск в векторных базах, включая Qdrant; длина контекста — 512 токенов. Для архитектуры E5 в README указано обязательное использование префиксов при формировании входа. Модель распространяется в формате safetensors по лицензии Apache-2.0.

970сент. 2025ctx512
textembeddingapache-2.0hugging-face
sascha-frank-ai-research
tsft-rag-gemma-3-12b-it

TSFT-RAG Gemma-3-12B-IT — модель на базе Gemma-3-12B-IT, которую Sascha Frank разработал в рамках исследовательского проекта TSFT-RAG. Это полно-параметрическое дообучение с архитектурой Gemma3ForConditionalGeneration и 12 млрд параметров; модель предназначена для генерации ответов в системах поиска с дополненной генерацией (RAG), а не для универсального диалога. Она принимает текстовые запросы и контекст документов и формирует текстовые ответы, включая структурированный JSON. Модель обучалась отвечать по найденным источникам, выявлять вопросы без достаточных подтверждений, извлекать темы, ключевые сообщения и аргументы, а также генерировать цитаты. В оценке проекта улучшились общая агрегированная оценка и распознавание неподтверждённых вопросов относительно базовой модели, однако результат на grounded QA немного снизился. Основные ограничения: общее открытое общение не было целью оптимизации, оценка проводилась преимущественно на немецкоязычных наборах данных, мультимодальные возможности не оценивались. Для юридических, медицинских и других критически важных решений нужны проверка человеком и атрибуция источников. Лицензия — Gemma.

241июль 2026ctx131.1K
textgemmahugging-face
friedrichor
Unite-Base-Qwen2-VL-2B

UNITE-Base-Qwen2-VL-2B — мультимодальная модель эмбеддингов семейства UNITE, разработанная на базе Qwen/Qwen2-VL-2B-Instruct и дообученная для поиска по тексту, изображениям, видео и их сочетаниям. Она формирует общие векторные представления для мультимодального поиска; карточка рекомендует вариант Base для задач детального поиска, включая поиск по инструкциям. Модель имеет плотную архитектуру Qwen2-VL, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Основной сценарий — извлечение признаков и retrieval между текстом, изображениями и видео; также заявлено сходство предложений. В метаданных указан английский язык. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

800май 2025ctx32.8K
textembeddingapache-2.0hugging-face
KRLabsOrg
verbatim-rag-modern-bert-v2

Verbatim-RAG Extractor — англоязычный классификатор токенов от KRLabsOrg для выделения в тексте фрагментов, которые прямо отвечают на вопрос. Модель дообучена на базе Alibaba-NLP/gte-reranker-modernbert-base и использует архитектуру ModernBERT; она содержит около 149 млн параметров и поддерживает контекст до 8192 токенов. Модель принимает вопрос и текстовый контекст, оценивает токены контекста как доказательные или недоказательные, а затем объединяет подходящие токены в фрагменты с символьными границами и оценками. Её можно использовать после поиска или переранжирования документов в RAG-системе, чтобы показывать пользователю подтверждающие цитаты или передавать их генеративной модели. Обучающий набор охватывает научные тексты, вопросы и ответы из разных областей, финансовые таблицы, юридические и медицинские материалы, руководства и выводы инструментов для программирования. В описанных авторами оценках модель превзошла публичные базовые экстракторы по Word-F1 на четырёх срезах, включая QASPER, который не входил в обучающую смесь. Это не гарантирует такого же качества на произвольных данных: модель рассчитана на английский язык, выделяет текстовые фрагменты и может пропускать нужные доказательства либо выбирать лишний текст. Выпускается в формате safetensors под лицензией Apache-2.0.

2.6K13апр. 2026ctx8.2K
textapache-2.0hugging-face
namdp-ptit
ViDense

ViDense — модель эмбеддингов предложений для вьетнамского языка, созданная автором namdp-ptit путём дообучения FacebookAI/xlm-roberta-large. Она предназначена для поиска семантически близких текстов и ранжирования документов по запросу. Модель содержит 658,7 млн параметров, использует mean pooling, Rotary Position Encoding и блочный параллельный трансформер; обучение включало Momentum Contrast и отдельный Rank Encoder для учёта транзитивных связей релевантности. Для оптимизации применялись cross-entropy по оценкам сходства и MSE по оценкам Spearman. В README приведены результаты Recall@3 на вьетнамских наборах ZAC, WebFAQ, OwiFAQ, ViQuAD2.0 и ViLegal. Репозиторий использует PyTorch и Transformers, веса представлены в формате PyTorch; лицензия — Apache-2.0. Модель ориентирована на вьетнамский текст, а заявленная длина контекста составляет 8194 токена.

17K5июнь 2025ctx8.2K
textapache-2.0hugging-face
thanhtantran
Vietnamese_Embedding

Vietnamese_Embedding — модель эмбеддингов на базе Sentence Transformers, разработанная для улучшения поиска по текстам на вьетнамском языке. Она дообучена на BAAI/bge-m3 примерно на 300 тысячах триплетов из запросов, релевантных и нерелевантных документов; в README также упоминается отдельная Phase 2, обученная на 1,1 млн триплетов. Архитектура — XLM-RoBERTa, размер — 658,7 млн параметров, вектор представления имеет 1024 измерения. Модель принимает текст и выдаёт эмбеддинги; для сравнения используется скалярное произведение. README указывает максимальную длину последовательности 2048 токенов, а метаданные — контекст 8194 токена. Модель предназначена для семантического поиска и извлечения документов по вьетнамским запросам. В приведённой оценке на наборе Legal Zalo 2021 публичная версия показывает Accuracy@1 0,7274 и MRR@10 0,8181; авторы отмечают, что вариант Phase 2 уступает в юридическом домене, но обучен на большем объёме данных и рассчитан также на другие области. Лицензия — Apache 2.0.

1380май 2025ctx8.2K
textembeddingapache-2.0hugging-face
vultr
VultronRetrieverFlash-Qwen3.5-0.8B

VultronRetrieverFlash-Qwen3.5-0.8B — мультимодальный ретривер документов от Vultr Cloud, созданный на базе Qwen/Qwen3.5-0.8B и обученный для поиска по изображениям страниц. Модель использует архитектуру ColQwen3_5 с поздним взаимодействием: строит многовекторные представления размерностью 320 и оценивает совпадение запросов и страниц методом MaxSim. Размер модели — 0,8 млрд параметров; генеративная голова удалена. Модель предназначена для поиска по PDF, сканам, презентациям и отчётам, в том числе по страницам со сложной вёрсткой, таблицами, диаграммами и иллюстрациями. Принимает изображения страниц и/или текстовые запросы, формирует векторы для последующего ранжирования и может использоваться в мультимодальных RAG-системах. Поддерживает английский, французский, немецкий, испанский, итальянский и португальский языки; страницы обрабатываются до 1792 визуальных токенов. По заявлению карточки, модель лидирует среди моделей менее 2 млрд параметров на ViDoRe V3. Многовекторный индекс и вычисление MaxSim требуют больше памяти и вычислений, чем поиск по одиночным векторам; для обычного текстового семантического поиска модель не предназначена и сама по себе не генерирует ответы. Другие языки находятся вне обучающего распределения. Для работы с гибридной архитектурой требуются causal-conv1d и flash-linear-attention; рекомендуется SDPA. Лицензия — Apache-2.0.

2.6K6июнь 2026ctx262.1K
textimageembeddingapache-2.0hugging-face
castorini
wiki-all-8-4-multi-dpr2-passage-encoder

Это плотный энкодер фрагментов текста для поиска по Википедии, разработанный командой Castorini. Модель построена на архитектуре BERT и обучена с помощью библиотеки Tevatron как часть второй итерации Dense Passage Retrieval для варианта корпуса wiki-all-8-4; размер составляет 136,7 млн параметров, максимальная длина входа — 512 токенов. В репозитории представлены веса Flax. Модель предназначена для преобразования текстовых фрагментов в векторные представления, которые можно использовать для поиска релевантных документов и ответов на вопросы по открытым источникам. Обучение проводилось на объединении наборов NQ, TriviaQA, WQ и CuratedTREC с корпусом Википедии. Для полноценного DPR-поиска обычно требуется соответствующий энкодер запросов и система векторного поиска; эта модель кодирует именно passages. Лицензия в предоставленных данных не указана.

6.4K0янв. 2023ctx512
textembeddinghugging-face
castorini
wiki-all-8-4-multi-dpr2-query-encoder

castorini/wiki-all-8-4-multi-dpr2-query-encoder — энкодер запросов для плотного поиска по корпусу Wikipedia, разработанный Castorini. Модель относится к семейству BERT, содержит 136,7 млн параметров и принимает текстовые запросы; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате Flax. Это часть второй версии модели Dense Passage Retriever (DPR), обученной с помощью Tevatron на объединённых наборах NQ, TriviaQA, WQ и CuratedTREC и варианте корпуса Wikipedia wiki-all-8-4. Энкодер преобразует запросы в векторные представления для поиска релевантных фрагментов и систем ответов на вопросы по открытым знаниям. Подходит для использования как запросная сторона DPR-поиска; README не описывает отдельные гарантии качества или условия лицензирования.

14K0янв. 2023ctx512
textembeddinghugging-face
microsoft
xdoc-base-squad1.1

Карточка модели microsoft/xdoc-base-squad1.1 на Hugging Face совпадает с карточкой microsoft/xdoc-base-squad2.0, поэтому описание составлено по ней. XDoc-base-SQuAD2.0 — модель Microsoft для ответов на вопросы по тексту, связанная с проектом XDoc, представленным в работе о едином предварительном обучении для понимания документов разных форматов. В карточке указана архитектура RoBERTa с головой для question answering и 151,8 млн параметров; модель доступна в формате PyTorch, контекст — до 514 токенов. Модель предназначена для поиска ответа на вопрос в предоставленном контексте и может применяться для извлечения сведений из документов и ответов на вопросы по их тексту. README описывает XDoc как единую предварительно обученную модель для разных форматов документов, но не уточняет модальности и конкретные возможности данного чекпойнта. Лицензия — MIT.

1214нояб. 2022ctx514
textmithugging-face
deepset
xlm-roberta-large-squad2

deepset/xlm-roberta-large-squad2 — многоязычная модель для извлечения ответов на вопросы, разработанная deepset на основе xlm-roberta-large и дообученная на SQuAD 2.0. Она находит ответный фрагмент в предоставленном тексте и поддерживает сценарии вопросов и ответов по отдельным отрывкам или документам; для поиска ответов в коллекции документов README показывает использование с Haystack. Модель использует архитектуру XLM-RoBERTa для задачи question answering, содержит 658,7 млн параметров и имеет контекст длиной 514 токенов. Её оценивали на английском SQuAD 2.0 и немецких MLQA и XQuAD. Лицензия — CC BY 4.0. Модель предназначена для извлечения ответа из контекста, а не для свободной генерации развёрнутых ответов. Качество за пределами описанных оценок и языков может различаться; при работе с большими коллекциями документов требуется отдельный поиск или оркестрация, например через Haystack.

15K57март 2022ctx514
textcc-by-4.0hugging-face
alon-albalak
xlm-roberta-large-xquad

alon-albalak/xlm-roberta-large-xquad — многоязычная модель для извлечения ответа из текста по заданному вопросу. Она основана на XLM-RoBERTa Large и дообучена для extractive question answering на датасете XQuAD; карточка сообщает об оценке на отложенной выборке XQuAD. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa для извлечения фрагмента ответа из контекста. Она подходит для поиска ответов в предоставленных текстах и для систем, где ответ должен опираться на исходный материал. В метаданных указана мультиязычная поддержка; максимальная длина контекста — 514 токенов. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

8022март 2022ctx514
texthugging-face
openbmb
AgentCPM-Report

AgentCPM-Report — открытая языковая модель-агент для глубокого исследования и подготовки развёрнутых аналитических отчётов. Её совместно разработали THUNLP, RUCBM при Народном университете Китая и ModelBest; модель построена на MiniCPM4.1-8B и содержит 7,9 млрд параметров. Она принимает инструкции и генерирует длинные текстовые отчёты, используя подход Writing As Reasoning Policy (WARP): чередует подготовку черновика на основе свидетельств с углублением рассуждений и пересмотром плана. Заявлена поддержка контекста до 65 536 токенов. Модель предназначена для автономного поиска и синтеза информации, подготовки исследовательских отчётов и работы с локальными базами знаний через UltraRAG. Авторы ориентируют её на локальное офлайн-развёртывание, в том числе в сценариях с конфиденциальными материалами. В карточке описаны исследования с корпусами научных статей и веб-сводок; результаты и заявленное авторами сопоставление с коммерческими системами относятся к их оценкам. Модель распространяется по лицензии Apache-2.0.

280305янв. 2026ctx65.5K
textapache-2.0hugging-face
lightonai
Agent-ModernColBERT-no-prefix

Agent-ModernColBERT-no-prefix — англоязычная модель LightOn для поиска документов в сценариях агентного исследования. Это дообученная на Tevatron/AgentIR-data модель GTE-ModernColBERT-v1 с архитектурой ModernBERT и механизмом позднего взаимодействия ColBERT; она содержит 149 млн параметров и распространяется в формате safetensors через библиотеку PyLate. Модель кодирует запросы и документы в последовательности 128-мерных векторов и сравнивает их оператором MaxSim. Контекст запроса — до 8192 токенов, документа — до 4096 токенов. Модель предназначена для семантического поиска, когда к поисковому запросу добавлены рассуждения агента о том, что именно следует найти и почему. Для запросов используется формат «Reasoning: … Query: …», документы кодируются без префикса. Вариант no-prefix не требует дополнительной инструкции перед рассуждением и запросом, хотя авторы отмечают небольшое снижение качества относительно основной версии. В приведённых авторами экспериментах на BrowseComp-Plus модель показала высокие показатели извлечения в связке с агентом, однако результаты зависят от конфигурации агента и функции получения полных документов. Лицензия — Apache 2.0. Модель работает с английским текстом и предназначена для поиска и сопоставления текстовых запросов с документами; она не генерирует ответы самостоятельно.

275май 2026ctx8.2K
textapache-2.0hugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей