/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
4 771–4 800 из 13 467
Cohee
jina-embeddings-v2-base-en

Cohee/jina-embeddings-v2-base-en — это модель для получения векторных представлений текста (эмбеддингов), основанная на jinaai/jina-embeddings-v2-base-en. В карточке указано, что модель подготовлена в формате ONNX для совместимости с библиотекой Transformers.js и предназначена для использования в задачах извлечения признаков (feature extraction), включая последующий семантический поиск и сравнение текстов. Модель ориентирована на англоязычные тексты, что следует из её идентификатора base-en. Сведения о точной архитектуре, размере, длине контекста, поддерживаемых модальностях и числовых характеристиках эмбеддингов в карточке не приведены. Также не указаны результаты тестирования, ограничения качества и лицензия.

4.1K4дек. 2023ctx8.2K
texthugging-face
Xenova
jina-embeddings-v2-base-en

Xenova/jina-embeddings-v2-base-en — это версия модели jinaai/jina-embeddings-v2-base-en с весами в формате ONNX, адаптированная для работы с библиотекой Transformers.js. Модель предназначена для извлечения признаков и создания векторных представлений англоязычных текстов, которые можно использовать для семантического поиска, сравнения текстов и других задач, основанных на сходстве эмбеддингов. Для получения эмбеддингов используется pipeline feature-extraction в Transformers.js с усредняющим pooling; сходство векторов можно оценивать, например, с помощью косинусной близости. Доступны варианты вычислений fp32, fp16, q8 и q4, что позволяет выбирать между точностью и требованиями к ресурсам. В README не указаны архитектура, размер модели, размерность эмбеддингов, максимальная длина контекста и точный перечень языков, поэтому эти характеристики нельзя достоверно описать. К сильным сторонам относятся совместимость с JavaScript-экосистемой Transformers.js и наличие ONNX-весов, пригодных для запуска в поддерживаемых средах, включая потенциальные веб-сценарии. К ограничениям относятся англоязычная специализация исходной модели и возможное снижение качества при квантовании. Лицензия в README не указана.

4.6K10окт. 2023ctx8.2K
texthugging-face
Xenova
jina-embeddings-v2-small-en

Xenova/jina-embeddings-v2-small-en — версия модели jinaai/jina-embeddings-v2-small-en с весами в формате ONNX, подготовленная для использования в JavaScript через библиотеку Transformers.js. Модель предназначена для извлечения векторных представлений английских текстов и совместима с конвейером feature-extraction. Модель подходит для семантического сравнения текстов, поиска похожих документов и построения приложений, использующих текстовые эмбеддинги. В README показан сценарий генерации эмбеддингов с mean pooling и расчёта косинусного сходства. Поддерживаются варианты точности fp32, fp16, q8 и q4, что позволяет выбирать между качеством, размером и производительностью. Сведения об архитектуре, размере, максимальной длине контекста и точной размерности эмбеддингов в README не указаны. Сильной стороной модели является возможность запуска ONNX-весов в JavaScript-окружении через Transformers.js, включая потенциальное использование в веб-приложениях. Ограничения связаны с тем, что заявлена поддержка английского языка, а влияние квантования на качество может зависеть от выбранного формата. Лицензия в предоставленном README не указана.

65K1окт. 2023ctx8.2K
texthugging-face
jinaai
jina-embeddings-v5-omni-small-clustering

jina-embeddings-v5-omni-small-clustering — мультимодальная модель эмбеддингов от Jina AI, созданная на базе jinaai/jina-embeddings-v5-omni-small. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, согласованного с текстовой моделью jinaai/jina-embeddings-v5-text-small-clustering. Вариант настроен для кластеризации; размер модели — около 1,56 млрд параметров, размерность эмбеддинга — 1024. Модель подходит для группировки и сравнения мультимодальных данных, а также для поиска, где документы индексируются текстом, а запросы поступают в виде текста, изображения, видео или аудио. Видео представляется последовательностью кадров; звуковая дорожка видео автоматически не обрабатывается и для совместного кодирования должна передаваться отдельно. Для текстовых документов README рекомендует добавлять префикс «Document: ». Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

2312март 2026ctx131.1K
textembeddingcc-by-nc-4.0hugging-face
codegood
KatzBot_MiniLLM_ST

KatzBot MiniLLM ST — компактная модель эмбеддингов на базе архитектуры BERT, опубликованная пользователем codegood. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и измерения сходства предложений. Модель обучалась с BatchHardTripletLoss на датасете codegood/Katzbot. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторы. Доступна в формате safetensors для библиотеки sentence-transformers. README не уточняет поддерживаемые естественные языки и лицензию, поэтому область применения по языкам и условия использования определить нельзя.

1020февр. 2024ctx512
textembeddinghugging-face
hyuk2010
klue-roberta-base-klue-sts

hyuk2010/klue-roberta-base-klue-sts — модель Sentence Transformers, дообученная на базе klue/roberta-base для сравнения смысла корейских предложений. Она преобразует предложения и абзацы в плотные векторы размерности 768; архитектура включает RoBERTa и mean pooling, а близость векторов оценивается косинусным сходством. Модель содержит 137,8 млн параметров. Максимальная длина последовательности указана как 512 токенов в README и 514 токенов в метаданных. Модель предназначена для семантического поиска, поиска перефразировок, кластеризации и сравнения текстов по смыслу. Для обучения использовались 10 501 пара корейских текстов с оценками сходства. В README приведены оценки на двух таблицах, но они заметно различаются, поэтому качество на целевых данных следует проверять отдельно. Модель принимает текст и выдаёт эмбеддинги; опубликована в формате safetensors и рассчитана на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных отсутствует.

1400янв. 2026ctx514
textembeddinghugging-face
skygudanr
klue-roberta-small-cross-encoder

Это корейский Cross-Encoder на базе klue/roberta-small, дообученный с помощью библиотеки Sentence Transformers. Модель оценивает пару текстов одним числовым баллом, который можно использовать для ранжирования результатов поиска и оценки семантической релевантности. Модель содержит 81,2 млн параметров, использует архитектуру RoBERTa и принимает последовательности длиной до 514 токенов. В README приведены результаты оценки корреляции: Pearson 0,986 и Spearman 0,866; обучающая выборка насчитывает 35 108 пар текстов. Примеры и базовая модель указывают на работу с корейским языком. Лицензия в предоставленных данных не описана.

5120нояб. 2025ctx514
texthugging-face
ParkMyungkyu
KLUE-STS-roberta-base

ParkMyungkyu/KLUE-STS-roberta-base — модель эмбеддингов предложений на архитектуре RoBERTa, представленная автором ParkMyungkyu. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и сравнения предложений. Модель содержит 137,8 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется применить pooling к контекстным представлениям токенов. Модель обучалась с CosineSimilarityLoss и ориентирована на семантическое сходство в корейском бенчмарке KLUE-STS. Лицензия в предоставленных данных не указана.

1120март 2022ctx512
textembeddinghugging-face
daekeun-ml
KoSimCSE-supervised-roberta-large

daekeun-ml/KoSimCSE-supervised-roberta-large — корейская модель для построения эмбеддингов предложений на основе SimCSE и архитектуры RoBERTa-large. Она обучена с учителем на данных NLI и предназначена для сравнения смысловой близости текстов, поиска похожих предложений и использования в системах семантического поиска. В README приведены результаты оценки KoSimCSE на KLUE-STS и Kor-STS; таблицы для варианта supervised RoBERTa-large неполны, поэтому отдельные показатели этой модели подтвердить нельзя. Модель принимает текст и выдаёт векторные представления. Обучение описано для корейских наборов KLUE-NLI и Kor-NLI; метаданные также указывают язык ko. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

1062окт. 2023ctx512
textembeddingmithugging-face
jhgan
ko-sroberta-sts

jhgan/ko-sroberta-sts — модель эмбеддингов предложений на основе RoBERTa, обученная для оценки семантического сходства корейских текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768; эмбеддинги подходят для семантического поиска, кластеризации и сравнения текстов. В README приведены результаты оценки на KorSTS: корреляция Пирсона для косинусного сходства — 81,84, Спирмена — 81,82. Модель содержит 137,8 млн параметров, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch и TensorFlow. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; также поддерживается библиотека Sentence-Transformers. Модель ориентирована на корейский язык и семантические задачи с предложениями и абзацами. Условия лицензии в предоставленных данных не описаны.

1680март 2022ctx514
textembeddinghugging-face
bongsoo
kpf-cross-encoder-v1

bongsoo/kpf-cross-encoder-v1 — корейская модель-переранжировщик на базе BERT, дообученная автором на jinmang2/kpfbert как cross-encoder с использованием класса CrossEncoder из SentenceTransformers. Она оценивает семантическое сходство пары текстов и подходит для сопоставления предложений и ранжирования кандидатов по релевантности. В README приведены результаты на корейских наборах KorSTS и KLUE-STS, а также на STS-B и STS-B Multi-MT; для KLUE-STS указана оценка 0,9133. Модель содержит 141,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает до 512 токенов контекста. Карточка показывает поддержку корейского языка; результаты также приведены для английского тестового набора STS-B Multi-MT. Веса доступны в формате PyTorch по лицензии Apache-2.0. Модель выдаёт оценку сходства для пары текстов, а не универсальные текстовые ответы.

1340янв. 2023ctx512
textapache-2.0hugging-face
cointegrated
LaBSE-en-ru

LaBSE-en-ru — сокращённая версия LaBSE, созданной Google и перенесённой в Sentence Transformers, адаптированная автором cointegrated для английского и русского языков. Это плотная модель семейства BERT с 155,5 млн параметров и контекстом до 512 токенов; в словаре оставлены токены только для английского и русского, что сократило словарь до 10% исходного, а число параметров — до 27% исходного размера LaBSE. Модель предназначена для получения векторных представлений предложений на английском и русском языках. Такие эмбеддинги можно использовать для поиска семантически близких текстов и оценки сходства между предложениями, в том числе между языками. В README указано, что сокращение не ухудшило качество эмбеддингов для этих двух языков. Модель распространяется в форматах PyTorch, Safetensors и TensorFlow. Лицензия в предоставленных данных не указана.

17K60март 2022ctx512
textembeddinghugging-face
danfeg
LaBSE_Finetuned-FR-1000

danfeg/LaBSE_Finetuned-FR-1000 — дообученная модель Sentence-Transformers на основе LaBSE для получения плотных векторных представлений предложений и абзацев. Она рассчитана на задачи семантического поиска, сравнения сходства предложений и кластеризации текстов. Обучение использовало CosineSimilarityLoss. Модель построена на архитектуре BERT, содержит около 498,1 млн параметров, формирует эмбеддинги размерности 768 и принимает последовательности длиной до 512 токенов. Репозиторий предоставляет веса PyTorch и Safetensors. Суффикс FR-1000 указывает на французскую специализацию, однако доступные сведения не раскрывают состав обучающих данных или конкретные языковые ограничения. Лицензия в предоставленных данных не указана.

960март 2024ctx512
textembeddinghugging-face
redis
langcache-reranker-v1-mnrl

Redis дообучила эту модель Cross-Encoder на базе Alibaba-NLP/gte-reranker-modernbert-base для оценки релевантности пар текстов в задачах семантического кэширования LangCache. Модель принимает пару текстов и выдаёт один числовой score, который можно использовать для классификации пар и ранжирования ответов или документов по запросу. Модель построена на ModernBERT, содержит около 149 млн параметров и обрабатывает последовательности длиной до 8192 токенов. Она обучена на англоязычном наборе LangCache Sentence Pairs из 1 452 533 примеров с помощью sentence-transformers и MultipleNegativesRankingLoss. Лицензия — Apache-2.0.

540нояб. 2025ctx8.2K
textapache-2.0hugging-face
redis
langcache-reranker-v2-bce

Redis разработала эту модель Cross-Encoder для оценки пар текстов в сценариях семантического кэширования LangCache. Она дообучена на Alibaba-NLP/gte-reranker-modernbert-base с использованием библиотеки sentence-transformers и датасета LangCache Sentence Pairs. Модель принимает пару текстов и возвращает оценку их соответствия, которую можно использовать для классификации пар и переранжирования результатов поиска. Модель построена на ModernBERT, имеет 149 млн параметров и максимальную длину последовательности 8192 токена. Она рассчитана на английский язык. В README приведены результаты оценки классификации и переранжирования на тестовых наборах, однако результаты на наборах NanoQuoraRetrieval, NanoMSMARCO и NanoNQ ниже показателей базовой модели. Модель распространяется по лицензии Apache-2.0.

840окт. 2025ctx8.2K
textapache-2.0hugging-face
Wouze
laya-ara-rag

laya-ara-rag — модель Мохаммада Альхенизана для переранжирования коротких списков арабских текстовых фрагментов в системах поиска и RAG. Это дообученная версия convaiinnovations/laya-multilingual на архитектуре ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Модель не генерирует текст и не предназначена для первичного поиска: она оценивает релевантность пары «запрос — фрагмент» и выбирает наиболее подходящие варианты из списка до 12 кандидатов. Обучение проводилось с использованием RLCD на данных MIRACL-ar, арабской части MASSIVE и внутренних логов поиска, которые не распространяются. В README приведены результаты на арабских задачах переранжирования, включая MIRACL-ar, Mr.TyDi-ar и MLQA-ar; показатели отражают выбор первого кандидата в коротком списке, а не стандартную метрику nDCG@10. Модель распространяется под лицензией Apache-2.0.

3163сент. 2026ctx8.2K
textapache-2.0hugging-face
Petrouil
LFM2.5-Mosaic-900M-A500M-Base

Petrouil/LFM2.5-Mosaic-900M-A500M-Base — агентный текстовый ассистент на архитектуре Mixture-of-Experts, разработанный на основе замороженной базовой модели LiquidAI/LFM2.5-350M-Base. В модель добавлены десять MoE-слоёв; карточка указывает 921 млн параметров всего и около 543 млн активных на токен, тогда как метаданные каталога сообщают 444,6 млн параметров. Модель рассчитана на вызов инструментов, функции и многошаговые диалоги с инструментами, а также обычное общение и следование инструкциям в цикле ассистента с подключёнными инструментами. Она генерирует структурированные вызовы инструментов в JSON или в нативном формате LFM2.5. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 128 000 токенов. Она дообучена на данных для агентных сценариев, включая траектории вызова инструментов, обслуживание клиентов и поиск в интернете, а также на наборах разговоров и инструкций. Слабые стороны — ограниченные общие знания и рассуждения на длинном горизонте, возможные повторы в длинной генерации и мягкая маршрутизация между экспертами. Указана пользовательская лицензия; перед коммерческим распространением следует проверить её условия.

440авг. 2026ctx128K
textotherhugging-face
zhibinlan
LLaVE-7B

LLaVE-7B — мультимодальная модель эмбеддингов на 7,1 млрд параметров, разработанная авторами проекта LLaVE на базе lmms-lab/llava-onevision-qwen2-7b-ov. Она предназначена для получения представлений текста, изображений, нескольких изображений и видео, в частности для поиска и сопоставления между модальностями. В карточке заявлены высокие результаты на бенчмарке MMEB при обучении на 662 тысячах пар и перенос на поиск по видео без специального обучения на видеоданных. Модель основана на архитектуре LLaVA с языковой частью Qwen2, использует формат safetensors и доступна через Transformers. Метаданные указывают контекст до 32 768 токенов; README приводит значение 4K токенов. Лицензия — Apache-2.0. В метаданных указана поддержка английского языка.

295февр. 2025ctx32.8K
textapache-2.0hugging-face
l3cube-pune
malayalam-sentence-bert-nli

MalayalamSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP и дообученная на наборе данных NLI на базе l3cube-pune/malayalam-bert. Она создаёт векторные представления предложений на малаяламском языке для сравнения семантической близости и поиска похожих фраз. Модель можно применять в семантическом поиске, группировке предложений и других сценариях, где требуется оценивать сходство текстов. Модель имеет архитектуру BertModel, содержит около 264,8 млн параметров и поддерживает контекст до 512 токенов. Для получения представления предложения README рекомендует использовать sentence-transformers либо применить подходящую операцию pooling к контекстным представлениям токенов. Распространяется в формате PyTorch по лицензии CC BY 4.0.

1472март 2023ctx512
textembeddingcc-by-4.0hugging-face
l3cube-pune
marathi-sentence-bert-nli

MahaSBERT — модель представления предложений, разработанная командой L3Cube-Pune в рамках проекта MahaNLP. Она основана на MahaBERT для маратхи (l3cube-pune/marathi-bert-v2) и дообучена на наборе данных NLI. Модель относится к семейству BERT, содержит 264,8 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; контекст ограничен 512 токенами. Модель предназначена для оценки смыслового сходства предложений, семантического поиска и кластеризации текстов на маратхи. Её можно использовать через Sentence-Transformers либо Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch и доступен по лицензии CC BY 4.0. README упоминает более позднюю улучшенную версию, дообученную для сходства предложений.

2461нояб. 2022ctx512
textembeddingcc-by-4.0hugging-face
Omartificial-Intelligence-Space
Marbert-all-nli-triplet-Matryoshka

Omartificial-Intelligence-Space разработала эту модель Sentence Transformers дообучением арабоязычной UBC-NLP/MARBERTv2 на наборе Arabic-NLi-Triplet. Модель кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости текстов; для оценки близости используется косинусное сходство. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Matryoshka-обучение позволяет использовать укороченные представления размерностью 512, 256, 128 или 64. Архитектура основана на BERT, максимальная длина входа — 512 токенов. Основной язык — арабский. В метаданных указаны 190 млн параметров и лицензия Apache-2.0. Результаты на приведённых в карточке наборах STS показывают умеренное соответствие оценкам семантической близости; качество на иных данных может отличаться. Модель не предназначена для генерации текста.

9301июнь 2024ctx512
textembeddingapache-2.0hugging-face
xmanii
maux-gte-persian-v3

xmanii/maux-gte-persian-v3 — модель Sentence Transformer, дообученная на базе Alibaba-NLP/gte-multilingual-base на наборе mshojaei77/Persian_sft из 80 000 пар предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью. Модель предназначена прежде всего для семантического сходства и поиска по персидским текстам, а также для поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру Transformer с пулингом CLS-токена и нормализацией векторов; максимальная длина последовательности — 8192 токена. Карточка указывает библиотеку sentence-transformers и формат весов safetensors. Лицензия в предоставленных источниках не указана.

1056май 2025ctx8.2K
textembeddinghugging-face
ajaysdhillon14
minbert-sts-nli-meanpool

ajaysdhillon14/minbert-sts-nli-meanpool — кодировщик предложений на основе bert-base-uncased, дообученный в два этапа для оценки семантического сходства. Сначала модель обучалась на задаче распознавания текстового следования на парах SNLI и MultiNLI, затем дообучалась на STS. Архитектура — BERT, около 99,1 млн параметров; модель хранит только кодировщик, без отдельной головы классификации. Для каждого предложения модель строит вектор с помощью masked mean pooling скрытых состояний, включая позиции [CLS] и [SEP]. Сходство двух предложений вычисляется как косинусная близость векторов, линейно преобразованная из диапазона [-1, 1] в оценку [0, 5]. На dev-наборе STS-B для трёх запусков указаны значения Pearson 0,7432–0,7436 и Spearman 0,7411–0,7460. Модель предназначена для английских текстов. Лицензия — Apache-2.0.

280сент. 2026
textapache-2.0hugging-face
tanbinh2210
mlm_finetuned_2_phobert

tanbinh2210 выпустил модель Sentence Transformers, дообученную на базе tanbinh2210/mlm_finetuned_phobert. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Архитектура включает трансформер RoBERTa с усреднением токеновых представлений; модель содержит 162,4 млн параметров и обрабатывает последовательности длиной до 258 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. Она обучалась на выборках query, pos и neg из JSON-датасета, размер которого указан как 357 018 примеров. Базовая модель основана на PhoBERT, поэтому модель ориентирована прежде всего на вьетнамский язык. Распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

240нояб. 2024ctx258
textembeddinghugging-face
jfarray
Model_bert-base-multilingual-uncased_1_Epochs

Модель jfarray/Model_bert-base-multilingual-uncased_1_Epochs — модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные эмбеддинги размерностью 256. Её можно применять для семантического поиска, сравнения текстов и кластеризации. По метаданным, модель содержит 194,6 млн параметров, принимает текст длиной до 512 токенов и опубликована в формате PyTorch. Модель обучена с помощью Sentence-Transformers и функции потерь CosineSimilarityLoss. README не раскрывает обучающие данные и результаты оценки, поэтому качество для конкретных языков и задач по предоставленным сведениям оценить нельзя. Лицензия в доступных данных не приведена.

740март 2022ctx512
textembeddinghugging-face
gabrielloiseau
ModernBERT-base-authorship-verification

gabrielloiseau/ModernBERT-base-authorship-verification — модель Sentence Transformers, дообученная на основе answerdotai/ModernBERT-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов, а также для проверки сходства авторского стиля. Она содержит 149 млн параметров, использует архитектуру ModernBERT и обрабатывает последовательности длиной до 8192 токенов. В метаданных указан английский язык базовой модели; отдельные сведения о языках обучения этой версии не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

1501февр. 2025ctx8.2K
textembeddinghugging-face
karsar
ModernBERT-base-hu_v3

karsar/ModernBERT-base-hu_v3 — модель Sentence Transformers, дообученная автором karsar на базе nomic-ai/modernbert-embed-base для представления венгерских текстов в виде плотных эмбеддингов. Она подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текстов. Модель построена на ModernBERT с mean pooling и нормализацией выходного вектора. Она преобразует текст в эмбеддинг размерности 768; максимальная длина последовательности — 8192 токена. Для оценки сходства README указывает косинусную близость и точность 0,8031 на all-triplet-test. Модель обучена на наборе json с тройками anchor, positive и negative; карточка указывает венгерский язык. Доступна по лицензии Apache-2.0. Метрики и описание датасета приведены автором модели и сами по себе не гарантируют качество на конкретных данных.

2.1K2янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
nickprock
ModernBERT-base-sts

nickprock/ModernBERT-base-sts — англоязычная модель Sentence Transformer, дообученная автором на answerdotai/ModernBERT-base с использованием датасета STSB и функции потерь CoSENTLoss. Она кодирует предложения и абзацы в плотные векторы размерности 768, а сходство между ними оценивается косинусной мерой. Модель построена на ModernBERT и принимает последовательности длиной до 8192 токенов. Модель предназначена прежде всего для оценки семантического сходства предложений; её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты на STS-dev и STS-test: Spearman по косинусному сходству составляет 0,8877 и 0,8684 соответственно. Обучение и оценка описаны для английского языка, поэтому качество на других языках не подтверждено. Лицензия в предоставленных данных не указана.

1332янв. 2025ctx8.2K
textembeddinghugging-face
castorini
monot5-large-msmarco

castorini/monot5-large-msmarco — модель семейства T5-large, разработанная Castorini и дообученная на наборе MS MARCO passage для ранжирования текстовых фрагментов по релевантности запросу. Она предназначена для повторного ранжирования результатов поиска, в том числе пассажей MS MARCO и документов Robust04. Модель содержит 385,2 млн параметров и принимает текст с контекстом до 512 токенов; доступны веса PyTorch и Flax. Модель полезна как второй этап поисковой системы: она оценивает пары «запрос — документ» и помогает упорядочить найденные результаты. Она обучалась на данных MS MARCO, поэтому качество может зависеть от соответствия целевого корпуса и запросов обучающему домену. Лицензия в предоставленных данных не указана.

903март 2022ctx512
textembeddinghugging-face
bingcheng9
mpnet-base-all-nli-triplet

bingcheng9/mpnet-base-all-nli-triplet — англоязычная модель Sentence Transformers, созданная дообучением microsoft/mpnet-base на триплетах датасета AllNLI. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству; максимальная длина входа составляет 512 токенов. Модель подходит для семантического поиска, оценки смысловой близости, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. Архитектура состоит из MPNetModel и mean pooling. В README приведены результаты TripletEvaluator на AllNLI: точность по cosine similarity составляет 0,9156 на dev и 0,9262 на test. Модель принимает английский текст и выдаёт векторы; качество для других языков не подтверждено. Распространяется по лицензии Apache-2.0.

1291окт. 2024ctx514
textembeddingapache-2.0hugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей