/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
511–540 из 13 467
sionic-ai
comsat-embed-ja-8b-preview

comsat-embed-ja-8b-preview — плотная декодерная модель эмбеддингов, разработанная Sionic AI и дообученная для семантического поиска на японском языке. Она кодирует запросы и документы в векторы для поиска по смысловой близости и подходит для поиска по документам, базам знаний и корпоративным коллекциям, а также для извлечения материалов при ответах на вопросы. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3 и принимает текст. README сообщает о тренировке на более чем 1,5 млн японских примеров и длине входа до 8 192 токенов; метаданные указывают контекст до 40 960 токенов. Векторы размерности 4096 формируются с pooling по последнему токену, нормализуются по L2 и сравниваются по косинусному сходству. Запросы следует кодировать с инструкционным префиксом, документы — без него. На JMTEB v2 модель показала средний NDCG@10 0,8133 по 11 задачам поиска. Основной язык модели — японский; метаданные также указывают английский. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Результаты бенчмарка относятся к описанным условиям оценки; пропуск префикса запроса может снизить качество поиска.

1331июль 2026ctx41K
textembeddingcc-by-nc-4.0hugging-face
LeviatanAIResearch
cross-encoder-context-question-fr-v3

Кросс-энкодер для французского языка, разработанный командой Leviatan Research Team на основе distilroberta-base. Модель объединяет два сценария: определяет, можно ли найти ответ на вопрос в заданном контексте, и оценивает смысловое сходство двух текстов. В Hugging Face модель отмечена как text-classification; она принимает пары текстов и выдаёт оценку или бинарную классификацию релевантности и сходства. Модель предназначена для поиска релевантных фрагментов в системе RAG, проверки соответствия контекста вопросу и сравнения предложений. В README приведены результаты на тестах команды и STS-B, включая корреляции и метрики бинарной классификации. Доступны веса в формате safetensors. Условия лицензии в предоставленных данных не описаны.

3730май 2024
texthugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-cos-sim-scale-5-gamma-0.1

Это англоязычный разреженный CSR-энкодер, созданный tomaarsen дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с использованием Sentence Transformers. Он преобразует запросы, предложения и абзацы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; сходство оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, например для поиска ответов на вопросы в коллекциях текстов. Максимальная длина входа составляет 512 токенов. В README приведены результаты оценки поиска на наборах NanoMSMARCO при разных ограничениях на число активных измерений; качество зависит от выбранного ограничения. Модель распространяется по лицензии Apache-2.0.

1490июнь 2025ctx512
textembeddingapache-2.0hugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-cos-sim-scale-5-gamma-1-detach-2

tomaarsen выпустил англоязычный CSR Sparse Encoder на базе mixedbread-ai/mxbai-embed-large-v1, дообученный на Natural Questions с использованием Sentence Transformers. Модель преобразует предложения и абзацы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями и использует косинусное сходство; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного поиска информации, в частности для сопоставления вопросов с подходящими ответами или документами. В карточке приведены оценки поиска на наборах Natural Questions с разным числом активных измерений. Модель имеет 433,9 млн параметров и распространяется по лицензии Apache-2.0.

1530июнь 2025ctx512
textembeddingapache-2.0hugging-face
Komalverma
custom-bge-baai-base-cfr-cms

Это англоязычная модель Sentence Transformer, дообученная Komalverma на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерности 768 и предназначена для поиска и сравнения текстов по семантическому сходству. Сходство между векторами можно оценивать косинусной мерой. Модель построена на архитектуре BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Обучение выполнено на 47 056 парах предложений, а в метаданных указан DenoisingAutoEncoderLoss. Модель подходит для семантического поиска и извлечения релевантных документов, в том числе как компонент RAG. Лицензия в предоставленных данных не указана.

720июль 2026ctx512
textembeddinghugging-face
lightonai
DenseOn

DenseOn — плотная модель поиска LightOn на базе ModernBERT с 149 млн параметров. Она независимо кодирует запросы и документы в векторы размерности 768 и предназначена для поиска по смыслу и ранжирования документов по близости к запросу. Для запросов используется префикс `query:`, для документов — `document:`; применяется CLS-пулинг и косинусное сходство. Модель рассчитана на англоязычный поиск. В README указана максимальная длина последовательности 512 токенов, тогда как метаданные Hugging Face сообщают о контексте в 8192 токена. В бенчмарке BEIR авторы приводят средний результат 56,75 nDCG@10 на 15 наборах данных и 57,71 на очищенном наборе из 12 датасетов. Модель распространяется по лицензии Apache 2.0.

9.1K36март 2026ctx8.2K
textembeddingapache-2.0hugging-face
nthakur
dragon-roberta-context-encoder

nthakur/dragon-roberta-context-encoder — порт модели facebook/dragon-roberta-context-encoder в формат Sentence-Transformers. Это плотный энкодер на архитектуре RoBERTa с 151,8 млн параметров, который преобразует предложения и абзацы в векторы размерности 768. Модель предназначена для семантического поиска, сравнения текстов и кластеризации; для корректного получения представлений при использовании Transformers требуется подходящая операция pooling. Модель принимает текст и выдаёт векторные представления. Максимальная длина контекста составляет 514 токенов. В метаданных указан датасет MS MARCO, а карточка описывает модель как порт DRAGON. Лицензия в предоставленных данных не указана.

1050авг. 2023ctx514
textembeddinghugging-face
nthakur
dragon-roberta-query-encoder

nthakur/dragon-roberta-query-encoder — порт модели facebook/dragon-roberta-query-encoder в формат Sentence-Transformers. Модель на архитектуре RoBERTa содержит 151,8 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Для получения представления применяется pooling поверх контекстных представлений токенов; доступен вариант использования через Sentence-Transformers и Hugging Face Transformers. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. В метаданных указан датасет MS MARCO, а максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

1020авг. 2023ctx514
textembeddinghugging-face
facebook
drama-base

DRAMA-base — компактная плотная модель для многоязычного поиска по текстам, разработанная авторами семейства DRAMA. Она построена на прореженной языковой модели Llama и дообучена для кодирования запросов и документов в векторы, пригодные для поиска и сравнения сходства. В карточке указана архитектура Llama с классом DramaModel; размер репозитория — 211,7 млн параметров, а README описывает вариант примерно со 113 млн параметров без эмбеддингов. Контекстное окно составляет 131 072 токена. Модель предназначена для семантического поиска и извлечения документов на английском и других языках. Размер эмбеддинга по умолчанию — 768 измерений; обучение Matryoshka позволяет сокращать его, например, до 512 или 256. Для запросов используется префикс «Query: », а в реализации применяется двунаправленное внимание. README сообщает об оценке на BEIR, MIRACL, MLDR и многоязычных задачах MTEB, а также об ускорении пакетного вывода с последовательностями разной длины при использовании Nested Tensors. Обучающие данные охватывали арабский, бенгальский, китайский, английский, финский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, персидский, португальский, русский, испанский, суахили, телугу, тайский и йоруба; для других языков качество может снижаться. Для загрузки через Transformers или Sentence Transformers требуется доверять пользовательскому коду репозитория. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование не разрешено условиями этой лицензии.

47922февр. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
MrLight
dse-phi35-vidore-ft

DSE-Phi3-Vidore-ft — биэнкодер для поиска по документам, разработанный на базе Phi-3.5-Vision и обученный авторами с использованием Tevatron. Он преобразует скриншоты документов в плотные векторные представления, сохраняя текст, изображения и структуру страниц, а также умеет кодировать текстовые запросы и текст документов для поиска по содержимому. Модель дообучена на части Docmatix-ir и затем на обучающем наборе ViDoRe; перед этим она прошла этап обучения на текстовом поиске и поиске по веб-страницам. Модель предназначена для семантического поиска и ответов на вопросы по PDF и другим визуально представленным документам: запрос и документ кодируются отдельно, после чего их векторы сравниваются по сходству. Архитектура — плотная Phi3VForCausalLM с 3,7 млрд параметров и контекстом 4096 токенов; библиотека — Tevatron. README приводит для модели DSE-Phi3-Vidore-V2 результат 82,9 nDCG@5 на таблице ViDoRE, но это число не следует приписывать данному чекпойнту. Модель распространяется по лицензии MIT. Ограничения: карточка не приводит отдельной оценки качества именно этого чекпойнта; для использования как поискового энкодера нужны подходящие процессор, схема кодирования и ранжирование по сходству векторов.

8310сент. 2024ctx131.1K
textmithugging-face
MrLight
dse-qwen2-2b-mrl-v1

DSE-QWen2-2b-MRL-V1 — дообученная модель на основе Qwen2-VL-2B-Instruct, разработанная для поиска документов по изображениям их страниц. Это bi-encoder: он кодирует текстовый запрос и скриншот документа в плотные векторы, которые можно сравнивать по сходству. Такой подход сохраняет текст, изображения и компоновку исходного документа без предварительного извлечения текста. Модель предназначена для поиска по PDF-документам, веб-страницам, слайдам и другим материалам, представленным изображениями. Она также умеет кодировать текст документа; обучение с Tevatron/msmarco-passage-aug поддерживает поиск по текстовому содержимому. В README указано значение 85,8 nDCG@5 на таблице лидеров ViDoRE. Архитектура основана на Qwen2-VL, размер модели — 1,5 млрд параметров, нативная длина контекста — 32 768 токенов; для запуска используется PyTorch и библиотека Tevatron. В метаданных указаны английский и французский языки. При обработке крупных изображений зрительный энкодер Qwen может требовать много видеопамяти; размер изображений можно уменьшить, чтобы уложиться в доступные ресурсы. Лицензия — Apache-2.0.

5.0K68сент. 2024ctx32.8K
textapache-2.0hugging-face
Alibaba-NLP
E2Rank-0.6B

Alibaba-NLP/E2Rank-0.6B — модель для получения текстовых эмбеддингов и ранжирования списков документов, разработанная Alibaba-NLP в рамках семейства E2Rank. Она расширяет одну embedding-модель для поиска и listwise-реранжирования: текст запроса и кандидаты документов формируют обогащённый запрос, а релевантность оценивается по косинусному сходству эмбеддингов. Модель основана на Qwen3-0.6B и дообучена на данных для ранжирования. Модель имеет плотную архитектуру Qwen3 из 28 слоёв, около 508 млн параметров, размерность эмбеддинга 1024 и контекст до 40 960 токенов. Она учитывает инструкции и поддерживает построение поискового конвейера с извлечением кандидатов и их последующим реранжированием; в README также заявлены результаты на BEIR, BRIGHT и MTEB. Для использования в режиме эмбеддингов требуется вручную добавлять специальный завершающий токен к каждому входному тексту. Модель принимает текст и выдаёт эмбеддинги, используемые для поиска и оценки релевантности. Лицензия — Apache-2.0. Скорость и качество зависят от размера списка кандидатов и аппаратных ресурсов; опубликованные сравнительные результаты сами по себе не гарантируют аналогичного качества на конкретном наборе данных.

19314окт. 2025ctx41K
textembeddingapache-2.0hugging-face
dwzhu
e5-base-4k

E5-base-4k — модель для получения векторных представлений текстов, представленная в работе LongEmbed: Extending Embedding Models for Long Context Retrieval. Авторы — Dawei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li. Модель предназначена для поиска и сопоставления запросов с длинными текстовыми фрагментами, в том числе в задачах retrieval. Это плотная модель семейства BERT с 12 слоями и размерностью эмбеддинга 768. Она содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 4096 токенов. Репозиторий содержит веса PyTorch; карточка указывает английский язык. Модель можно применять для поиска по коллекциям документов и семантического сравнения текстов. В README приведены примеры кодирования запросов и пассажей из MS MARCO, а оценку предлагают воспроизводить на наборах BEIR и MTEB. Лицензия — MIT. Карточка не сообщает о других языках или ограничениях качества; практические результаты следует оценивать на данных целевого поиска.

9.3K14март 2024ctx4.1K
textmithugging-face
d0rj
e5-base-en-ru

d0rj/e5-base-en-ru — компактная версия модели intfloat/multilingual-e5-base, созданная отсечением токенов словаря и предназначенная для работы с английским и русским языками. Это плотный энкодер XLM-RoBERTa с 159,6 млн параметров по метаданным Hugging Face; README указывает размерность эмбеддингов 1024 и сокращение размера модели примерно с 1061 до 505 МБ. Модель выдаёт векторные представления текста для поиска и оценки сходства предложений; для поиска автор рекомендует сравнивать векторы скалярным произведением. Модель подходит для семантического поиска, извлечения релевантных документов и сравнения русских и английских запросов с текстами. README показывает использование через Transformers и sentence-transformers. Лицензия — MIT. Оценка на SberQuAD упомянута, но значения метрик в README отсутствуют, поэтому по карточке нельзя судить о качестве относительно базовой модели. Контекстное окно составляет 514 токенов; словарь ограничен русскими и английскими токенами.

2069сент. 2023ctx514
textmithugging-face
johnnas12
e5-galaxy-finetuned

johnnas12/e5-galaxy-finetuned — англоязычная модель Sentence Transformer, дообученная на базе intfloat/e5-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их по косинусному сходству. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства текстов и поиска перефразировок. Её также можно применять для кластеризации и классификации текстов на основе эмбеддингов. В обучающем наборе указано 68 840 пар запросов и passages; примеры ориентированы на поиск технической документации. Лицензия в предоставленных данных не указана.

1710сент. 2025ctx512
textembeddinghugging-face
idanylenko
e5-large-v2-ctx1024

idanylenko/e5-large-v2-ctx1024 — созданная автором на основе intfloat/e5-large-v2 англоязычная модель BERT для получения текстовых эмбеддингов и семантического поиска. Расширение контекста выполнено без дообучения параметров: изменены позиционные эмбеддинги методом нелинейной интерполяции, благодаря чему модель принимает последовательности длиной до 1024 токенов — вдвое больше базовой версии. Модель предназначена для поиска релевантных документов и фрагментов по длинным запросам или текстам, а также для семантического сравнения и кластеризации. В README приведены результаты оценки на четырёх задачах поиска LongEmbed; по указанной метрике NDCG@10 результаты превысили базовую e5-large-v2. Это англоязычная модель с 433,9 млн параметров, доступная в формате safetensors и совместимая с библиотекой sentence-transformers. Лицензия — MIT.

991апр. 2025ctx1K
textembeddingmithugging-face
clips
e5-large-v2-t2t-nl

clips/e5-large-v2-t2t-nl — нидерландская модель для получения плотных текстовых эмбеддингов, созданная дообучением clips/e5-large-v2-t2t. Она предназначена для семантического поиска, сравнения предложений и ранжирования текстов, в том числе для поиска по запросам и документам и задач на основе нидерландских наборов BEIR. Модель построена на архитектуре BERT, содержит 433,4 млн параметров, принимает текст и формирует векторные представления. Максимальная длина контекста — 512 токенов. Модель поддерживает сценарии поиска и сопоставления текстов на нидерландском языке. В карточке приведена оценка на MTEB-NL, но она не описывает все возможные прикладные сценарии. Репозиторий распространяется по лицензии MIT.

1000сент. 2025ctx512
textembeddingmithugging-face
usama1111
e5-pak-legal-constitutional

Карточка модели usama1111/e5-pak-legal-constitutional на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

1860авг. 2026ctx514
textembeddingmithugging-face
d0rj
e5-small-en-ru

d0rj/e5-small-en-ru — компактная версия модели intfloat/multilingual-e5-small, созданная удалением токенов словаря, не нужных для русского и английского языков. Она использует архитектуру XLM-RoBERTa и предназначена для получения векторных представлений предложений и поиска текстов по смыслу. Для поиска автор рекомендует сравнивать эмбеддинги скалярным произведением; модель также можно подключить через Transformers или sentence-transformers. В карточке приведено 44,8 млн параметров и размер файлов около 171 МБ; контекст модели составляет 512 токенов. Указана лицензия MIT. В README есть таблица результатов на SberQuAD, но значения метрик отсутствуют, поэтому качество на этом тесте по карточке оценить нельзя. Модель ограничена русским и английским словарём и не предназначена для генерации текста.

8214сент. 2023ctx512
textmithugging-face
clips
e5-small-trm

E5-small-trm — компактная версия модели multilingual-e5-small, опубликованная пользователем clips и созданная с помощью vocabtrimmer: словарь исходной модели сокращён с 250 037 до 50 002 токенов, а число параметров в карточке указано как 47,5 млн. Это модель Sentence Transformers на архитектуре BERT, предназначенная для получения текстовых эмбеддингов, семантического поиска и сравнения предложений; карточка также указывает поддержку sentence-similarity. README описывает настройку словаря на нидерландском поднаборе C4 и пример кодирования запросов и фрагментов MS MARCO. Модель принимает текст и выдаёт векторы; максимальный контекст — 512 токенов. Лицензия — MIT. Сокращение словаря ориентировано на нидерландский язык, поэтому качество для других языков может отличаться от исходной многоязычной модели.

1120авг. 2025ctx512
textembeddingmithugging-face
ggrn
e5-small-v2

E5-small-v2 — англоязычная модель для получения векторных представлений текста, основанная на архитектуре BERT и обученная методом контрастного предварительного обучения со слабой супервизией. В карточке указаны 12 слоёв и размерность эмбеддинга 384; репозиторий содержит веса PyTorch и рассчитан на использование с библиотекой Sentence Transformers. Модель подходит для преобразования запросов и текстовых фрагментов в эмбеддинги для поиска и сравнения сходства, в том числе в задачах ранжирования пассажей. Она работает только с английскими текстами; вход длиннее 512 токенов обрезается. Лицензия — MIT.

11012июнь 2023ctx512
textembeddingmithugging-face
ayushexel
emb-all-MiniLM-L6-v2-squad-3-epochs

ayushexel/emb-all-MiniLM-L6-v2-squad-3-epochs — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L6-v2, разработанная автором репозитория ayushexel. Она преобразует предложения и абзацы в плотные семантические векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель подходит для поиска подходящих контекстов по вопросам, семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. Архитектура — энкодер BERT с усреднением токенных представлений и нормализацией; размер составляет 25,9 млн параметров. Метаданные указывают контекст до 512 токенов, тогда как карточка модели описывает максимальную длину последовательности 256 токенов. Обучение проводилось на примерах с вопросом, контекстом и негативным контекстом; в карточке также приведена оценка cosine_accuracy 0,4008 на GooQA-dev. Базовая модель англоязычная, поэтому прежде всего модель рассчитана на английский текст. Лицензия в предоставленных данных не указана.

1000апр. 2025ctx512
textembeddinghugging-face
tomaarsen
ettin-encoder-32m-nq

tomaarsen/ettin-encoder-32m-nq — англоязычная модель Sentence Transformers, дообученная на наборе Natural Questions на основе jhu-clsp/ettin-encoder-32m. Она использует архитектуру ModernBERT с mean pooling и преобразует текстовые запросы, предложения и абзацы в плотные эмбеддинги размерности 384; сходство между векторами можно оценивать косинусной мерой. Модель предназначена прежде всего для поиска релевантных текстов по запросу и семантического сопоставления в системах информационного поиска. В README указана максимальная длина последовательности 256 токенов. Метаданные сообщают 31,9 млн параметров и контекст до 7999 токенов; для практического использования следует учитывать ограничение длины, заявленное конфигурацией Sentence Transformers. Модель принимает и выдаёт текстовые представления в виде векторов, обучена на английских вопросах и ответах. Лицензия — MIT.

1090май 2026ctx8K
textembeddingmithugging-face
sentence-transformers
facebook-dpr-ctx_encoder-multiset-base

Это версия энкодера контекста Dense Passage Retrieval (DPR), перенесённая в формат Sentence Transformers. Модель на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 768; число параметров — 136,7 млн, максимальная длина контекста — 512 токенов. Модель предназначена для получения эмбеддингов текстовых фрагментов, которые можно применять для семантического поиска и кластеризации. Она принимает текст и выдаёт векторы; для работы через Transformers поверх контекстных представлений требуется применить соответствующую операцию pooling. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Перенос модели основан на DPR от Facebook. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специализированных предметных областях.

2.2K6март 2022ctx512
textembeddingapache-2.0hugging-face
sentence-transformers
facebook-dpr-question_encoder-multiset-base

Это порт модели DPR question encoder в формат Sentence Transformers, опубликованный под именем sentence-transformers. Модель на основе BERT преобразует предложения и абзацы в плотные векторы размерности 768; всего в ней 136,7 млн параметров, а максимальная длина входа — 512 токенов. Модель предназначена для получения эмбеддингов, семантического поиска и кластеризации текстов. Векторные представления можно использовать для поиска фрагментов, близких по смыслу к вопросу, в системах поиска и обработки коллекций документов. Репозиторий содержит варианты в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Это энкодер, а не генеративная модель: он возвращает векторные представления текста. README не сообщает о специальных ограничениях качества или доменной специализации.

1.6K2март 2022ctx512
textembeddingapache-2.0hugging-face
ng3owb
finance_embedding_8k

Карточка модели ng3owb/finance_embedding_8k на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

1052янв. 2025ctx8.2K
textembeddingmithugging-face
HiImHa
fine-tuned-bge

HiImHa/fine-tuned-bge — дообученная модель Sentence Transformers на базе BAAI/bge-m3, разработанная автором репозитория HiImHa. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024 для поиска и сравнения текстов. Архитектура включает XLM-RoBERTa, CLS-пулинг и нормализацию векторов; сходство можно оценивать косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель принимает и обрабатывает текст; поддерживаемые языки отдельно не перечислены, при этом базовая BGE-M3 является многоязычной. Модель обучалась на 3733 парах предложений с MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.

950июнь 2026ctx8.2K
textembeddinghugging-face
AlisherAmirbek
fine-tuned-bge-small

Карточка модели AlisherAmirbek/fine-tuned-bge-small на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1330окт. 2025ctx512
textembeddingmithugging-face
mustozsarac
finetuned-four-epoch-multi-qa-mpnet-base-dot-v1

Модель mustozsarac/finetuned-four-epoch-multi-qa-mpnet-base-dot-v1 — дообученный разработчиком Sentence Transformer на базе sentence-transformers/multi-qa-mpnet-base-dot-v1. Она использует MPNet с пуллингом по токену CLS и содержит 136,7 млн параметров. Модель кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения векторов используется скалярное произведение. Максимальная длина входной последовательности — около 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов. Её можно применять для поиска релевантных фрагментов и ответов, выявления перефразировок, кластеризации текстов и классификации на основе эмбеддингов. Базовая модель ориентирована на английские вопросы и текстовые фрагменты; README не сообщает, на каком языке собраны данные дообучения. Модель подходит для построения поисковых и аналитических конвейеров, где текст преобразуется в векторы, а релевантность определяется сравнением этих векторов. Для использования опубликованы веса в формате safetensors; библиотека модели — Sentence Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

970июнь 2024ctx514
textembeddinghugging-face
tikanosa
fine-tuned-sbert-prodi

Это дообученная модель Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанная автором репозитория tikanosa. Она преобразует предложения и абзацы на входе в плотные векторы размерности 384 и предназначена для поиска и сравнения текстов по семантическому сходству. Модель использует архитектуру BERT с усредняющим pooling и косинусную функцию сходства. В README указан максимальный размер последовательности 128 токенов, тогда как метаданные каталога задают нативный контекст в 512 токенов. Для практической работы следует учитывать ограничение README в 128 токенов. Модель принимает текст и возвращает векторы; обучалась на 4 656 примерах с CosineSimilarityLoss. Данные подтверждают многоязычную основу, но не перечисляют конкретные поддерживаемые языки. Лицензия в предоставленных данных не указана.

1010июль 2025ctx512
textembeddinghugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей