/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
3 211–3 240 из 13 467
joshuapb
fine-tuned-matryoshka-100

joshuapb/fine-tuned-matryoshka-100 — англоязычная модель Sentence Transformers, дообученная автором на основе BAAI/bge-base-en-v1.5 с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. Она кодирует предложения и абзацы в плотные эмбеддинги для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: модель использует CLS-пулинг и нормализацию, создаёт векторы размерностью 768, а сходство можно оценивать косинусной мерой. Обучение Matryoshka позволяет использовать укороченные эмбеддинги размерностью 512, 256, 128 или 64; максимальная длина входа — 512 токенов. Модель содержит 136,7 млн параметров и распространяется по лицензии Apache-2.0.

1020авг. 2024ctx512
textembeddingapache-2.0hugging-face
joshuapb
fine-tuned-matryoshka-1000

joshuapb/fine-tuned-matryoshka-1000 — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и других задач работы с эмбеддингами. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; для сравнения векторов используется косинусное сходство. Модель поддерживает последовательности длиной до 512 токенов. Благодаря Matryoshka-обучению эмбеддинги можно использовать в сокращённых размерностях 64, 128, 256 и 512, сохраняя пригодность для поиска. В README приведены результаты оценки информационного поиска на наборах dim_64–dim_768; они относятся к этим оценочным данным и не гарантируют аналогичное качество на других корпусах. Модель рассчитана на английский язык, имеет 136,7 млн параметров и распространяется по лицензии Apache-2.0.

1170авг. 2024ctx512
textembeddingapache-2.0hugging-face
h3lmi
fine_tuned_minilm12

h3lmi/fine_tuned_minilm12 — модель для получения плотных векторных представлений предложений и абзацев. Она основана на архитектуре BERT и содержит около 40 млн параметров; модель выдаёт эмбеддинги размерностью 384. Контекст ограничен 512 токенами. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Для работы доступны PyTorch и библиотеки Sentence-Transformers или Transformers; при использовании Transformers требуется корректно выполнить pooling контекстных представлений токенов. Карточка не сообщает о специализации на конкретном языке или предметной области. Лицензия в предоставленных данных не указана.

910авг. 2023ctx512
textembeddinghugging-face
yograjm
finetuned-MiniLM-question-answering

yograjm/finetuned-MiniLM-question-answering — модель на базе Sentence Transformers, дообученная разработчиком с помощью AutoTrain для работы с предложениями. Она создаёт плотные векторные представления текста, которые можно использовать для семантического поиска, сравнения запросов и предложений, а также поиска подходящих фрагментов для ответа на вопрос. Модель основана на BERT-архитектуре и содержит 25,9 млн параметров; максимальная длина входа — 512 токенов. Для применения используется библиотека Sentence Transformers, веса представлены в формате safetensors. Название указывает на сценарии вопросов и ответов, однако README описывает обучение как Sentence Transformers и не приводит примеров генерации ответов. Поэтому модель следует рассматривать как энкодер для поиска и сопоставления текста, а не как генератор ответов. Базовая модель — англоязычный sentence-энкодер sentence-transformers/all-MiniLM-L6-v2; лицензия и подтверждённый набор языков в доступных данных не указаны.

1301сент. 2025ctx512
textembeddinghugging-face
srikarvar
fine_tuned_model_14

Это модель SentenceTransformer, дообученная автором srikarvar на базе intfloat/multilingual-e5-small для сравнения и поиска текстов по смыслу. Архитектура основана на BERT: модель преобразует предложения и абзацы в плотные векторы размерности 384, применяя усреднение токенов и нормализацию; близость оценивается косинусным сходством. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В карточке приведены результаты бинарной классификации сходства на парах предложений, однако они не гарантируют аналогичное качество на других данных. Модель поддерживает многоязычные эмбеддинги благодаря базовой multilingual-e5-small; конкретный набор языков отдельно не перечислен. Для запуска предназначена библиотека Sentence Transformers. Лицензия в предоставленных сведениях не указана.

140сент. 2024ctx512
textembeddinghugging-face
srikarvar
fine_tuned_model_5

srikarvar/fine_tuned_model_5 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В основе — архитектура BERT с усреднением токенных представлений и нормализацией; модель рассчитана на последовательности до 512 токенов. Дообучение проведено на парах предложений с метками сходства с использованием OnlineContrastiveLoss; в README приведены результаты оценки на тестовом наборе. Базовая модель multilingual-e5-small предназначена для многоязычных текстовых эмбеддингов, однако конкретные поддерживаемые языки этой версии в карточке не перечислены. Для работы нужны текстовые входы; результатом служат векторы, которые можно использовать в поисковых и сравнительных системах. Лицензия в предоставленных данных не указана.

170авг. 2024ctx512
textembeddinghugging-face
owngpt
finetuned-phobert-base-v2

owngpt/finetuned-phobert-base-v2 — модель Sentence-Transformers на основе PhoBERT, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно использовать для семантического поиска, кластеризации и сравнения сходства текстов; в README указано обучение с TripletLoss и евклидовой метрикой расстояния. Архитектура — RoBERTa, число параметров — 162,4 млн, формат весов — PyTorch, длина контекста — 258 токенов. Модель предназначена для получения эмбеддингов текста, которые позволяют находить семантически близкие фрагменты и группировать тексты. Семейство PhoBERT указывает на ориентацию на вьетнамский язык. Лицензия в предоставленных данных не указана.

1090сент. 2023ctx258
textembeddinghugging-face
kimquynh
finetuned_sbert_3

Это модель Sentence Transformer на базе BAAI/bge-base-en-v1.5, дообученная автором репозитория kimquynh для сравнения предложений и поиска по тексту. Архитектура состоит из BERT, CLS-пулинга и нормализации эмбеддингов; модель содержит 136,7 млн параметров и выдаёт плотные векторы размерности 768. Сходство между векторами оценивается косинусной мерой. Модель принимает текст и предназначена для семантического поиска, извлечения релевантных фрагментов и оценки сходства предложений или абзацев. Максимальная длина последовательности — 512 токенов. Карточка приводит результаты оценки на задачах сходства и бинарной классификации, в том числе на наборе resume-job-sim. Базовая модель англоязычная; поддержка других языков в карточке не описана. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

620июль 2026ctx512
textembeddinghugging-face
castorini
first_mistral

first_mistral — языковая модель Castorini, дообученная на основе mistralai/Mistral-7B-Instruct-v0.3 для ранжирования списков документов. Она использует стратегию FIRST и принимает решение по логитам первого токена, чтобы повысить эффективность ранжирования при сохранении качества. Модель обучена на 40 тысячах примеров ранжирования, размеченных GPT-4 и взятых из RankZephyr. Модель предназначена для переупорядочивания результатов поиска и других задач, где нужно выбрать наиболее релевантные документы из списка. В описанной авторами оценке она превосходит исходную реализацию FIRST на большинстве подмножеств бенчмарка BEIR. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; основной язык — английский. Лицензия MIT.

2621нояб. 2024ctx32.8K
textmithugging-face
Gonalb
flucold-ft-v0

Gonalb/flucold-ft-v0 — модель Sentence Transformers, дообученная на базе Snowflake/snowflake-arctic-embed-l. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Архитектура основана на BertModel с pooling по CLS-токену; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска на небольшом наборе данных из 334 обучающих примеров. Репозиторий содержит веса в формате safetensors; условия лицензии в предоставленных данных не описаны.

1201февр. 2025ctx512
textembeddinghugging-face
bchan007
fnctech

bchan007/fnctech — модель Sentence-Transformers на архитектуре MPNet, разработанная и опубликованная пользователем bchan007. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, использует формат PyTorch и рассчитана на входной контекст до 514 токенов. Модель подходит для поиска похожих предложений и документов, группировки текстов по смыслу и построения систем поиска по эмбеддингам. Она принимает текст и выдаёт векторы; метаданные также указывают поддержку извлечения признаков и вычисления сходства предложений. Языки, для которых она предназначена, не установлены по доступным сведениям. Лицензия в предоставленных данных не указана.

590март 2022ctx514
textembeddinghugging-face
futuredatascience
from-classifier-v1

Карточка модели futuredatascience/from-classifier-v1 на Hugging Face совпадает с карточкой futuredatascience/from-classifier-v0, поэтому описание составлено по ней. futuredatascience/from-classifier-v0 — модель Sentence Transformers на архитектуре MPNet, разработанная Futuredatascience. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и возвращает векторные представления; максимальная длина контекста — 514 токенов. Для обучения использовалась функция потерь CosineSimilarityLoss. Модель опубликована в формате PyTorch; метаданные не содержат сведений о лицензии или языковой специализации.

680нояб. 2022ctx514
textembeddinghugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-MISTRAL_FULL-notrescaled_40000

DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-MISTRAL_FULL-notrescaled_40000 — модель Sentence-Transformers на архитектуре BERT, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения текстов и кластеризации. Обучение использовало MarginDistillationLoss; в карточке также описана обработка контекстных представлений с помощью pooling. Модель содержит 433,9 млн параметров и принимает до 512 токенов контекста. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

910февр. 2024ctx512
textembeddinghugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL-notrescaled_20000

FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL-notrescaled_20000 — модель в формате Sentence-Transformers на базе архитектуры RoBERTa, разработчик указан в идентификаторе репозитория как DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Обучение использовало MarginDistillationLoss; модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Для работы можно использовать библиотеку Sentence-Transformers либо Transformers с соответствующей операцией pooling. В репозитории указаны веса Safetensors. Язык обучающих данных и лицензия в предоставленных сведениях не отражены, поэтому их нельзя достоверно описать.

1040февр. 2024ctx514
textembeddinghugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_20000

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_20000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000 — модель на базе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, кластеризации и сравнения семантической близости. Обучение использовало MarginDistillationLoss из gpl.toolkit; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Карточка не сообщает конкретные поддерживаемые языки, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

1050дек. 2023ctx514
textembeddinghugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000

FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000 — модель на базе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, кластеризации и сравнения семантической близости. Обучение использовало MarginDistillationLoss из gpl.toolkit; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Карточка не сообщает конкретные поддерживаемые языки, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

1260дек. 2023ctx514
textembeddinghugging-face
DannyAI
full_fine_tuned_bge-large-en-v1.5

Это англоязычная модель Sentence Transformer, разработанная на основе BAAI/bge-large-en-v1.5 и дообученная на наборе all-nli из 200 тысяч примеров. Она кодирует предложения и абзацы в плотные векторы размерностью 1024, нормализует их и подходит для оценки семантического сходства по косинусной мере, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; максимальная длина входной последовательности — 512 токенов. В README приведены результаты оценки на all-nli: точность по косинусному сходству 0,9607 на валидационной и 0,9575 на тестовой выборке. Модель принимает текст и выдаёт векторные представления. Она рассчитана на английский язык; лицензия — MIT. Поскольку обучение и приведённая оценка связаны с all-nli, качество на других языках и предметных областях может отличаться.

1060сент. 2025ctx512
textembeddingmithugging-face
seongil-dn
further_trainset_large_v2-136

Это Sentence Transformer на архитектуре XLM-RoBERTa, дообученный для сопоставления смысла предложений и абзацев. Модель преобразует текст в нормализованные плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. В метаданных указано 658,7 млн параметров, а максимальная длина последовательности в README составляет 1024 токена. Модель предназначена для семантического поиска, оценки текстового сходства, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Она принимает текст и выдаёт векторные представления. README сообщает о 105 064 обучающих примерах с парами и отрицательными примерами, но не указывает их языки, поэтому языковую поддержку определить нельзя. Карточка не называет исходную модель, лицензию или конкретные ограничения качества; происхождение дообучения следует из описания обучения Sentence Transformer и архитектуры XLM-RoBERTa. Для использования доступны веса в формате safetensors; библиотека — Sentence Transformers.

1160март 2025ctx8.2K
textembeddinghugging-face
avemio
German-RAG-UAE-LARGE-V1-TRIPLES-HESSIAN-AI

German-RAG-UAE-LARGE-V1-TRIPLES-HESSIAN-AI — модель Sentence Transformers, разработанная командой German-RAG AI и дообученная на примерно 300 тысячах троек из набора German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI. Она преобразует предложения и абзацы в плотные векторы размерности 1024; архитектура основана на BERT с объединением CLS-токена и нормализацией векторов. Максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического поиска по немецким текстам и другим задачам сравнения и группировки текстов: поиска похожих предложений, обнаружения перефразировок, кластеризации и извлечения признаков для классификации. В карточке приведены результаты оценок на немецких наборах для поиска, классификации и семантического сходства. Модель поддерживает немецкий и английский языки; лицензия — MIT.

950окт. 2024ctx512
textembeddingmithugging-face
avemio
German-RAG-UAE-LARGE-V1-TRIPLES-MERGED-HESSIAN-AI

German-RAG-UAE-LARGE-V1-TRIPLES-MERGED-HESSIAN-AI — модель Sentence Transformers от команды German-RAG AI, обученная на наборе примерно из 300 тысяч триплетов и объединённая с WhereIsAI/UAE-Large-V1 для сохранения качества на других языках. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для семантического поиска, оценки сходства и извлечения релевантных текстов; также может применяться для кластеризации, поиска перефразирований и классификации текста. Модель построена на BERT, использует CLS-пулинг и нормализацию векторов, а сходство рекомендуется оценивать косинусной мерой. Максимальная длина входа — 512 токенов. В карточке приведены результаты проверок на немецких задачах классификации, поиска и семантического сходства, а также на многоязычных наборах. Доступна по лицензии MIT.

33K0нояб. 2024ctx512
textembeddingmithugging-face
Gidigi
gidigi_79c07173_0003

Карточка модели Gidigi/gidigi_79c07173_0003 на Hugging Face совпадает с карточкой HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v1.5, поэтому описание составлено по ней. KaLM-embedding-multilingual-mini-instruct-v1.5 — многоязычная модель для создания текстовых эмбеддингов, разработанная командой HIT-TMG и опубликованная HITsz-TMG. Она основана на Qwen2-0.5B и обучена с использованием масштабного слабонаблюдаемого предварительного обучения и контролируемой тонкой настройки. Модель содержит 494 млн параметров, использует архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Модель предназначена для получения векторных представлений предложений и текстов, поиска семантически близких фрагментов и сравнения сходства между текстами. Метаданные указывают поддержку задач извлечения признаков и сравнения предложений; карточка приводит оценки на наборах MTEB и C-MTEB. Модель распространяется в формате safetensors по лицензии MIT. Для работы с Qwen2 в README рекомендуется Transformers версии 4.37.0 или новее. Языки, конкретные ограничения качества и сведения о том, какие именно языки охвачены обучением, в предоставленных данных не перечислены.

1930февр. 2026ctx131.1K
textembeddingmithugging-face
GeorgeCU
Giga-Embeddings-instruct-480M-0826-ft

GeorgeCU/Giga-Embeddings-instruct-480M-0826-ft — дообученная модель текстовых эмбеддингов, созданная на основе ai-sage/Giga-Embeddings-instruct-480M-0826. Она предназначена для преобразования текстов в векторы, которые можно применять для семантического поиска, сравнения сходства предложений, классификации и кластеризации. Модель использует плотную двунаправленную архитектуру Qwen3 и библиотеку Sentence Transformers. В ней около 483,7 млн параметров, она принимает текст с контекстом до 8192 токенов и выдаёт эмбеддинги. В карточке указан русский язык; базовая модель описана как двуязычная, но второй язык для этой версии отдельно не подтверждён. Для загрузки в Sentence Transformers README показывает параметр trust_remote_code=True и нормализацию эмбеддингов. Модель распространяется по лицензии other; конкретные условия лицензии в предоставленных данных не раскрыты.

442сент. 2026ctx8.2K
textembeddingotherhugging-face
asadmasad
GIST-large-finetuned

asadmasad/GIST-large-finetuned — модель эмбеддингов предложений на основе архитектуры BERT, распространяемая в формате safetensors и используемая через библиотеку Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, кластеризации и сравнения текстов. Модель обучалась с функцией Multiple Negatives Ranking Loss и косинусным сходством; максимальная длина контекста составляет 512 токенов, размер модели — около 433,9 млн параметров. Подходит для поиска похожих фрагментов текста и группировки текстов по смыслу. Доступные данные не устанавливают целевые языки или специализированные предметные области; производительность на конкретном языке и домене следует проверять отдельно. Сведения о лицензии в предоставленных источниках отсутствуют.

910март 2024ctx512
textembeddinghugging-face
trithemius
granite-embedding-reranker-english-r2-GGUF

Это конверсия в формат GGUF F16 модели granite-embedding-reranker-english-r2 от IBM Granite. Модель предназначена для оценки релевантности пар «запрос — текст» и повторного ранжирования результатов поиска в инструментах и средах, поддерживающих её архитектуру и режим оценки. Это не генеративная чат-модель. Модель ориентирована на английский язык и основана на архитектуре ModernBERT согласно описанию базовой модели в каталоге. Репозиторий содержит веса GGUF в точности F16 без дополнительной квантизации. Использование формата зависит от поддержки encoder- и reranker-моделей, а также нужного механизма pooling или scoring в целевой среде. Лицензия — Apache-2.0.

590июнь 2026
textapache-2.0hugging-face
thenlper
gte-base

gte-base — модель для получения векторных представлений английских текстов, разработанная Alibaba DAMO Academy в рамках семейства General Text Embeddings (GTE). Она основана на архитектуре BERT и содержит 136,7 млн параметров; размерность эмбеддингов — 768, максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, а также может использоваться для ранжирования и других задач на основе текстовых эмбеддингов. В README приведены результаты оценки на бенчмарке MTEB, включая поиск, семантическое сходство, классификацию и ранжирование. Модель работает только с английскими текстами, а вход длиннее 512 токенов обрезается. Лицензия — MIT. В репозитории представлены форматы PyTorch, Safetensors, ONNX и OpenVINO.

197K131июль 2023ctx512
textembeddingmithugging-face
Alibaba-NLP
gte-en-mlm-base

gte-en-mlm-base — англоязычный текстовый энкодер GTE-v1.5, разработанный Institute for Intelligent Computing группы Alibaba. Модель основана на энкодере Transformer++: BERT с RoPE и GLU; для токенизации используется словарь bert-base-uncased. Веса содержат 136,7 млн параметров, максимальная длина входа — 8192 токена. Модель обучена на английской части C4 методом masked language modeling и предназначена для кодирования текста. Она входит в серию обобщённых энкодеров GTE для представления текста и задач поиска и ранжирования; в опубликованной таблице для этой версии приведён результат GLUE 85,61. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache 2.0.

7058авг. 2024ctx8.2K
textapache-2.0hugging-face
Alibaba-NLP
gte-large-en-v1.5

gte-large-en-v1.5 — англоязычная модель текстовых эмбеддингов, разработанная Institute for Intelligent Computing группы Alibaba. Она предназначена для поиска по смыслу, сопоставления предложений и длинных текстов, а также для задач извлечения информации, где требуется сравнивать текстовые представления. Модель построена на энкодерной архитектуре transformer++ на основе BERT с RoPE и GLU; содержит около 434 млн параметров, выдаёт векторы размерности 1024 и поддерживает контекст до 8192 токенов. В README приведены результаты оценки на MTEB и LoCo, включая сильные показатели для модели этого размера и конкурентные результаты на длинноконтекстном поиске. Модель обучалась с masked language modeling и контрастивным предварительным обучением и дообучением. Для работы с ней доступны веса safetensors и ONNX, библиотека Transformers. Лицензия — Apache-2.0. Модель ориентирована на английский язык; качество для других языков не заявлено.

1.6M247апр. 2024ctx8.2K
textapache-2.0hugging-face
thenlper
gte-large-zh

gte-large-zh — модель текстовых эмбеддингов General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на больших наборах пар текстов, связанных по релевантности. Она предназначена для китайских текстов и преобразует их в векторы размерности 1024 для поиска и сравнения по смыслу. Модель подходит для информационного поиска, оценки семантического сходства и ранжирования текстов, а также может использоваться в классификации и кластеризации. Максимальная длина входной последовательности — 512 токенов; более длинные тексты обрезаются. В тестировании на китайском бенчмарке CMTEB модель показала средний результат 66,72 по 35 наборам данных. Репозиторий содержит веса PyTorch и Safetensors, лицензия — MIT.

5.3K121нояб. 2023ctx512
textembeddingmithugging-face
onnx-community
gte-multilingual-base

onnx-community/gte-multilingual-base — это ONNX-версия модели Alibaba-NLP/gte-multilingual-base, подготовленная сообществом onnx-community для работы с библиотекой Transformers.js. Модель предназначена для преобразования предложений и документов в векторные представления, которые можно использовать для семантического поиска, retrieval-систем, сопоставления текстов и других задач, основанных на сравнении смысловой близости. Модель работает в режиме feature extraction и формирует эмбеддинги размерностью 768 признаков. В примерах используются mean pooling и нормализация векторов, после чего релевантность текстов оценивается по косинусному сходству. Для поисковых запросов рекомендуется добавлять инструкцию «Represent this sentence for searching relevant passages:». Модель заявлена как мультиязычная, однако README не содержит перечня поддерживаемых языков, сведений об архитектуре, размере исходной модели или максимальной длине контекста. К сильным сторонам относятся возможность выполнять вычисление эмбеддингов непосредственно в JavaScript-среде через Transformers.js и удобная совместимость с ONNX. Ограничение состоит в том, что это модель для представления и сопоставления текстов, а не генеративная языковая модель: README не описывает её возможности по генерации текста, точность на бенчмарках или ограничения по языкам и длине входа. Лицензия в предоставленных данных не указана.

56K13авг. 2024ctx8.2K
texthugging-face
afanjul
gte-reranker-modernbert-base-mlx

afanjul/gte-reranker-modernbert-base-mlx — англоязычный реранкер на базе ModernBERT-base, подготовленный afanjul и преобразованный из Alibaba-NLP/gte-reranker-modernbert-base в формат MLX. Модель оценивает релевантность текста для ранжирования, например при поиске или отборе результатов по запросу. Она построена на архитектуре ModernBERT и содержит 149 млн параметров; длина контекста составляет до 8192 токенов. Репозиторий содержит веса в формате safetensors, а README описывает использование через mlx-embeddings. Модель рассчитана на англоязычные задачи ранжирования текста. Лицензия — Apache-2.0. README указывает на конверсию в MLX, а метаданные связывают модель с дообучением answerdotai/ModernBERT-base; конкретная схема обучения реранкера не описана.

1310апр. 2026ctx8.2K
textapache-2.0hugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей