/ Профессии
Универсальные способности и операции

I.1Поиск и навигация по информации

В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
13 467
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

13 467 моделей
Загрузки
Лайки
Дата выхода
6 601–6 630 из 13 467
pablosi
bge-m3-retrained

pablosi/bge-m3-retrained — модель Sentence Transformers, дообученная разработчиком pablosi на наборе boe-data-sintetic из 4 221 примера. Она основана на BAAI/bge-m3 с архитектурой XLM-RoBERTa и преобразует испанские предложения и абзацы в нормализованные плотные векторы размерности 1024; максимальная длина входа — 8192 токена, сходство оценивается косинусной метрикой. Модель предназначена для семантического поиска и сравнения вопросов с фрагментами испанских правовых документов, а также для поиска парафраз, кластеризации и классификации текста. Карточка приводит оценку retrieval на dim_1024 и dim_768, включая cosine_accuracy@5 0,8227 для dim_1024. Лицензия — Apache-2.0.

990нояб. 2024ctx8.2K
textembeddingapache-2.0hugging-face
Hanno-Labs
dinghy-law-4b-v1

dinghy-law-4b-v1 — модель плотных текстовых эмбеддингов от Hanno Labs, дообученная на базе Qwen/Qwen3-Embedding-4B для поиска по юридическим корпусам. Она предназначена для извлечения релевантных законов, судебных решений и договорных фрагментов, а также для сопоставления, кластеризации и дедупликации юридических текстов. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3 и выдаёт вектор размерности 2560. Для запросов поддерживается инструкция задачи; документы кодируются без неё. По умолчанию модель обрабатывает до 8192 токенов, а настройка позволяет использовать контекст базовой модели до 40960 токенов. Модель оптимизирована для англоязычных, немецкоязычных и китайскоязычных юридических текстов. В собственной оценке разработчика на MTEB(Law, v1) она получила 71,24 по Mean(Task) nDCG@10; это результат измерения автора, а не официальное место в таблице лидеров. Модель подходит для первого этапа поиска и ранжирования в юридических RAG-системах, включая локальные и изолированные развёртывания. Она формирует эмбеддинги, но не генерирует ответы и не предоставляет юридические консультации. Лицензия — Apache-2.0.

4372июль 2026ctx41K
textembeddingapache-2.0hugging-face
spacy
es_core_news_md

es_core_news_md — испаноязычный NLP-конвейер, разработанный компанией Explosion на базе spaCy 3.7.0. Модель оптимизирована для работы на CPU и предназначена для обработки текстов на испанском языке: токенизации, морфологического анализа, определения частей речи и грамматических признаков, лемматизации, синтаксического анализа зависимостей, выделения границ предложений и распознавания именованных сущностей. Она подходит для информационного поиска, анализа документов, подготовки текстовых данных и других задач классического NLP. В состав входят компоненты tok2vec, morphologizer, parser, senter, attribute_ruler, lemmatizer и ner. Модель использует 300-мерные векторы: заявлено 500 000 ключей и 20 000 уникальных векторов. Обучение опирается на UD Spanish AnCora, WikiNER, данные spaCy lookups и fastText-векторы Explosion. В README не указаны ограничения по длине контекста и перечень дополнительных модальностей, поэтому модель следует рассматривать как предназначенную для текстовых данных на испанском языке. Среди заявленных результатов — F1 0,894 для NER, точность 0,985 для UPOS, 0,980 для морфологических признаков, 0,965 для лемматизации, UAS 0,913, LAS 0,880 и F1 0,988 для определения предложений. Ограничениями являются специализация на испанском языке, CPU-ориентированная архитектура и то, что показатели зависят от домена и качества входного текста. Модель распространяется по лицензии GNU GPL 3.0, что необходимо учитывать при использовании и интеграции.

6.5K1март 2022
textgpl-3.0hugging-face
FIS-GRUPPE
fismwasp-400k

FISMWASP Autoencoder 400k-e2 — модель эмбеддингов, разработанная Андре Озыгюссом из Medienwerft при участии коллег из FIS ASP и FIS. Она преобразует немецкие предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и организации технических спецификаций. Модель построена на XLM-RoBERTa с архитектурой Sentence-BERT и TSDAE, содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Для обучения использовались технические тикеты и более 400 тысяч предложений. Модель подходит для поиска похожих текстов и группировки немецких технических документов и тикетов. Доступна в формате safetensors и может использоваться через sentence-transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

898июнь 2024ctx514
textembeddinghugging-face
Mihaiii
gte-micro-v2

gte-micro-v2 — компактная модель эмбеддингов на архитектуре BERT, опубликованная пользователем Mihaiii. Это дистиллят gte-tiny, предназначенный прежде всего для семантического автодополнения: модель преобразует текст в векторные представления, которые можно использовать для оценки смыслового сходства. Размер модели — 18,8 млн параметров, контекст ограничен 512 токенами; для работы указана библиотека Sentence Transformers, а веса доступны в форматах ONNX и safetensors. Модель рассчитана исключительно на английские тексты. Длинные входы усекаются до 512 токенов, поэтому она не подходит для прямого сравнения полного текста, превышающего это ограничение. Лицензия — MIT.

1430апр. 2024ctx512
textembeddingmithugging-face
zstanjj
HTML-Pruner-Phi-3.8B

HTML-Pruner-Phi-3.8B — дообученная Microsoft Phi-3.5-mini-instruct модель, выпущенная авторами HtmlRAG для сокращения HTML-контекста в системах поиска с дополненной генерацией (RAG). В двухэтапном процессе HtmlRAG модель используется на этапе генеративного отбора блоков HTML после предварительного ранжирования блоков моделью эмбеддингов; перед этим HTML очищается от нерелевантного содержимого и избыточных структур. Модель построена на архитектуре Phi-3, содержит 3,7 млрд параметров и принимает текст; её контекст составляет 4096 токенов. В карточке указана поддержка английского языка. Модель предназначена для подготовки HTML-результатов поиска к передаче языковой модели, чтобы сохранить полезное содержимое и уменьшить объём контекста для последующей генерации ответов. Модель распространяется по лицензии Apache-2.0. Её специализированная задача — генеративное прореживание HTML-блоков; качество может зависеть от структуры и длины исходных страниц и от настроек этапов очистки и отбора.

15618окт. 2024ctx131.1K
textapache-2.0hugging-face
ipsnan
keywordsextraction

Это модель Sentence Transformers, разработанная авторами репозитория ipsnan/keywordsextraction для извлечения ключевых слов из украинских научных и деловых документов. Она дообучена на базе intfloat/multilingual-e5-base и использует энкодер XLM-RoBERTa с усреднением токеновых представлений и L2-нормализацией. Модель содержит около 305,2 млн параметров, выдаёт эмбеддинги размерности 768 и обрабатывает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель кодирует документ и сопоставляет его с заранее подготовленными эмбеддингами ключевых слов, ранжируя совпадения по косинусному сходству. Она предназначена для поиска ключевых слов в научных текстах, академических материалах и деловых документах, а также для использования в семантическом поиске и сопоставлении предложений. В комплекте репозитория есть индекс ключевых слов и скрипт обработки PDF. Модель лучше всего работает с текстами на украинском языке и возвращает только слова из имеющегося индекса; для нового набора ключевых слов индекс нужно подготовить заново. Качество зависит от того, насколько первые примерно 3000 символов документа отражают его тему. Модель распространяется по лицензии MIT.

1470апр. 2026ctx514
textembeddingmithugging-face
jhgan
ko-sbert-multitask

jhgan/ko-sbert-multitask — модель на базе Sentence-BERT и архитектуры BERT, дообученная для получения векторных представлений корейских предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерности 768 и подходит для семантического поиска, оценки сходства и кластеризации текстов. Модель обучалась на наборах KorSTS и KorNLI в режиме многозадачного обучения. В карточке приведены результаты оценки на KorSTS: корреляция Спирмена для косинусного сходства составляет 84,71. Максимальная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. Модель рассчитана прежде всего на корейский язык. Её можно применять для поиска похожих фраз и группировки текстов, но качество за пределами корейских данных не подтверждено. Лицензия в предоставленных данных не указана.

3.3K23март 2022ctx512
textembeddinghugging-face
redis
langcache-embed-experimental

Redis LangCache Embed Experimental — англоязычная модель Sentence Transformers, дообученная Redis на базе sentence-transformers/all-MiniLM-L6-v2 для семантического кэширования и сравнения предложений. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384; сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 100 токенов. Модель подходит для поиска похожих запросов и ответов, семантического поиска и ранжирования пар текстов, в частности при настройке семантического кэша LangCache. Она обучена на парах предложений LangCache. Лицензия — Apache-2.0. В опубликованной оценке на тестовом наборе указаны cosine accuracy@1 0,5768 и cosine recall@1 0,5588; эти показатели относятся к описанной в карточке оценке и не гарантируют качество на других данных.

2120сент. 2025ctx512
textembeddingapache-2.0hugging-face
aaa961
modernbert-embed-base-legal-no_MRL_symmetricMNRL_3sets

Это англоязычная модель Sentence Transformers, дообученная на синтетических парах юридических запросов и документов. Она основана на nomic-ai/modernbert-embed-base и предназначена для преобразования предложений и абзацев в плотные векторы размерности 768, пригодные для семантического поиска, сравнения текстов и поиска перефразировок в юридических материалах. Архитектура включает ModernBERT, усредняющий пулинг токенов и нормализацию векторов. Модель принимает последовательности длиной до 8192 токенов; сходство векторов можно оценивать косинусной мерой. В карточке приведены результаты оценки поиска и сведения о дообучении на датасете из 5175 пар запросов и релевантных документов. Модель распространяется по лицензии Apache-2.0. Её специализация и данные обучения ориентированы на англоязычные юридические тексты; синтетический обучающий набор и результаты на указанных тестах не гарантируют качество на других юридических корпусах или задачах. Это модель эмбеддингов: для генерации ответов её следует использовать как компонент поискового контура, а не как самостоятельную генеративную модель.

1180март 2026ctx8.2K
textembeddingapache-2.0hugging-face
SergeyKarpenko1
multilingual-e5-small-legal-matryoshka_384

SergeyKarpenko1/multilingual-e5-small-legal-matryoshka_384 — дообученная на 165 парах текстов модель Sentence Transformer на базе intfloat/multilingual-e5-small. Она преобразует предложения и абзацы в нормализованные плотные эмбеддинги размерностью 384 и сравнивает их по косинусному сходству; архитектура включает BERT, mean pooling и нормализацию. Модель предназначена для семантического поиска и сопоставления текстов, в том числе по вопросам и фрагментам о российском законодательстве. Модель поддерживает русский язык, принимает текст и выдаёт векторы. Максимальная длина последовательности — 512 токенов. Matryoshka-обучение позволяет оценивать эмбеддинги при сокращении размерности до 256, 128 или 64. В README приведены результаты поиска на небольшом наборе оценки, поэтому они не гарантируют качество на других данных. Лицензия — Apache-2.0.

1340июнь 2025ctx512
textembeddingapache-2.0hugging-face
diegolacomba
multilingual-e5-small-mlm-legal-4

diegolacomba выпустил sentence-transformers-модель для получения эмбеддингов предложений и абзацев. Она основана на BERT и преобразует текст в плотные векторы размерностью 384; представление строится усреднением токенных эмбеддингов. Для сравнения текстов предусмотрена косинусная близость. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Максимальная длина входа — 512 токенов. В названии указано назначение для юридических текстов, однако README не уточняет языки обучения или конкретные юридические задачи. Метаданные указывают формат safetensors; лицензия не приведена.

1020июнь 2025ctx512
textembeddinghugging-face
lfeng03
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория lfeng03/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она относится к архитектурному семейству BERT и предназначена для извлечения признаков из текста. Основной сценарий применения — получение векторных представлений, которые затем можно использовать в задачах классификации, поиска и анализа текста. В README модель также описывается как обновлённая система с улучшенными способностями к рассуждению, математике, программированию, логике, генерации текста, суммаризации, переводу и function calling. Однако заявленные в README характеристики генеративной чат-модели не согласуются с метаданными, где pipeline_tag указан как feature-extraction; поэтому для каталога надёжнее ориентироваться на извлечение признаков и BERT-подобную архитектуру. Модель распространяется по лицензии MIT.

00сент. 2026
textembeddingmithugging-face
MalaniAro
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория MalaniAro/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она предназначена для извлечения признаков из входных данных и относится к архитектурному семейству BERT. Модель можно применять для получения векторных представлений текста, последующей классификации, кластеризации, семантического поиска и других задач, использующих эмбеддинги. README также описывает заявленные возможности рассуждения, программирования, математики и работы с диалогами, однако эти сведения не согласуются с указанным pipeline-тегом feature-extraction и не содержат проверяемых технических характеристик модели. Модель распространяется по лицензии MIT. Размер, длина контекста, поддерживаемые естественные языки и точные сведения о разработчике в доступных данных не приведены.

3351сент. 2026
textembeddingmithugging-face
flair
ner-english-large

Это крупная англоязычная модель распознавания именованных сущностей, распространяемая вместе с библиотекой Flair. Она размечает текст четырьмя классами NER: людьми (PER), местами (LOC), организациями (ORG) и ещё одним классом, который в доступной таблице README не виден. Модель основана на документных эмбеддингах XLM-R и архитектуре FLERT, обучена на CoNLL-03; для исправленной версии CoNLL-03 указана оценка F1 94,36. Модель предназначена для извлечения имен людей, географических названий и организаций из английского текста, например для индексирования документов и подготовки данных для последующего анализа. Используется через Flair SequenceTagger. В метаданных указана лицензия other, поэтому конкретные условия использования следует проверять в материалах репозитория.

52K54март 2022
textotherhugging-face
odsbahia
odsbahia-ptbr

ODSBahia-PTBR — модель классификации текстов, разработанная в рамках академического исследования в Федеральном университете Южной Баии, Бразилия. Она присваивает текстам категории, связанные с 17 Целями устойчивого развития ООН, а также с тремя дополнительными целями: расовое равенство, искусство, культура и коммуникация, права коренных народов и традиционных сообществ. Модель построена на BERT и дообучена на базе neuralmind/bert-base-portuguese-cased на специально собранных для этой задачи данных. Она рассчитана на португальский язык, имеет контекст до 512 токенов и доступна в формате safetensors; лицензия — MIT. В README приведены метрики на наборе OSDG-CD: accuracy 0,98, precision 0,89, recall 0,70 и F1 0,79.

531июнь 2024ctx512
textmithugging-face
fcmeyer
Qwen3.8-27B-MLX-bf16-mtp

fcmeyer/Qwen3.8-27B-MLX-bf16-mtp — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bf16 для запуска через движок oMLX на компьютерах Apple Silicon. Веса сохранены без квантизации, включая головку MTP для спекулятивного декодирования Lightning-MTP; в модели также сохранена визуальная башня для анализа изображений и видео. Архитектура плотная, размер базовой модели — 27 млрд параметров. Модель предназначена для диалогов и понимания изображений и видео. При запуске через oMLX можно включить MTP для ускорения генерации; автор сообщает о двукратном ускорении декодирования на M5 Max с 128 ГБ памяти, а также о проверке поиска по длинному контексту и привязки ответов к изображениям. README демонстрирует контекстное окно до 262 144 токенов в конфигурации oMLX. Репозиторий содержит конвертированные веса, поэтому это не отдельное дообучение, а преобразование формата и точности исходной модели для MLX. Лицензия — Apache-2.0. Для запуска требуются Apple Silicon, oMLX и около 52 ГБ памяти под веса; измерения производительности относятся к конкретной конфигурации M5 Max.

1762авг. 2026ctx262.1K
textimageapache-2.0hugging-face
drawais
Qwen3-Embedding-0.6B-AWQ-INT4

Qwen3-Embedding-0.6B-AWQ-INT4 — квантованная версия модели Qwen/Qwen3-Embedding-0.6B, опубликованная drawais. Это производный артефакт с 4-битным квантованием весов по схеме AWQ и размером около 0,5 ГБ на диске. Модель предназначена для эффективного запуска задач, основанных на текстовых представлениях, включая сценарии, где важны компактность и низкие требования к ресурсам. В README указана поддержка английского языка. Для запуска рекомендуется использовать vLLM; заявленная максимальная длина контекста составляет 32 768 токенов. Модель относится к текстовым и не поддерживает другие модальности согласно представленным данным. К сильным сторонам относятся малый размер, потенциально высокая скорость работы и возможность запуска на ограниченных ресурсах. При этом INT4-квантование может снижать точность по сравнению с исходной моделью, а сведения о конкретных результатах оценки, архитектуре, точных требованиях к видеопамяти и поддерживаемых сценариях применения не приведены. Модель распространяется по лицензии Apache License 2.0; для производного артефакта требуется учитывать атрибуцию исходной модели и материалы из LICENSE и NOTICE.

7144май 2026ctx32.8K
textapache-2.0hugging-face
drawais
Qwen3-Embedding-8B-AWQ-INT4

drawais/Qwen3-Embedding-8B-AWQ-INT4 — производная от Qwen/Qwen3-Embedding-8B, разработанная на основе модели Qwen. Это версия с 4-битной квантованием весов по методу AWQ, предназначенная для запуска на локальном оборудовании с ограниченным объёмом видеопамяти. Модель рассчитана на работу с английским языком и может использоваться в сценариях, где требуется применение базовой embedding-модели при сниженных требованиях к памяти. Размер артефакта на диске составляет примерно 6,1 ГБ; заявлена возможность запуска на потребительском GPU с 8 ГБ видеопамяти при наличии запаса для KV-кэша. Для запуска через vLLM в README указан максимальный размер контекста 32 768 токенов. Ключевое преимущество модели — существенное уменьшение размера и требований к памяти благодаря INT4-квантованию. При этом README не содержит подробностей о качестве эмбеддингов, архитектуре базовой модели, поддерживаемых модальностях и результатах бенчмарков, поэтому влияние квантования на точность оценить нельзя. Модель распространяется по лицензии Apache License 2.0. Это производная работа от Qwen/Qwen3-Embedding-8B; в комплекте указаны файлы LICENSE и NOTICE с текстом лицензии и необходимой атрибуцией.

3.2K5май 2026ctx41K
textapache-2.0hugging-face
JeremiahZ
roberta-base-qqp

JeremiahZ/roberta-base-qqp — модель классификации текстовых пар, созданная дообучением RoBERTa-base на наборе GLUE QQP. Она предназначена для определения, задают ли два английских вопроса один и тот же вопрос, например, при поиске дубликатов в FAQ или объединении похожих обращений. Модель построена на архитектуре RoBERTa для классификации последовательностей, содержит 151,8 млн параметров и принимает текстовые входные данные с контекстом до 514 токенов. В карточке указаны результаты оценки на тестовом наборе: accuracy 0,9153 и F1 0,8867. Модель поддерживает английский язык и опубликована в формате PyTorch. Лицензия — MIT. Карточка не описывает дополнительные сценарии использования и ограничения; качество на других данных может отличаться от результатов на GLUE QQP.

1530июнь 2022ctx514
textmithugging-face
allenai
scibert_scivocab_uncased_field_of_study

allenai/scibert_scivocab_uncased_field_of_study — модель классификации научных текстов по областям исследования, созданная дообучением SciBERT командой AllenAI. Она предназначена для определения области научной публикации или другого научного текста по его содержанию. Модель использует архитектуру BERT и веса SciBERT, адаптированные для научного словаря. Опубликована в формате PyTorch. README сообщает, что данные для дообучения были собраны с помощью моделей OpenAI, но не раскрывает полный состав набора данных или подробности обучения. Лицензия в предоставленных данных не указана.

25дек. 2023
texthugging-face
tomaarsen
span-marker-bert-base-fewnerd-fine-super

Модель tomaarsen/span-marker-bert-base-fewnerd-fine-super — модель SpanMarker для распознавания именованных сущностей, разработанная на основе bert-base-cased и дообученная на наборе FewNERD. Она обрабатывает английский текст и определяет сущности из множества категорий, включая типы произведений искусства и развлечений. Модель принимает последовательности длиной до 256 токенов и распознаёт сущности длиной до 8 слов. Модель подходит для извлечения и классификации упоминаний сущностей в текстах, а также для дальнейшего дообучения на собственном наборе данных. Она использует библиотеку SpanMarker и распространяется в форматах PyTorch и safetensors. Лицензия — CC-BY-SA-4.0.

3.5K15март 2023ctx512
textcc-by-sa-4.0hugging-face
Mihaiii
Wartortle

Wartortle — компактная модель эмбеддингов на базе BERT, созданная Mihaiii как дистилляция bge-base-en-v1.5. Она предназначена прежде всего для семантического автодополнения: преобразует текст в векторы, которые можно использовать для поиска подходящего продолжения или сопоставления фраз. Модель содержит 18,8 млн параметров, работает с контекстом до 512 токенов и доступна в форматах Safetensors и ONNX. Для корректного использования в сценарии семантического автодополнения README рекомендует CLS-пулинг и нормализацию эмбеддингов; модель также можно применять в задачах сходства предложений и извлечения признаков. Базовая модель ориентирована на английский язык. Лицензия — MIT.

1980апр. 2024ctx512
textembeddingmithugging-face
fredoline005
ajan-embed-q

ajan-embed-q — модель векторных представлений предложений, созданная Ranked Technologies Limited для проекта Ajanlar. Она предназначена прежде всего для семантического поиска и извлечения документов на турецком языке, в том числе для RAG-систем и ИИ-агентов, отвечающих по корпоративным документам. Модель принимает текст и выдаёт эмбеддинги; для поиска рекомендуется добавлять префиксы «query: » и «passage: » и нормализовать векторы. Это дообученная методом дистилляции модель на базе intfloat/multilingual-e5-base с архитектурой XLM-RoBERTa и примерно 305 млн параметров по метаданным. Студент обучен воспроизводить эмбеддинги учителя BAAI/bge-m3 на 500 тысячах турецких предложений; дополнительный Dense-слой проецирует размерность 768 в 1024. Контекст составляет 514 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. На тесте TurHistQuad модель показала NDCG@10 0,465, выше multilingual-e5-base и multilingual-e5-small; на общих задачах сопоставления предложений уступает семейству E5. Поэтому её сильная сторона — поиск на турецком, а не универсальное измерение семантического сходства. Оценка основана на ограниченном наборе турецких задач без доверительных интервалов; перед промышленным переобучением авторы рекомендуют фиксировать снимок корпуса и фильтровать персональные данные и дубликаты.

1530июнь 2026ctx514
textembeddingapache-2.0hugging-face
tabiya
all-MiniLM-L6-v2-occupation-fine-tuned

tabiya/all-MiniLM-L6-v2-occupation-fine-tuned — модель на архитектуре BERT, созданная на базе семейства all-MiniLM-L6-v2 и дообученная для работы с предложениями и абзацами. Она преобразует текст в плотные эмбеддинги размерностью 384 и подходит для семантического поиска и кластеризации. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; модель распространяется в формате safetensors и использует библиотеку Sentence Transformers. Модель можно применять для поиска по смыслу в текстах об occupation и для группировки похожих текстовых описаний. README указывает на обучение с MegaBatchMarginLoss, но не приводит подробностей обучающих данных и результатов оценки. Лицензия в предоставленных данных не указана.

890апр. 2024ctx512
textembeddinghugging-face
classla
bcms-bertic-ner

classla/bcms-bertic-ner — модель разметки последовательностей, разработанная Classla на основе BERTić и дообученная для распознавания именованных сущностей в боснийском, хорватском, черногорском и сербском языках. Она присваивает токенам метки PER, LOC, ORG и MISC, чтобы выделять в тексте людей, места, организации и другие именованные сущности. Модель использует архитектуру ELECTRA, содержит 137,8 млн параметров и обрабатывает контекст длиной до 512 токенов. При дообучении использовались данные на стандартном хорватском и сербском языках, а также публикации из Twitter; данные дополнялись вариантами без диакритических знаков. В README сообщается F1 91,38 на dev-данных, объединённых с обучающей выборкой. Модель предназначена для извлечения сущностей из текстов BCMS, включая стандартные и неформальные тексты. Она распространяется по лицензии Apache-2.0.

1.3K10март 2022ctx512
textapache-2.0hugging-face
Yuki20
bge-base-financial-matryoshka

Yuki20/bge-base-financial-matryoshka — англоязычная модель Sentence Transformer, дообученная на финансовых текстовых парах от BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные эмбеддинги для семантического поиска и сравнения текстов; также подходит для поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Модель построена на BERT, использует пулинг CLS-токена и нормализацию векторов. Размер эмбеддинга — 768, максимальная длина входа — 512 токенов; обучение проводилось на 6 300 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss. В README приведены результаты поиска для выходных размерностей от 64 до 768, что позволяет выбирать компромисс между компактностью вектора и качеством. Модель предназначена прежде всего для англоязычного финансового поиска и сопоставления вопросов с фрагментами текста. Лицензия — Apache-2.0. Результаты в карточке измерены на указанных наборах оценки и сами по себе не гарантируют качество для других корпусов или языков.

1280окт. 2024ctx512
textembeddingapache-2.0hugging-face
gimhae-geunamja
bge-reranker-v2-m3-ko-public-admin

Модель gimhae-geunamja/bge-reranker-v2-m3-ko-public-admin разработана как дообученный корейский cross-encoder для переранжирования результатов поиска по муниципальным административным документам и административному праву. Она оценивает релевантность пары «запрос — документ» и выдаёт один числовой балл; обычно её применяют после этапа извлечения кандидатов поисковым или векторным ретривером. В основе лежит dragonkue/bge-reranker-v2-m3-ko — модель семейства XLM-RoBERTa с 658,7 млн параметров. Модель принимает текстовые пары, рассчитана прежде всего на корейский язык и имеет контекст до 8194 токенов по метаданным; авторская карточка указывает max_length 1024 для приведённого сценария и обучения. Обучение проводилось на парах из открытых наборов AI Hub по административным документам и административному праву. Модель особенно полезна для коротких запросов-ключевых слов в корейских административных поисковых системах, но заметно слабее на них, чем на полных вопросах; качество также может отличаться в общих доменах и на других языках. Она может переоценивать документы, совпадающие по теме, даже если не совпадают условия применимости, а качество на входах длиннее 1024 токенов не проверено. Распространяется по лицензии Apache-2.0; для обучающих данных дополнительно действуют условия AI Hub, включая запрет на перераспространение исходных данных.

231июнь 2026ctx8.2K
textapache-2.0hugging-face
crisistransformers
CT-XLMR-SE

CT-XLMR-SE — многоязычный энкодер предложений из семейства CrisisTransformers, разработанный авторами этих моделей для текстов кризисных событий в социальных сетях. Он основан на архитектуре XLM-RoBERTa и обучен на корпусе публикаций о более чем 30 кризисах; число параметров — 305,2 млн, контекст — до 514 токенов. Модель создаёт векторные представления предложений и предназначена для семантического поиска, кластеризации и тематического моделирования кризисных сообщений. Энкодер поддерживает более 50 языков, включая русский и английский, и может применяться без дополнительного дообучения для задач векторизации и сравнения сходства предложений. В метаданных указана лицензия Apache-2.0.

3010февр. 2024ctx514
textembeddingapache-2.0hugging-face
ahmetatakanacar
dbmdz-finetuned-with-egundem

Модель ahmetatakanacar/dbmdz-finetuned-with-egundem — sentence-transformers-модель на базе BERT, дообученная на турецких новостных текстах для семантического поиска. Она преобразует текст в эмбеддинги размерностью 768; используется mean pooling. Базовая модель — dbmdz/bert-base-turkish-uncased, число параметров — 137,8 млн. Модель предназначена для поиска новостных материалов по смыслу и сравнения семантической близости предложений или текстов. Принимает до 512 токенов; для более длинных материалов в карточке рекомендуется разбивать текст на фрагменты. Поддерживаются форматы safetensors и ONNX. Лицензия — MIT. Модель ориентирована на турецкий язык и новостной домен, поэтому её применимость к другим языкам и текстам вне новостной тематики может быть ограничена.

1092июль 2026ctx512
textembeddingmithugging-face

Задачи профессии

18 задач
1Семантический поиск по смыслу, а не только по точному совпадению слов. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. К исходным данным относятся текст запроса, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Семантический поиск по смыслу, а не только по точному совпадению слов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
2Поиск по нескольким хранилищам с объединением и дедупликацией результатов. — Для этой задачи система обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Рабочие входы: индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по нескольким хранилищам с объединением и дедупликацией результатов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
3Переформулирование неясного запроса в набор более точных поисковых запросов. — AI разбирает неясный запрос на намерение, объект, ограничения и недостающий контекст, после чего создаёт несколько более точных поисковых формулировок. На вход поступают исходный запрос, история диалога, терминология предметной области и примеры релевантных документов. На выходе — набор запросов для разных трактовок с пояснением, что именно уточняет каждый вариант; качество проверяют по росту релевантности и полноты найденных результатов.
4Расширение запроса синонимами, связанными понятиями и профессиональной терминологией. — AI расширяет исходный запрос синонимами, аббревиатурами, связанными понятиями и профессиональными терминами, сохраняя исходное намерение пользователя. Система использует словари, онтологии, поисковую статистику и контекст коллекции, а также исключает расширения, которые уводят тему в сторону. Результат — контролируемый набор дополнительных терминов или запросов; его проверяют по приросту полноты без заметного падения точности выдачи.
5Ранжирование найденных материалов по релевантности, свежести и качеству источника. — AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. К исходным данным относятся поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: результат «Ранжирование найденных материалов по релевантности, свежести и качеству источника» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Надёжность оценивают по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
6Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: трассирует утверждение назад по ссылкам и текстовым совпадениям до наиболее раннего надёжного источника. Рабочие входы: утверждение или фрагмент, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответа внутри корпоративной базы знаний с указанием подтверждающих фрагментов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
7Навигация по большому репозиторию документов, писем, чатов или кода. — Практическая реализация: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Предметная логика: объединяет выдачу из разных источников и удаляет дубли, не раскрывая закрытые материалы. Входной контекст включает индексы нескольких систем, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Навигация по большому репозиторию документов, писем, чатов или кода» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
8Поиск похожих документов, случаев, изображений, товаров или инцидентов. — Механизм: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Исходные данные: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск похожих документов, случаев, изображений, товаров или инцидентов» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
9Поиск первоисточника утверждения, таблицы, цитаты или статистики. — AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. К исходным данным относятся геометрия страницы, права доступа, поисковые запросы, документы и метаданные. Формат результата: ранжированный список кандидатов по задаче «Поиск первоисточника утверждения, таблицы, цитаты или статистики» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
10Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту. — Для этой задачи система преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Рабочие входы: поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск экспертов и владельцев знаний по их публикациям, задачам и опыту» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
11Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы. — Практическая реализация: AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Входной контекст включает оригиналы документов, документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск отсутствующих или недоступных документов, на которые ссылаются другие материалы» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
12Построение хронологии материалов вокруг события, проекта или решения. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Предметная логика: нормализует временные отметки, разрешает противоречия и выстраивает события в причинно осмысленном порядке. Исходные данные: даты, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: вычислительная модель или карта для «Построение хронологии материалов вокруг события, проекта или решения» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
13Поиск изменений в постоянно обновляемых источниках. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск изменений в постоянно обновляемых источниках» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
14Мониторинг заданной темы с уведомлением о новых релевантных материалах. — Для этой задачи система агрегирует сигналы во времени, подавляет шум и формирует предупреждение только при устойчивом отклонении. Рабочие входы: права доступа, поисковые запросы, документы и метаданные. Формат результата: актуальное состояние в рамках «Мониторинг заданной темы с уведомлением о новых релевантных материалах», временной журнал изменений и предупреждения при значимых отклонениях. Критерии приёмки: по задержке обнаружения, стабильности базовой линии и числу пропущенных либо ложных предупреждений; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
15Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает поисковые запросы, документы, метаданные и связи между сущностями. Формат результата: ранжированный список кандидатов по задаче «Поиск связанных сущностей и переходов между людьми, организациями, объектами и событиями» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
16Поиск ответов по естественному языку поверх структурированных баз данных. — Механизм: AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. Исходные данные: документы, метаданные, связи между сущностями и права доступа. Формат результата: ранжированный список кандидатов по задаче «Поиск ответов по естественному языку поверх структурированных баз данных» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Проверка: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
17Поиск по изображению, аудиофрагменту или другому мультимодальному примеру. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, метаданные, связи между сущностями, права доступа и поисковые запросы. Формат результата: ранжированный список кандидатов по задаче «Поиск по изображению, аудиофрагменту или другому мультимодальному примеру» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты.
18Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста. — Для этой задачи система индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, связи между сущностями, права доступа, поисковые запросы и документы. Формат результата: ранжированный список кандидатов по задаче «Поиск информации с учётом роли пользователя, прав доступа и рабочего контекста» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Критерии приёмки: по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по полноте выдачи, релевантности, качеству источников и точности ссылок на найденные фрагменты. <a id="section-i-2"></a>

0 моделей