/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
16 201–16 230 из 25 791
perplexity-ai
pplx-embed-v1-4b

pplx-embed-v1-4b — мультиязычная модель текстовых эмбеддингов, разработанная Perplexity AI на основе Qwen3, продолженно предобученной с помощью diffusion. Модель содержит 3,7 млрд параметров и предназначена для веб-масштабного поиска по смыслу и извлечения релевантных текстов; она формирует независимые векторы для запросов и документов, а для фрагментов документов с учётом окружающего контекста README рекомендует отдельную модель pplx-embed-context-v1. Модель принимает текст и выдаёт эмбеддинги размерностью 2560. Она поддерживает контекст до 32 768 токенов, mean pooling и сокращение размерности MRL; префикс-инструкция для кодирования текста не требуется. Векторы изначально имеют квантизованный int8-формат и не нормализованы, поэтому для сравнения README рекомендует косинусное сходство. Доступны веса safetensors и формат ONNX. Лицензия — MIT.

32K67янв. 2026ctx32.8K
textembeddingmithugging-face
sentence-transformers
quora-distilbert-base

sentence-transformers/quora-distilbert-base — модель sentence-transformers на архитектуре DistilBERT, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и оценки сходства. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Модель распространяется по лицензии Apache-2.0. В карточке описаны сценарии семантического поиска и кластеризации; ограничения сверх длины контекста не приведены.

1221март 2022ctx512
textembeddingapache-2.0hugging-face
AlexWortega
qwen11k

AlexWortega/qwen11k — Sentence Transformers модель, дообученная на базе Qwen/Qwen2.5-0.5B-Instruct для создания текстовых эмбеддингов. Она кодирует предложения и абзацы в плотные векторы размерности 896; близость текстов можно оценивать косинусным сходством. Архитектура включает трансформер Qwen2 с усреднением токенных представлений, а метаданные указывают контекст до 32 768 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации. В README приведена оценка на sts-dev: Spearman для косинусного сходства — 0,7854 при размерности 896. Для текстов длиннее указанного в README лимита последовательности 1024 токена может потребоваться обрезка или разбиение на части. Лицензия в предоставленных данных не указана.

630нояб. 2024ctx32.8K
textembeddinghugging-face
QuantTrio
Qwen3.5-122B-A10B-AWQ

QuantTrio/Qwen3.5-122B-A10B-AWQ — квантизированная AWQ-версия модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий QuantTrio использует data-free quantization, то есть квантизацию без калибровочного набора данных. Модель предназначена для мультимодальных сценариев image-text-to-text, включая понимание изображений и текста, рассуждения, программирование и агентские задачи. Это causal language model со зрительным энкодером и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Всего модель содержит 122B параметров, из которых при генерации активируются 10B; предусмотрены 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активируемый эксперт. Заявлена поддержка 201 языка и диалекта. В примере запуска через vLLM указан максимальный контекст 32768 токенов, а также поддержка tool calling, reasoning и speculative decoding. К сильным сторонам относятся мультимодальность, высокая параметрическая ёмкость при меньшем числе активируемых параметров и оптимизация для эффективного инференса через AWQ и Mixture-of-Experts. Ограничения включают значительные требования к GPU-памяти: размер файлов модели составляет около 77 GiB; для рекомендуемой конфигурации требуется vLLM с экспериментальными версиями зависимостей, CUDA 12.8 и настройка expert parallelism. Модель распространяется по лицензии Apache-2.0.

2.2K29февр. 2026ctx262.1K
textimageapache-2.0hugging-face
nicklas373
Qwen3.5-9B-AWQ

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

5.4K0апр. 2026ctx262.1K
textimagehugging-face
barrydeen
Qwen3.8-27B-AWQ-4bit

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

30K13авг. 2026ctx262.1K
textimageapache-2.0hugging-face
zhlo
Qwen3-Embedding-0.6B-deploy

Карточка модели zhlo/Qwen3-Embedding-0.6B-deploy на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

1310июнь 2025ctx32.8K
textembeddingapache-2.0hugging-face
lvandy
Qwen3-Embedding-8B

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

1110апр. 2026ctx41K
textembeddingapache-2.0hugging-face
michaelfeil
Qwen3-Embedding-8B-auto

michaelfeil/Qwen3-Embedding-8B-auto — текстовая модель эмбеддингов на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-8B-Base. Она предназначена для преобразования текстов в векторы и поиска по смыслу, включая поиск по документам и коду, классификацию, кластеризацию, ранжирование и сопоставление параллельных текстов. Модель содержит 7,6 млрд параметров, поддерживает контекст до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README указывает настраиваемый диапазон размерностей от 32 до 4096 и поддержку инструкций для конкретной задачи. Модель заявлена как многоязычная, с поддержкой более 100 языков, а также языков программирования. Среди сильных сторон — длинный контекст, настраиваемая размерность векторов и широкий набор задач поиска и сопоставления. Для качественного поиска рекомендуется задавать инструкции; автор отмечает, что их отсутствие может снижать качество поиска на 1–5%. Для работы с Transformers требуется версия 4.51.0 или новее. Лицензия — Apache-2.0.

2572июнь 2025ctx41K
textembeddingapache-2.0hugging-face
llamafy
Qwen-Qwen2.5-7B-Instruct-llamafied

Это конвертированная в формат Llama версия инструктивной языковой модели Qwen2.5-7B-Instruct. Репозиторий создан llamafy; модель предназначена для программ, совместимых с форматом Llama. По метаданным, это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 4096 токенов, сохранённая в safetensors и используемая через библиотеку Transformers. Модель подходит для диалогов и генерации текста, включая код и структурированные ответы, которые поддерживает базовая Qwen2.5-7B-Instruct. В метаданных указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

431нояб. 2024ctx4.1K
texthugging-face
teven
roberta_kelm_tekgen

teven/roberta_kelm_tekgen — модель Sentence-Transformers на архитектуре RoBERTa, дообученная для сопоставления предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для вычисления семантического сходства, кластеризации и семантического поиска. Размер модели — 151,9 млн параметров, контекст — до 514 токенов; веса представлены в формате PyTorch. Для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Модель подходит для поиска текстов, близких по смыслу, и группировки похожих фрагментов. В README указано обучение с MultipleNegativesRankingLoss и косинусной функцией сходства. Язык и лицензия в предоставленных данных не установлены, поэтому модель лучше применять с проверкой качества на целевых текстах и языках.

700март 2022ctx514
textembeddinghugging-face
patent
sbert-all-MiniLM-L6-v2

Patent — модель sentence-transformers на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Для преобразования выходов Transformers в вектор требуется подходящая операция pooling; использовать модель можно через Sentence-Transformers или Transformers. Модель содержит 25,9 млн параметров и рассчитана на входы длиной до 512 токенов. В README указано обучение с CosineSimilarityLoss. Репозиторий содержит веса PyTorch; лицензия и целевые языки в предоставленных данных не указаны.

682нояб. 2023ctx512
textembeddinghugging-face
ITESM
sentece-embeddings-BETO

ITESM/sentece-embeddings-BETO — модель эмбеддингов предложений на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. В метаданных указаны 137,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель обучалась с функцией потерь Multiple Negatives Ranking Loss и косинусным сходством; среди датасетов карточки указаны Stack Exchange XML и CodeSearchNet. Её можно применять для семантического поиска и группировки текстов, в том числе в контекстах вопросов и ответов и поиска кода. Лицензия в предоставленных данных не указана.

1150июнь 2022ctx512
textembeddinghugging-face
tgsc
sentence-transformers_paraphrase-multilingual-mpnet-base-v2

Это резервная копия модели sentence-transformers/paraphrase-multilingual-mpnet-base-v2, размещённая пользователем tgsc; автор README сообщает, что не является автором исходной модели. Исходную модель обучила команда Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель основана на XLM-RoBERTa, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Доступные сведения не перечисляют конкретные поддерживаемые языки; название исходной модели указывает на многоязычное назначение.

1221май 2023ctx514
textembeddingapache-2.0hugging-face
jegormeister
setfit-model

jegormeister/setfit-model — модель на базе BERT, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для построения семантического поиска, группировки похожих текстов и оценки сходства предложений. Карточка не сообщает, на каких языках она обучалась, и не приводит условий лицензии; пригодность для конкретного языка и условия использования следует сверить с данными репозитория.

952дек. 2022ctx512
textembeddinghugging-face
prodm93
singularity_retriever_v2

singularityretrieverv2 — модель на основе BERT, опубликованная пользователем prodm93. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для построения поисковых систем по смыслу и группировки похожих текстов. Для использования через Transformers требуется применить корректную операцию pooling к контекстным представлениям токенов; доступна также интеграция с Sentence-Transformers. Карточка не сообщает языки обучения и условия лицензии, поэтому языковую специализацию и лицензионные ограничения определить нельзя.

940апр. 2023ctx512
textembeddinghugging-face
George2002
sledopyt_embedder_v4

George2002/sledopyt_embedder_v4 — модель Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-large для представления предложений и абзацев в виде плотных текстовых эмбеддингов. Архитектура основана на XLM-RoBERTa-large с усреднением токенов и нормализацией; размер эмбеддинга — 1024 измерения, максимальная длина последовательности — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель обучалась на парах запросов и фрагментов текста, а также на парах похожих запросов с отрицательными примерами. Она подходит для семантического поиска по фрагментам документов, поиска похожих запросов, выявления перефразировок, кластеризации и классификации текста. Примеры обучающих данных на русском языке, а базовая модель многоязычная. Для использования нужны текстовые запросы или документы; результатом служат эмбеддинги, которые можно сравнивать или использовать в поисковых и аналитических системах. Модель опубликована в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

1110апр. 2025ctx514
textembeddinghugging-face
carsondial
slinger20241231-1

Модель hi-di-hi-base — англоязычный Sentence Transformer, дообученный автором carsondial на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и нормализует их; сходство текстов оценивается косинусной близостью. Модель построена на BERT, использует CLS-пулинг и поддерживает последовательности до 512 токенов. Модель предназначена для семантического поиска, сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков, в том числе для поиска по базе знаний. README сообщает о дообучении на 45 тысячах пар anchor-positive из набора json; приведены оценки поиска при разных размерностях эмбеддингов. Доступна по лицензии Apache-2.0.

690янв. 2025ctx512
textembeddingapache-2.0hugging-face
ve88ifz2
snowflake-arctic-embed-m-klej-dyk-v0.1

Snowflake Arctic Embed M Klej Dyk v0.1 — англоязычная модель Sentence Transformer, дообученная ve88ifz2 на базе Snowflake/snowflake-arctic-embed-m. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации. Архитектура основана на BERT с объединением представлений CLS-токена и нормализацией векторов; для сопоставления используется косинусное сходство. Максимальная длина входа — 512 токенов, модель поддерживает сокращение размерности эмбеддинга до 64, 128, 256 или 512. Модель подходит для поиска релевантных документов по запросу, дедупликации похожих текстов и построения семантических групп. В README приведены результаты оценки поиска на датасетах dim_768, dim_512, dim_256, dim_128 и dim_64. Модель принимает текст и выдаёт векторы признаков для последующего поиска или анализа; она не предназначена для генерации текста. Распространяется по лицензии Apache-2.0.

1110июнь 2024ctx512
textembeddingapache-2.0hugging-face
cnmoro
snowflake-arctic-embed-m-v2.0-cpu

cnmoro/snowflake-arctic-embed-m-v2.0-cpu — модифицированная версия Snowflake Arctic Embed M v2.0, подготовленная для работы на CPU. Это плотная модель семейства GTE с 305,3 млн параметров, предназначенная для получения эмбеддингов текстов и оценки сходства между предложениями. Её можно применять для поиска по смыслу, сравнения текстовых фрагментов и построения retrieval-систем; контекст составляет до 8192 токенов. Модель работает с текстом и выдаёт векторные представления, поддерживает множество языков, включая английский, арабский, немецкий, французский, японский и хинди. В README указано использование через Sentence Transformers на CPU; из версии удалена зависимость xformers. Распространяется по лицензии Apache-2.0. README рекомендует загрузку с trust_remote_code=True.

1934янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
danfeg
ST-PARA-MPNET-M_Finetuned-COMB-7443

Модель danfeg/ST-PARA-MPNET-M_Finetuned-COMB-7443 — дообученная модель Sentence-Transformers на базе архитектуры XLM-RoBERTa, разработанная danfeg. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель подходит для построения поиска по смыслу, группировки похожих текстов и вычисления семантического сходства. В карточке указано обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

1020март 2024ctx514
textembeddinghugging-face
sentence-transformers
stsb-distilroberta-base-v2

sentence-transformers/stsb-distilroberta-base-v2 — модель sentence-transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства, семантического поиска и кластеризации. Архитектура основана на RoBERTa; модель содержит 95,2 млн параметров и принимает текст длиной до 514 токенов. Модель подходит для построения векторных представлений текстов и оценки близости предложений. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Распространяется по лицензии Apache-2.0.

4332март 2022ctx514
textembeddingapache-2.0hugging-face
Xunzhuo
vsr-embeddings-v1-text-nano

VSR Embeddings v1 Text Nano — компактный мультиязычный текстовый энкодер семейства ModernBERT от Xunzhuo, дообученный на базе llm-semantic-router/mmbert-embed-32k-2d-matryoshka. Модель независимо кодирует текстовые фрагменты двунаправленным энкодером и предназначена для семантической маршрутизации, сопоставления текстов, поиска по эмбеддингам и извлечения релевантных фрагментов. Она содержит 306,9 млн параметров, поддерживает контекст до 32 768 токенов и выдаёт векторы размерности 768, которые можно сокращать до 512, 256, 128 или 64 измерений с повторной нормализацией. Модель рассчитана на высокую пропускную способность и низкую задержку, в том числе для семантического кэширования, удаления дубликатов запросов, кластеризации, поиска по карточкам моделей и классификации по прототипам. Для длинных документов автор рекомендует разбивать текст на перекрывающиеся фрагменты и оценивать максимум сходства запроса с фрагментами, а не полагаться на один общий вектор документа. Доступна под лицензией Apache-2.0. Векторное сходство не является откалиброванным решением для безопасности или политик. Качество выбранной размерности эмбеддинга следует проверять на целевом индексе.

1240июль 2026ctx32.8K
textembeddingapache-2.0hugging-face
ronanki
xlmr_02-02-2022

ronanki/xlmr_02-02-2022 — модель Sentence-Transformers на базе XLM-RoBERTa, разработчик которой в карточке указан как ronanki. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства предложений. Модель содержит 305,2 млн параметров, принимает текст и формирует векторные представления; длина контекста — 514 токенов. Для обучения использовалась TripletLoss с евклидовой метрикой и отступом 5. Модель подходит для семантического поиска и группировки текстов, когда требуется сравнивать их по смыслу. В метаданных указаны XLM-RoBERTa и Sentence-Transformers; поддерживаемые естественные языки явно не перечислены. Модель опубликована в формате PyTorch. Лицензия в предоставленных сведениях не указана.

1000март 2022ctx514
textembeddinghugging-face
prashpathak
xlscout_standigger_2_aug

prashpathak/xlscout_standigger_2_aug — модель Sentence Transformers на архитектуре BERT, представленная пользователем prashpathak. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализованные для сравнения по косинусному сходству; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Её можно применять для поиска похожих фрагментов в корпусе, группировки документов по смыслу и подготовки векторных представлений для последующей классификации. В метаданных указаны 136,7 млн параметров и формат safetensors. Лицензия в предоставленных сведениях не указана.

3830авг. 2024ctx512
textembeddinghugging-face
jamiehudson
579-setfit-v2

jamiehudson/579-setfit-v2 — модель эмбеддингов предложений на базе MPNet, опубликованная пользователем jamiehudson в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Обучение использовало CosineSimilarityLoss. Модель предназначена для задач семантического поиска и группировки похожих текстов. Контекст составляет 514 токенов, размер модели — 136,7 млн параметров. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. В метаданных нет сведений о лицензии и языках, поэтому эти характеристики не описываются.

640нояб. 2022ctx514
textembeddinghugging-face
Nerdofdot
abc

Nerdofdot/abc — модель Sentence Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Она предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель обучена с TripletLoss и евклидовой метрикой расстояния; для работы можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Веса представлены в формате safetensors. Контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.

930дек. 2023ctx512
textembeddinghugging-face
abbasgolestani
ag-nli-bert-mpnet-base-uncased-sentence-similarity-v1

abbasgolestani/ag-nli-bert-mpnet-base-uncased-sentence-similarity-v1 — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория abbasgolestani. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в формате PyTorch. В README указано обучение с CosineSimilarityLoss и точность 82% на локальном наборе из 1000 пар предложений. Модель подходит для получения текстовых эмбеддингов и оценки смыслового сходства; сведения о лицензии и языковой специализации в предоставленных данных отсутствуют.

1240сент. 2023ctx514
textembeddinghugging-face
sentence-transformers
all-MiniLM-L12-v2

all-MiniLM-L12-v2 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений на больших наборах парных данных. Это дообученная версия microsoft/MiniLM-L12-H384-uncased: компактная BERT-архитектура примерно с 40 млн параметров, которая кодирует предложения и короткие абзацы в плотные векторы размерности 384. Модель предназначена для поиска по смыслу, оценки сходства предложений и кластеризации текстов. Её можно применять для получения векторных представлений документов и запросов; для текстов длиннее 256 WordPiece-токенов вход усекается. Данные обучения охватывают широкий спектр текстовых пар, но карточка описывает модель как англоязычную. Доступны веса и конвертированные варианты в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. Это текстовый энкодер: он выдаёт эмбеддинги, а не готовые ответы или сгенерированный текст.

2.8M345март 2022ctx512
textembeddingapache-2.0hugging-face
youssefkhalil320
all-MiniLM-L6-v6-pair_score

all-MiniLM-L6-v6-pair_score — англоязычная модель Sentence Transformers, созданная дообучением sentence-transformers/all-MiniLM-L6-v2. Это плотный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные векторы размерностью 384 и сравнивает их по косинусному сходству. Максимальная длина последовательности в метаданных — 512 токенов; карточка модели описывает ограничение в 256 токенов. Модель предназначена для оценки семантического сходства и поиска близких по смыслу текстов. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Лицензия Apache-2.0 разрешает использование на её условиях. Модель принимает текст и выдаёт векторные представления; сама по себе она не генерирует текст.

1050март 2025ctx512
textembeddingapache-2.0hugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей