/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
14 941–14 970 из 23 488
hunkim
sentence-transformersklue-bert-base

hunkim/sentence-transformersklue-bert-base — модель семейства BERT, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла, семантического поиска и кластеризации. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель обучена с функцией CosineSimilarityLoss и рассчитана на получение эмбеддингов текста. Её можно применять для поиска похожих фрагментов и группировки текстов; в Transformers поверх контекстных представлений требуется использовать подходящий pooling. Репозиторий содержит веса PyTorch. Языковая специализация и лицензия в предоставленных данных не указаны.

1030май 2022ctx512
textembeddinghugging-face
vitthalbhandari
simcse_retrain_edos_100k_64batch

vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.

1100дек. 2022ctx514
textembeddinghugging-face
JatinkInnovision
snowflake-arctic-embed-l-v2.0_all-nli

JatinkInnovision/snowflake-arctic-embed-l-v2.0_all-nli — модель Sentence Transformers, дообученная на наборе all-nli на основе Snowflake/snowflake-arctic-embed-l-v2.0. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa, пулинг CLS-токена и нормализацию. Максимальная длина последовательности — 8192 токена, сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок. Также её можно применять для кластеризации и классификации текстов на основе эмбеддингов. В README приведена точность cosine_accuracy 0,9558 на TripletEvaluator для all-nli-test. Для использования нужны Sentence Transformers или совместимая среда инференса эмбеддингов. Метаданные указывают лицензию не указывают; условия лицензии по предоставленным данным определить нельзя. Оценка на all-nli не гарантирует качество на других языках и предметных областях.

1120дек. 2024ctx8.2K
textembeddinghugging-face
pritamdeka
S-PubMedBert-MS-MARCO-SCIFACT

S-PubMedBert-MS-MARCO-SCIFACT — модель Sentence-Transformers на архитектуре BERT, содержащая 136,7 млн параметров и преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с функцией MultipleNegativesRankingLoss на основе косинусного сходства; максимальная длина контекста составляет 512 токенов. Модель можно использовать в конвейерах поиска по смыслу и группировки текстов. В названии указаны PubMedBERT, MS MARCO и SCIFACT, однако карточка не описывает подробнее состав обучающих данных, целевые языки или специализацию по предметным областям. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.

1.2K5март 2022ctx512
textembeddinghugging-face
migtissera
Tess-4-27B

Tess-4-27B — мультимодальная модель на 27 млрд параметров, разработанная Migel Tissera на основе Qwen/Qwen3.6-27B. Это дообученная плотная модель семейства Qwen3.5 для диалогов, рассуждений и агентной работы с инструментами; она принимает текст и изображения и генерирует текст. Модель рассчитана на программирование, анализ больших кодовых баз и документов, планирование и решение многошаговых технических задач. В README указано обучение на трассах агентной работы с контекстом 64 тыс. токенов; это не подтверждает максимальную длину контекста при инференсе. Разработчик описывает стиль модели как сдержанные ответы на простые запросы и более подробное обдумывание сложных задач. Она поддерживает интерфейс вызова инструментов и унаследовала визуальную часть базовой модели Qwen. Модель доступна в формате BF16 safetensors для Transformers, vLLM и SGLang; README также указывает отдельные репозитории GGUF-квантований. Лицензия — Apache 2.0.

2.7K143июль 2026ctx262.1K
textimageapache-2.0hugging-face
dhruvnayee
test_help_text

SentenceTransformer на базе BAAI/bge-large-en-v1.5, дообученный на 16 909 примерах с парами anchor, positive и negative. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT, пулинг CLS и нормализацию. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают нативный контекст 512 токенов. Обучающие примеры и описание базовой модели ориентированы на английский язык. Лицензия в предоставленных данных не указана.

890сент. 2025ctx512
textembeddinghugging-face
buelfhood
unixcoder-base-unimodal-ST

buelfhood опубликовал Sentence Transformer, дообученный на базе microsoft/unixcoder-base-unimodal. Модель использует архитектуру RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать косинусной мерой. В README указана максимальная длина последовательности 512 токенов, а метаданные каталога указывают нативный контекст в 1026 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, классификации и кластеризации текстов. Данные о специализированной предметной области или целевых языках не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

1290апр. 2025ctx1K
textembeddinghugging-face
LamaDiab
V7MiniLM-Synonyms-SemanticEngine

LamaDiab/V7MiniLM-Synonyms-SemanticEngine — модель Sentence Transformer на архитектуре BERT, обученная сопоставлять предложения и абзацы в общем векторном пространстве размерности 384. Она подходит для поиска семантически близких формулировок, оценки сходства текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации. В README указано обучение на 683 парах коротких текстов, включая синонимичные выражения; для сравнения используется косинусное сходство. Веса доступны в формате safetensors; модель содержит 25,9 млн параметров. Максимальная длина последовательности в описании архитектуры README — 256 токенов, а метаданные указывают нативный контекст 512 токенов. README не сообщает поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

1260нояб. 2025ctx512
textembeddinghugging-face
viggypoker1
Vignesh-finetuned-bge2

Vignesh-finetuned-bge2 — англоязычная модель Sentence Transformer, дообученная автором Vignesh с BAAI/bge-base-en-v1.5 на парных текстах из набора json. Она кодирует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их по косинусному сходству. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска, сопоставления запросов с фрагментами документов, поиска перефразировок, кластеризации, классификации текстов и оценки семантического сходства. В README приведены результаты оценки поиска при уменьшении размерности эмбеддингов до 64–512, однако состав и предметная область наборов оценки подробно не описаны. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.

1340февр. 2025ctx512
textembeddingapache-2.0hugging-face
lier007
xiaobu-embedding

xiaobu-embedding — текстовая модель эмбеддингов, разработанная на основе GTE и дообученная для нескольких задач сопоставления запросов и документов. Она предназначена для получения векторных представлений текстов и вычисления их смыслового сходства; автор приводит примеры разговорных пар «запрос — запрос» и пар «запрос — документ» из области знаний, а также данные BGE для пар «запрос — документ». Для обучения использовались очищенные положительные примеры и отрицательные примеры средней сложности; общий объём данных составил около 6 млн примеров. Модель построена на архитектуре BERT, содержит 424,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Для использования автор рекомендует Sentence-Transformers; оценивание описано со ссылкой на китайский бенчмарк CMTEB. Лицензия в предоставленных данных не указана.

5318янв. 2024ctx512
textembeddinghugging-face
z51722369
ZOZ-Reasoning-Master-3B

ZOZ-Reasoning-Master-3B — компактная языковая модель на 3,09 млрд параметров, разработанная z51722369 на архитектуре Qwen2 и дообученная для работы в роли диалогового агента с инструментами. В карточке описан трёхэтапный процесс обучения: настройка вызова функций и соблюдения схем, дообучение на задачах поиска и рассуждения в длинном контексте, затем диалоговое выравнивание на Magpie-Pro. Указанная в README базовая модель — Qwen2.5-3B-Instruct; метаданные связывают модель с z51722369/ZOZ-Function-Master-3B-LongContext. Модель предназначена для локальных RAG-систем, извлечения данных из документов и многошаговых диалогов, а также для маршрутизации запросов и вызова API или вебхуков. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст, включая структурированные ответы и вызовы инструментов. README сообщает, что поставляются объединённые веса FP16; лицензия — Apache-2.0. Среди ограничений автор отмечает, что модель на 3B параметров уступает крупным моделям в энциклопедических знаниях и лучше работает, когда ответ опирается на предоставленный контекст или инструменты. Хотя размер контекста составляет 32K токенов, для баланса скорости и памяти в README рекомендованы последовательности длиной 1 024–4 096 токенов.

2190сент. 2026ctx32.8K
textapache-2.0hugging-face
avsolatorio
01-100-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240202160129-best

Карточка модели avsolatorio/01-100-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240202160129-best на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.

1680февр. 2024ctx512
textembeddingmithugging-face
avsolatorio
01-100-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240208121054-best

Карточка модели avsolatorio/01-100-11-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240208121054-best на Hugging Face совпадает с карточкой avsolatorio/01-100-31-1-2-2-0-0-cls-normed-384-512_GIST_BAAI_bge-small-en-v1.5-20240207031328-best, поэтому описание составлено по ней. Это англоязычная модель для получения плотных векторных представлений текста на основе BAAI/bge-small-en-v1.5. Репозиторий размещён в пространстве имён avsolatorio; по идентификатору модели и карточке это производная версия BGE, однако карточка не описывает конкретные изменения или способ обучения этой версии. Модель предназначена для поиска семантически близких текстов и формирования эмбеддингов для систем поиска и retrieval-augmented generation (RAG). Архитектура — BERT, около 40 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Модель ориентирована на английский язык. Эмбеддинги подходят для поиска кандидатов, но README рекомендует при необходимости повышать точность выдачи с помощью отдельного reranker. Карточка также отмечает, что оценка сходства сама по себе не является калиброванной вероятностью семантической близости.

1590февр. 2024ctx512
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_160

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_160 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1090февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_1640

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_1640 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1130февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_1880

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_1880 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1340февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_2480

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2480 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1070февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_2520

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2520 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1290февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_2560

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2560 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1300февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_2720

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_2720 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1070февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_3000

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_3000 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1080февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_4800

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4800 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1120февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_4920

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4920 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1640февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
20m_em_checkpoint_epoch_1_step_760

Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_760 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1240февр. 2025ctx8.2K
textembeddingmithugging-face
Watwat100
32data

Watwat100/32data — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и формирует эмбеддинги; контекст составляет до 514 токенов. Модель подходит для семантического поиска и группировки похожих текстов. В README указано обучение с CosineSimilarityLoss. Данных о специализации по языкам или предметным областям нет. В метаданных указан формат PyTorch; лицензия не приведена.

960нояб. 2022ctx514
textembeddinghugging-face
futuredatascience
action-classifier-v1

futuredatascience/action-classifier-v1 — модель sentence-transformers на архитектуре MPNet, разработанная Future Data Science. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации текста. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления; указанная длина контекста — 514 токенов. Модель подходит для поиска близких по смыслу фраз и документов, группировки текстов и построения систем семантического поиска. В README указано обучение с CosineSimilarityLoss. Данные о языках и специализированных областях применения не приведены. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют.

550нояб. 2022ctx514
textembeddinghugging-face
flax-sentence-embeddings
all_datasets_v4_MiniLM-L12

flax-sentence-embeddings/all_datasets_v4_MiniLM-L12 — модель эмбеддингов предложений, разработанная участниками Community Week Hugging Face в рамках проекта по обучению моделей на большом наборе пар предложений. За основу взята MiniLM-L12, дообученная контрастивным обучением на более чем миллиарде пар из объединённых датасетов. Модель принимает текстовое предложение и выдаёт векторное представление его смысла. Эмбеддинги подходят для поиска по смыслу, сравнения сходства предложений и кластеризации. Это плотная BERT-подобная модель на 40 млн параметров; контекст ограничен 512 токенами. В карточке указано обучение на последовательностях длиной до 128 токенов. Поддерживаемый язык — английский. Модель рассчитана на прикладное использование как sentence encoder. Репозиторий содержит веса PyTorch; лицензия в доступных сведениях не приведена.

952март 2022ctx512
textembeddinghugging-face
qxakshat
all-MiniLM-L6-v2-32dim

qxakshat/all-MiniLM-L6-v2-32dim — модель Sentence Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 32. Её можно применять для семантического поиска, кластеризации и оценки сходства текстов. Репозиторий содержит веса в формате safetensors; модель насчитывает 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Это уменьшенная по размерности версия all-MiniLM-L6-v2: README указывает, что 32-мерное представление получено снижением размерности исходного 384-мерного. На тесте STS с оценкой косинусного сходства версия на 32 измерения показала Pearson 0,7256 и Spearman 0,7481, ниже исходной версии с 384 измерениями (0,8274 и 0,8203 соответственно). Модель ориентирована на английский язык и выпущена по лицензии Apache-2.0.

1280май 2025ctx512
textembeddingapache-2.0hugging-face
omarelshehy
arabic-english-sts-matryoshka-v2.0

Это двуязычная модель Sentence Transformers на базе FacebookAI/xlm-roberta-large, дообученная для работы с арабскими и английскими предложениями. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для сравнения смысловой близости, семантического поиска и других задач, где нужно сопоставлять тексты. Модель поддерживает как отдельную работу с арабским и английским, так и межъязыковое сопоставление между ними. Модель поддерживает Matryoshka embeddings: векторы можно сокращать до 768, 512, 256, 128 или 64 измерений, чтобы уменьшить потребление памяти и ускорить последующую обработку. Максимальная длина последовательности — 512 токенов по README и 514 токенов в метаданных; используется библиотека sentence-transformers, веса доступны в формате safetensors. Автор сообщает об улучшении метрик MTEB по сравнению с предыдущей версией, особенно для арабско-английских задач, и рекомендует самостоятельно проверять соответствие модели конкретному сценарию. Лицензия в предоставленных данных не указана.

1423окт. 2024ctx514
textembeddinghugging-face
armaniii
bert-base-uncased-augmentation-indomain-bm25-sts

Эта модель Sentence Transformers разработана на основе google-bert/bert-base-uncased и дообучена на наборе sentence-transformers/stsb для оценки смыслового сходства предложений. Она кодирует предложения и абзацы в плотные векторы размерностью 768, сравниваемые косинусной близостью; архитектура включает BERT и усреднение токенных представлений. Модель рассчитана на английский язык. В метаданных указан контекст до 512 токенов, а в карточке модели — максимальная длина последовательности 128 токенов. Подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки на STS-test, однако агрегированные показатели могут различаться между таблицами. Лицензия в предоставленных данных не указана.

1042нояб. 2024ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей