/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 271–9 300 из 23 488
laowang11111
all-MiniLM-L6-v2

Карточка модели laowang11111/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

290июль 2026ctx512
textembeddingapache-2.0hugging-face
Nil626yhh
all-MiniLM-L6-v2

Карточка модели Nil626yhh/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1080июнь 2026ctx512
textembeddingapache-2.0hugging-face
ogustpazjuniorgmailcom
all-MiniLM-L6-v2

Карточка модели ogustpazjuniorgmailcom/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1581март 2026ctx512
textembeddingapache-2.0hugging-face
Saim-11
all-MiniLM-L6-v2

Карточка модели Saim-11/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1320апр. 2025ctx512
textembeddingapache-2.0hugging-face
ShaunGves
all-MiniLM-L6-v2

Карточка модели ShaunGves/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

730июнь 2026ctx512
textembeddingapache-2.0hugging-face
Zhaoxingbing
all-MiniLM-L6-v2

Карточка модели Zhaoxingbing/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

270июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v63-pair_score

KhaledReda разработал англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и сравнивает по косинусному сходству. Модель подходит для семантического поиска, оценки сходства и перефразирования, а также кластеризации и классификации текста на основе эмбеддингов. Архитектура включает энкодер BERT, mean pooling и нормализацию; размер модели — 25,9 млн параметров. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы; она рассчитана на английский язык. Лицензия — Apache-2.0.

880июнь 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v66-pair_score

KhaledReda/all-MiniLM-L6-v66-pair_score — англоязычный энкодер предложений на базе Sentence Transformers, дообученный KhaledReda на наборе pairs_with_scores_v53. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает Transformer на базе BertModel и mean pooling. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; в README максимальная длина последовательности указана как 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Обучающий набор содержит пары текстов с оценками сходства, а функция потерь — CoSENTLoss. Векторы можно использовать в системах поиска и других задачах сравнения текстов. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Указанные в карточке сценарии описывают возможности эмбеддинговой модели, но качество для конкретного домена следует проверять отдельно.

710июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v68-pair_score

all-MiniLM-L6-v68-pairscore — англоязычная модель Sentence Transformers, дообученная KhaledReda на базе KhaledReda/all-MiniLM-L6-v67-pair_score на наборе pairs_with_scores_v55. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена прежде всего для оценки семантического сходства и семантического поиска; также подходит для поиска перефразирований, кластеризации и классификации текста. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; сходство рассчитывается косинусной мерой. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы, которые можно сравнивать для ранжирования по смысловой близости. Обучающие данные содержат пары текстов с оценками сходства. Лицензия — Apache-2.0. Модель рассчитана на английский язык; качество на других языках не подтверждено. При использовании следует учитывать ограничение длины входа и проверять качество на целевых данных.

1040июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v71-pair_score

KhaledReda/all-MiniLM-L6-v71-pair_score — англоязычная модель Sentence Transformers, дообученная автором на модели KhaledReda/all-MiniLM-L6-v69-pair_score с использованием набора пар текстов со степенями сходства pairs_with_scores_v57. Это компактный плотный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные векторы размерности 384 и сравнивает их косинусным сходством. Для входной последовательности в метаданных указан контекст до 512 токенов; карточка модели задаёт ограничение в 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и получения признаков для классификации. Обучение проводилось с CoSENTLoss на парах с оценками сходства. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Для языков и текстов, отличающихся от английского, качество не подтверждено карточкой.

160июль 2026ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v82-pair_score

KhaledReda разработал англоязычную модель Sentence Transformer, дообученную на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. В README указан максимальный размер последовательности 256 токенов, а метаданные задают нативный контекст в 512 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно применять для получения эмбеддингов документов и вычисления релевантности пар предложений. Модель работает с английским языком; данные описаны как пары предложений с оценками, а обучение проводилось с CoSENTLoss. Модель распространяется под лицензией Apache-2.0. Это компактный энкодер с 25,9 млн параметров; фактические результаты зависят от текста и области применения, а вход длиннее ограничения последовательности может быть усечён.

2060сент. 2026ctx512
textembeddingapache-2.0hugging-face
guidecare
all-mpnet-base-v2-feature-extraction

guidecare/all-mpnet-base-v2-feature-extraction — копия модели all-mpnet-base-v2 для получения эмбеддингов предложений и коротких абзацев. Модель разработана командой Hugging Face в рамках Community Week и обучена дообучением microsoft/mpnet-base на более чем миллиарде пар предложений с контрастивной целью. Архитектура MPNet содержит 136,7 млн параметров и выдаёт плотный вектор размерности 768 для входного текста. Модель подходит для семантического поиска, сравнения сходства предложений и кластеризации текстов. Метаданные указывают поддержку английского языка; входы длиннее 384 токенов WordPiece обрезаются. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README отмечает, что отличие этой копии от официальной модели заключается в изменённом теге pipeline.

1001июнь 2022ctx514
textembeddingapache-2.0hugging-face
luiz-and-robert-thesis
all-mpnet-base-v2-lr-2e-7-margin-1-epoch-3

Это модель на базе MPNet, опубликованная авторами luiz-and-robert-thesis и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Такие эмбеддинги подходят для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в формате safetensors; для работы с ней предусмотрена библиотека Sentence Transformers. Модель обучали с TripletLoss, используя косинусную метрику и margin 1. README не сообщает языки обучения, результаты оценки или лицензию, поэтому качество для конкретных языков и условия использования по этим источникам определить нельзя.

950апр. 2024ctx514
textembeddinghugging-face
Omarbm52
Artemis-Embed-v1

Artemis Embed v1 — англоязычная плотная модель эмбеддингов на базе answerdotai/ModernBERT-base, разработанная Omarbm52. Она кодирует текст в L2-нормированный вектор размерности 768; поддерживаются усечённые Matryoshka-варианты размерности 512, 256 и 128. Архитектура использует ModernBERT, masked mean pooling и обучение с LoRA, контрастивной целью, hard negatives и Matryoshka learning. В метаданных указаны 149 млн параметров и контекст до 8192 токенов, однако в README для текущей версии протестирована длина последовательности до 128 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска документов, кластеризации и получения признаков для последующей классификации. В README приведены внутренние результаты разработки, а итоговая оценка на MTEB English v2 ещё не завершена, поэтому эти результаты не следует считать независимой итоговой оценкой. Версия поддерживает только английский язык. Лицензия в предоставленных данных не указана.

1641сент. 2026ctx8.2K
textembeddinghugging-face
andreyunic23
beds_step4

andreyunic23/beds_step4 — дообученная модель Sentence Transformers на основе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и короткие абзацы в плотные векторы размерностью 768 для семантического сравнения текстов; сходство оценивается косинусной мерой. Архитектура включает MPNet, усреднение токенных представлений и нормализацию; в README указана максимальная длина последовательности 384 токена, а метаданные приводят контекст 514 токенов. Модель подходит для семантического поиска, сопоставления похожих формулировок, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. README описывает обучение на наборе из 1 084 пар предложений с ContrastiveTensionLossInBatchNegatives. Базовая модель многоязычная, однако языковая специализация этого дообучения в доступных сведениях явно не обозначена. Модель содержит 136,7 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

930дек. 2024ctx514
textembeddinghugging-face
biggy-smiley
bert-base-uncased-fibe-ST

biggy-smiley/bert-base-uncased-fibe-ST — модель Sentence Transformers, дообученная на основе pilotj/bert-base-uncased-fibe-final. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства по косинусной близости, семантического поиска, поиска перефразировок, классификации текста и кластеризации. В основе — BERT с усреднением токенных представлений; максимальная длина входа составляет 512 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения фрагментов текста. Карточка описывает использование через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

130сент. 2024ctx512
textembeddinghugging-face
Suva
bge-base-finetune-v2

Suva/bge-base-finetune-v2 — модель эмбеддингов предложений и абзацев на базе архитектуры BERT, опубликованная в формате Sentence-Transformers. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска, сравнения смысловой близости и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства; размер модели — 136,7 млн параметров, контекст — до 512 токенов. Модель предназначена для систем поиска по смыслу, группировки текстов и вычисления сходства между фрагментами. README не указывает языки обучения или датасеты, поэтому языковую специализацию определить нельзя. Модель опубликована в форматах PyTorch и Safetensors; сведения о лицензии в доступных данных отсутствуют.

1210янв. 2024ctx512
textembeddinghugging-face
himanshu23099
bge_embedding_finetune1

himanshu23099/bge_embedding_finetune1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-small-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Модель использует архитектуру BERT с пуллингом CLS-токена и нормализацией векторов; сходство оценивается косинусной мерой. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для поиска похожих текстов и ранжирования кандидатов по семантической близости. В README приведены результаты оценки поиска по косинусному сходству: точность составляет 0,358 при k=1, 0,7092 при k=5 и 0,7993 при k=10. Модель ориентирована на английский язык и предназначена для работы с текстовыми данными; лицензия в предоставленных данных не указана.

1210нояб. 2024ctx512
textembeddinghugging-face
RedHatAI
bge-large-en-v1.5-quant

RedHatAI/bge-large-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-Large-en-v1.5 от BAAI, подготовленная Red Hat AI. Модель основана на архитектуре BERT и распространяется в формате ONNX с квантованием INT8; для запуска README рекомендует DeepSparseSentenceTransformers, а ускорение inference обеспечивается DeepSparse. Модель преобразует английский текст в векторные представления для семантического поиска, сопоставления текстов и построения retrieval-систем. Контекст ограничен 512 токенами. По README, ускорение на 10-ядерном ноутбуке достигает 4,8 раза, а на 16-ядерном AWS-инстансе — 3,5 раза; эти показатели относятся к указанным конфигурациям. Модель выпущена под лицензией MIT. Квантование INT8 и формат ONNX ориентированы на более эффективный inference; поддерживаемый язык — английский.

9522окт. 2023ctx512
textembeddingmithugging-face
optimum-intel-internal-testing
bge-small-en-v1.5

optimum-intel-internal-testing/bge-small-en-v1.5 — это англоязычная модель векторного представления текста из семейства BGE, разработанного Beijing Academy of Artificial Intelligence (BAAI); репозиторий с указанным идентификатором является зеркалом BAAI/bge-small-en-v1.5. Модель предназначена для feature extraction и dense retrieval: построения эмбеддингов предложений и документов, семантического поиска, сравнения сходства текстов, кластеризации и использования в системах retrieval-augmented generation. Модель основана на BERT-подобной архитектуре, содержит около 33,4 млн параметров, формирует эмбеддинги размерности 384 и поддерживает последовательности длиной до 512 токенов. Она работает с английским текстом, поддерживает PyTorch, Transformers, Sentence-Transformers и ONNX. Версия v1.5 улучшает распределение оценок сходства и сохраняет эффективную работу без обязательной инструкции для запроса; для поиска коротких запросов по длинным документам разработчик рекомендует добавлять инструкцию к запросу, но не к документам. Сильные стороны модели — небольшой размер, сравнительно низкие требования к вычислительным ресурсам, удобство локального развертывания и конкурентные результаты для модели малого масштаба на MTEB. Ограничения — поддержка только английского языка, ограничение контекста 512 токенами и то, что модель создаёт эмбеддинги, а не генерирует текст; для наиболее точного переранжирования результатов разработчик рекомендует отдельную cross-encoder-модель BGE Reranker. Указана лицензия MIT, допускающая коммерческое использование без платы.

36K0окт. 2025ctx512
textembeddingmithugging-face
prithivMLmods
Blitzar-Coder-4B-F.1-GGUF

Blitzar-Coder-4B-F.1-GGUF — модель для генерации кода, разработанная prithivMLmods. Это GGUF-версия Blitzar-Coder-4B-F.1, дообученной на базе Qwen3-4B с использованием расширенных наборов трассировок программирования. Модель предназначена для генерации и отладки кода, а также решения задач, требующих рассуждений, особенно при ограниченных вычислительных ресурсах. Модель ориентирована на работу более чем с десятью языками программирования, включая Python, Java, C#, C++, C, Go, JavaScript, TypeScript и Rust. Точные сведения об архитектуре, размере контекста и поддерживаемых естественных языках, кроме английского, в карточке не указаны. Доступны варианты от Q2_K до Q8_0, а также F16, BF16 и F32; размер файлов составляет примерно от 1,67 до 16,1 ГБ. Q4_K_M и Q5_K_M рекомендуются как сбалансированные варианты, а Q6_K, Q8_0 и версии с плавающей точностью обеспечивают более высокое качество ценой большего потребления ресурсов. Сильными сторонами модели являются специализация на программировании, поддержка нескольких языков программирования и широкий выбор вариантов квантования для запуска на оборудовании с разными ограничениями. Более компактные варианты обеспечивают более быструю инференцию, но могут уступать в качестве; для F16, BF16 и особенно F32 требуется больше видеопамяти. Модель распространяется по лицензии Apache-2.0.

3979июнь 2025
textapache-2.0hugging-face
win10
Blue-Rose-Coder-12.3B-Instruct

Blue-Rose-Coder-12.3B-Instruct — объединённая инструкционная языковая модель для работы с программным кодом. Она создана с помощью LazyMergekit на основе Qwen/Qwen2.5-Coder-7B-Instruct и WhiteRabbitNeo/WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B; в README исходные модели перечислены повторно. Архитектура — плотная Qwen2ForCausalLM, объём — 11,7 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации кода и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Лицензия модели в предоставленных данных не указана. Базовая Qwen-модель описана как пригодная для генерации, анализа и исправления кода; отдельные результаты оценки Blue-Rose-Coder в карточке не приведены.

251нояб. 2024ctx32.8K
texthugging-face
mirth
chonky_modernbert_large_1

Chonky modernbert large v1 — англоязычная модель токеновой классификации, дообученная автором mirth на answerdotai/ModernBERT-large для разделения текста на смысловые фрагменты. Она размечает границы сегментов меткой separator и предназначена для подготовки документов к поиску и генерации с дополнением из найденных данных (RAG), а также для передачи фрагментов в системы эмбеддингов или языковые модели. Модель построена на архитектуре ModernBERT и содержит 394,7 млн параметров. Базовая архитектура поддерживает контекст до 8192 токенов, однако модель дообучалась на последовательностях длиной 1024 токена. В README приведены token-based F1 0,85 для minipile и 0,79 для BookCorpus. Модель распространяется в формате safetensors по лицензии MIT.

7592апр. 2025ctx8.2K
textmithugging-face
OpenMOSS-Team
claif-scaled-bert-base

OpenMOSS-Team/claif-scaled-bert-base — англоязычная модель эмбеддингов на архитектуре BERT, опубликованная командой OpenMOSS. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель обучена с использованием CosineSimilarityLoss и доступна в формате PyTorch; её можно применять через Sentence-Transformers или Transformers с подходящим pooling. Модель подходит для англоязычных систем семантического поиска и группировки текстов. Контекст ограничен 512 токенами. Лицензия Apache-2.0 разрешает использование на её условиях.

1151авг. 2023ctx512
textembeddingapache-2.0hugging-face
OpenMOSS-Team
claif-scaled-roberta-base

OpenMOSS-Team/claif-scaled-roberta-base — модель эмбеддингов предложений и абзацев на архитектуре RoBERTa, опубликованная OpenMOSS-Team. Она преобразует текст в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и работает с английским языком. Обучение с CosineSimilarityLoss ориентировано на получение векторов, пригодных для оценки сходства текстов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

1170авг. 2023ctx514
textembeddingapache-2.0hugging-face
AnkushRaut216
cl-finetuned-sentence-transformer-vectorstore

Карточка модели AnkushRaut216/cl-finetuned-sentence-transformer-vectorstore на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1260апр. 2025ctx512
textembeddingapache-2.0hugging-face
bartowski
Code-Llama-3-8B-GGUF

Code-Llama-3-8B-GGUF — это набор квантизованных версий языковой модели Code-Llama-3-8B в формате GGUF, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Исходная модель размещена на Hugging Face организацией или автором ajibawa-2023. Модель предназначена прежде всего для генерации, дополнения и объяснения программного кода, а также для решения задач по программированию и математических задачах в диалоговом формате. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. В README указан английский язык, а среди целевых языков программирования перечислены Python, C++, PHP, JavaScript, Java, Rust, Ruby, SQL, MySQL, R и Julia. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством и требованиями к памяти: рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые варианты IQ4. Более компактные варианты экономят память, но снижают качество и могут быть непригодны для требовательных задач. Сильными сторонами являются специализация на коде, широкий выбор размеров файлов и возможность локального запуска через совместимый стек llama.cpp. Ограничения включают потери качества при низкой разрядности квантизации; сведения о размере контекстного окна, точной архитектуре и поддержке других естественных языков в README не указаны. Модель распространяется по лицензии llama3.

5808май 2024
textllama3hugging-face
tubyneto
crowdedflowertunedbert

tubyneto/crowdedflowertunedbert — модель Sentence-Transformers на архитектуре MPNet, обученная преобразовывать предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Обучение проводилось с ContrastiveLoss на основе косинусного расстояния. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста составляет 514 токенов. Доступна в формате PyTorch. README не указывает языки обучающих данных или лицензию, поэтому область языкового применения и условия использования по имеющимся сведениям определить нельзя.

980нояб. 2022ctx514
textembeddinghugging-face
Crystalcareai
CrystalMistral_7b_v.02

CrystalMistral_7b_v.02 — языковая модель, созданная Crystalcareai объединением Crystalcareai/Mistral-Evol-Coder и Crystalcareai/mistral-InstructGPT с помощью LazyMergekit и метода SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста, в том числе для сценариев, сочетающих инструкции и задачи, связанные с кодом. В репозитории указаны веса Safetensors; конфигурация слияния использует тип данных bfloat16. Лицензия в предоставленных данных не указана.

190янв. 2024ctx32.8K
texthugging-face
MohammadKhodadad
CTMEDGTE7_encoder

MohammadKhodadad/CTMEDGTE7_encoder — дообученная модель Sentence Transformers на базе skyfury/CTMEDGTE-cl7-step_6000. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по смыслу с помощью косинусного сходства. Архитектура основана на BERT с усреднением токенных представлений; модель рассчитана на последовательности длиной до 512 токенов по метаданным Hugging Face, а в конфигурации из README указано ограничение 256 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов и подготовки признаков для классификации. В метаданных указан объём 136,7 млн параметров и формат safetensors. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.

1270февр. 2025ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей