/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
7 291–7 320 из 23 488
mitra-mir
setfit_model_labelfaithful_epochs2

Модель mitra-mir/setfit_model_labelfaithful_epochs2 — sentence-transformers-модель на базе MPNet, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска по смыслу, вычисления сходства между текстами и кластеризации. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch; модель предоставляет текстовые эмбеддинги. Модель обучалась с функцией потерь CosineSimilarityLoss. Это делает её подходящей для сравнения текстовых представлений и поиска семантически близких фрагментов. В карточке не указаны поддерживаемые языки и условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

930июль 2023ctx514
textembeddinghugging-face
PaddlePaddle
SLANeXt_wired

SLANeXt_wired — модель PaddlePaddle для распознавания структуры таблиц на изображениях. Она определяет строки, столбцы и ячейки и преобразует область таблицы в HTML, чтобы результат можно было редактировать или передать на последующую обработку в системе распознавания таблиц. Модель входит в экосистему PaddleOCR и предназначена для использования как отдельный модуль или в составе конвейеров распознавания документов. Модель ориентирована на таблицы с линиями-разделителями. Полный конвейер может сочетать распознавание структуры с детекцией ячеек и текста, распознаванием текста и анализом макета, а результат выдавать в HTML или Excel. В карточке приведено примечание, что показатели точности SLANeXt_wired получены при совместном тестировании с SLANeXt_wireless, поэтому их нельзя считать оценкой отдельной модели. Модель распространяется по лицензии Apache-2.0.

7.8K3июнь 2025
textimageapache-2.0hugging-face
MaziyarPanahi
speechless-code-mistral-orca-7b-v1.0-Mistral-7B-Instruct-v0.2-slerp

Speechless Code Mistral Orca 7B v1.0 — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/speechless-code-mistral-orca-7b-v1.0 методом SLERP. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате, в том числе для задач, связанных с кодом. Контекст модели составляет до 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. В карточке не приведены сведения о языковом покрытии или результаты оценки качества.

150янв. 2024ctx32.8K
textapache-2.0hugging-face
sentence-transformers-testing
stsb-bert-tiny-safetensors

sentence-transformers-testing/stsb-bert-tiny-safetensors — компактная модель Sentence Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 128. Модель содержит около 4,4 млн параметров, использует mean pooling и поддерживает контекст до 512 токенов. Модель предназначена для вычисления семантического сходства текстов, семантического поиска и кластеризации. Её можно использовать через библиотеку sentence-transformers или напрямую через Transformers с применением mean pooling; формат safetensors поддерживается репозиторием. К сильным сторонам относятся небольшой размер, высокая скорость инференса и низкие требования к ресурсам. Модель создает эмбеддинги, а не генерирует текст, поэтому для поиска или сравнения требуется отдельный механизм вычисления близости. Языки, на которых модель специально обучалась, и лицензия в доступных данных не указаны.

983K10нояб. 2023ctx512
textembeddinghugging-face
am-azadi
UAE-Large-V1_Fine_Tuned

am-azadi/UAE-Large-V1_Fine_Tuned — дообученная модель Sentence Transformers на базе WhereIsAI/UAE-Large-V1, разработанная автором репозитория am-azadi. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов, поиска перефразирований, классификации и кластеризации. Архитектура состоит из BERT-трансформера с объединением представлений CLS-токена; максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. Модель обучалась на 25 743 парах текстов с MultipleNegativesRankingLoss. Примеры обучающих данных многоязычны, но основное назначение и язык базовой модели — английский. Для применения нужны тексты; результатом служат векторы, пригодные для ранжирования или дальнейшей обработки. Лицензия в предоставленных данных не указана.

1190февр. 2025ctx512
textembeddinghugging-face
prithivMLmods
Viper-Coder-HybridMini-v1.3

Viper-Coder-HybridMini-v1.3 — дообученная модель для генерации кода и текста, созданная на основе Qwen/Qwen2.5-7B-Instruct. В карточке заявлена настройка на синтетических данных по программированию и рассуждениям; архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для диалоговой работы, следования инструкциям, генерации и отладки кода, логических и математических задач, а также создания структурированных ответов в форматах JSON и YAML. Модель принимает текст и генерирует текст, включая программный код. В README заявлена поддержка многих языков программирования и документации на более чем 29 естественных языках; метаданные карточки указывают английский и китайский. Нативная длина контекста по метаданным — 32 768 токенов; README также заявляет обработку до 128K токенов, что не подтверждается этими метаданными. Доступны интерфейсы чата и вызова инструментов. Лицензия — Apache-2.0. README отмечает зависимость качества от формулировки запроса и возможные логические несогласованности в длинных ответах; доступ к актуальной интернет-информации не заявлен. Указанные в карточке результаты оценки представлены частично, поэтому они не позволяют полноценно сравнить модель с альтернативами.

809февр. 2025ctx32.8K
textapache-2.0hugging-face
BenevolenceMessiah
Yi-Coder-9B-Chat-8x-MoE

BenevolenceMessiah/Yi-Coder-9B-Chat-8x-MoE — диалоговая языковая модель для генерации кода и помощи в программировании, созданная с помощью mergekit на основе 01-ai/Yi-Coder-9B-Chat. В README описана сборка MoE с восемью экспертами, каждый из которых основан на одной и той же исходной модели; архитектура указана как MixtralForCausalLM. Модель содержит 8,6 млрд параметров и работает с контекстом до 131 072 токенов. Она предназначена для запросов на естественном языке о коде, генерации и объяснения программ, а также работы с длинными фрагментами кода и техническими материалами. Исходное семейство Yi-Coder поддерживает 52 языка программирования; это число относится к семейству, поэтому README не подтверждает одинаковое качество на каждом языке именно этой сборки. Модель принимает и генерирует текст. Лицензия — Apache-2.0. README описывает экспериментальную MoE-сборку с повторением одной базовой модели среди экспертов; отдельные результаты оценки качества этой версии не приведены.

260сент. 2024ctx131.1K
textapache-2.0hugging-face
BenevolenceMessiah
Yi-Coder-9B-Chat-Instruct-TIES

BenevolenceMessiah/Yi-Coder-9B-Chat-Instruct-TIES — объединение моделей, созданное с помощью mergekit методом TIES на основе 01-ai/Yi-Coder-9B и 01-ai/Yi-Coder-9B-Chat. Это плотная авторегрессионная модель семейства Llama с 8,6 млрд параметров, предназначенная для генерации кода и диалоговой помощи в программировании. Модель принимает текст и генерирует текст; карточка базовой серии заявляет поддержку 52 популярных языков программирования и контекст до 128K токенов, а метаданные репозитория указывают контекст 131 072 токена. Модель подходит для написания и объяснения кода, а также работы с длинными фрагментами программного текста. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает базовую серию Yi-Coder и конфигурацию слияния, но не приводит отдельной оценки качества именно этого объединения.

290сент. 2024ctx131.1K
textapache-2.0hugging-face
Classical
Yinka

Yinka — модель для получения текстовых эмбеддингов, дообученная разработчиками Classical на открытой модели stella-v3.5-mrl с использованием многозадачной гибридной функции потерь, описанной в piccolo2. Она принимает текст и преобразует его в векторы для задач семантического поиска и сравнения текстов. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и поддерживает контекст до 512 токенов. Полный размер вектора — 1792 измерения; README указывает на возможность использовать векторы меньшей размерности, отбирая первые n измерений перед нормализацией. Для применения не требуются специальные префиксы. В таблице README приведены результаты на наборах задач классификации, кластеризации, сопоставления пар, ранжирования, поиска и семантического сходства; отдельного описания обучающих данных нет. Модель предназначена для извлечения признаков из текста. Доступные сведения не подтверждают конкретный набор поддерживаемых языков, поэтому языки не перечисляются. Лицензия в предоставленных данных не указана.

6020май 2024ctx512
textembeddinghugging-face
avsolatorio
01-600-11-1-2-2-0-0-cls-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240412205533-best

Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240412205533-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1420апр. 2024ctx512
textembeddingmithugging-face
avsolatorio
01-600-11-1-2-2-0-0-cls-qli_6-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240417105647-best

Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-qli_6-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240417105647-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1330апр. 2024ctx512
textembeddingmithugging-face
avsolatorio
01-600-11-1-4-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240424004605-best

Карточка модели avsolatorio/01-600-11-1-4-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240424004605-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

1400апр. 2024ctx512
textembeddingmithugging-face
Nhat1904
4-shot-twitter

Nhat1904/4-shot-twitter — модель Sentence-Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Она обучалась с функцией потерь CosineSimilarityLoss и подходит для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

1010дек. 2022ctx514
textembeddinghugging-face
aalrabah
adv-nlp-hw1-alrabah2

Карточка модели aalrabah/adv-nlp-hw1-alrabah2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1111окт. 2025ctx512
textapache-2.0hugging-face
SIRIS-Lab
affilgood-dense-retriever

SIRIS-Lab/affilgood-dense-retriever — модель Sentence Transformer, разработанная SIRIS-Lab для получения плотных векторных представлений предложений и абзацев. Она основана на XLM-RoBERTa с усреднением токенных представлений и нормализацией выходного вектора; размерность эмбеддингов — 1024. Обучение проводилось с MultipleNegativesRankingLoss на 47 610 примерах, а близость текстов оценивается косинусным сходством. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации. В примерах обучения встречаются названия организаций и сущностей с контекстом вроде местоположения и родительской организации; на наборе entity_linking_eval указана корреляция Спирмена 0,6826 для косинусного сходства. Метаданные указывают на контекст до 514 токенов, тогда как README задаёт максимальную длину последовательности 128 токенов для описанной конфигурации Sentence Transformers. Модель принимает текст и возвращает векторы признаков. Карточка не сообщает поддерживаемые языки, лицензию или известные ограничения качества за пределами приведённой оценки; проверьте лицензию и пригодность для конкретных данных перед использованием.

4600апр. 2025ctx514
textembeddinghugging-face
ronanki
all_mpnet_base_128_20_MNR

ronanki/all_mpnet_base_128_20_MNR — модель Sentence Transformers на базе MPNet, разработанная ronanki. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически похожих текстов, кластеризации и других задач сопоставления по смыслу. Модель обучалась с MultipleNegativesRankingLoss и косинусной мерой сходства; в метаданных указано 136,7 млн параметров и контекст до 514 токенов. Модель принимает текст и возвращает векторные представления, которые можно сравнивать или индексировать для семантического поиска. Репозиторий содержит веса PyTorch; для использования в README рекомендована библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

1250март 2023ctx514
textembeddinghugging-face
jondurbin
bagel-7b-v0.4

Bagel 7B v0.4 — текстовая диалоговая модель, созданная Джоном Дёрбином путём дообучения Mistral 7B. Это версия до DPO-обучения; автор отмечает её пригодность для ролевых диалогов. Модель рассчитана на генерацию ответов, выполнение инструкций, вопросы и ответы по контексту, творческое письмо, программирование, математику и вызов функций. В README описан широкий набор обучающих данных: от чатов и ролевых сценариев до задач по Python, SQL, естественным наукам и пониманию прочитанного. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает и генерирует текст. Для диалогов предусмотрены форматы Vicuna, Llama 2, Alpaca и ChatML; автор указывает, что примеры обучения преобразовывались в несколько форматов. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache 2.0. Обучающие данные охватывают несколько языков, но карточка не уточняет полный список языков, на которых качество проверено. Как и другие языковые модели, Bagel может выдавать неверные ответы; README также предупреждает о токсичных примерах в обучающих данных. Версия v0.4 не включает описанное в карточке DPO-дообучение.

7310февр. 2024ctx32.8K
textapache-2.0hugging-face
Charul1223
bert-base-cased-on-sts

Charul1223/bert-base-cased-on-sts — модель на базе BERT, опубликованная пользователем Charul1223. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, кластеризации и семантического поиска. Модель обучалась с функцией потерь CosineSimilarityLoss и рассчитана на использование с библиотекой Sentence-Transformers или через Transformers с соответствующей операцией pooling. Модель содержит 135,5 млн параметров, принимает текст и формирует векторные представления; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. Язык и лицензия в предоставленных данных не указаны.

970май 2023ctx512
textembeddinghugging-face
RedHatAI
bge-base-en-v1.5-quant

RedHatAI/bge-base-en-v1.5-quant — квантизированная версия модели эмбеддингов bge-base-en-v1.5 от Red Hat AI. Она предназначена для получения векторных представлений английского текста и ускоренного инференса через DeepSparseSentenceTransformers; README сообщает об ускорении задержки до 4,5 раза на 10-ядерном ноутбуке и 16-ядерном экземпляре AWS. Модель основана на архитектуре BERT, содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате ONNX с квантизацией INT8. Модель подходит для поиска по смыслу, кластеризации и других сценариев, использующих текстовые эмбеддинги. Лицензия — MIT. Карточка не сообщает об ограничениях точности после квантизации или о результатах на конкретных наборах оценки.

1604окт. 2023ctx512
textembeddingmithugging-face
BAAI
bge-large-zh

BAAI/bge-large-zh — модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная Beijing Academy of Artificial Intelligence. Она преобразует китайский текст в плотные векторы для семантического поиска, извлечения релевантных документов, кластеризации и классификации, в том числе как компонент систем RAG и векторных баз данных. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Для коротких поисковых запросов к длинным документам авторы рекомендуют добавлять инструкцию для запроса; сами документы в ней не нуждаются. Модель поддерживает китайский язык и выдаёт векторные представления текста. README рекомендует перейти на BAAI/bge-large-zh-v1.5: в версии v1.5 улучшено распределение оценок сходства и качество поиска. У старой версии оценки сходства несхожих предложений могут быть выше 0,5, поэтому абсолютные значения нельзя трактовать как универсальный порог; важнее относительный порядок результатов, а порог следует подбирать на своих данных. Лицензия — MIT.

3.7K346авг. 2023ctx512
textembeddingmithugging-face
amazon
chronos-bolt-small

Chronos-Bolt Small — предварительно обученная модель Amazon для прогнозирования временных рядов с нулевым дообучением на новых данных. Она использует архитектуру T5 encoder-decoder: кодировщик обрабатывает исторические наблюдения блоками, а декодер напрямую строит вероятностные прогнозы квантилей на несколько будущих шагов. По README модель обучалась на почти 100 млрд наблюдений временных рядов; метаданные указывают архитектуру T5 и 22 млн параметров, тогда как таблица README приводит для варианта Small 48 млн параметров. Модель предназначена для прогнозирования временных рядов, в том числе без предварительного обучения на целевом наборе данных. Для промышленного использования README рекомендует AutoGluon, который также позволяет дообучать модель, учитывать ковариаты и объединять прогнозы с другими моделями; доступно развёртывание через SageMaker JumpStart на CPU и GPU. Заявлены более высокая скорость и меньший расход памяти по сравнению с исходными моделями Chronos сопоставимого размера. Контекст составляет 512 наблюдений по метаданным. Лицензия — Apache-2.0.

6.2M62нояб. 2024ctx512
textapache-2.0hugging-face
simplyinquisitive
code-stral-7B-B

simplyinquisitive/code-stral-7B-B — языковая модель, созданная автором репозитория с помощью mergekit методом passthrough из mistralai/Mistral-7B-Instruct-v0.2 и mistral-community/Codestral-22B-v0.1. Она использует архитектуру Mistral и предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и помощь с кодом. Модель содержит 14,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст. В репозитории указана лицензия Apache-2.0. В карточке нет сведений об отдельных языковых тестах или гарантиях качества; возможности модели унаследованы от объединённых чекпойнтов и могут отличаться от их характеристик.

240июнь 2024ctx32.8K
textapache-2.0hugging-face
teven
cross_all_bs320_vanilla_finetuned_WebNLG2017

teven/cross_all_bs320_vanilla_finetuned_WebNLG2017 — модель Sentence-Transformers на базе MPNet, дообученная для получения векторных представлений предложений и абзацев. Разработчик указывает, что модель преобразует текст в плотные векторы размерности 768; в метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель предназначена для семантического поиска, сравнения текстов и кластеризации. Для работы можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

640сент. 2022ctx514
textembeddinghugging-face
jameshan5040
cs598-adv-nlp-hw1-jameshan5040

Карточка модели jameshan5040/cs598-adv-nlp-hw1-jameshan5040 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1110сент. 2025ctx512
textembeddingapache-2.0hugging-face
mingbao2020
distilroberta-base-nli-2d-matryoshka

mingbao2020 выпустил модель sentence-transformers на базе DistilRoBERTa для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. Обучение с Matryoshka2dLoss поддерживает представления размерностью 768, 512, 256, 128 и 64, что позволяет выбирать компромисс между размером вектора и качеством. Архитектура — RoBERTa, модель содержит 95,2 млн параметров и принимает текст с контекстным окном 514 токенов. Репозиторий использует формат safetensors. Модель подходит для построения текстовых эмбеддингов и ранжирования сходства предложений. В предоставленных данных не указаны специальные предметные области или поддерживаемые естественные языки. Условия лицензии в предоставленных данных отсутствуют.

960апр. 2024ctx514
textembeddinghugging-face
omarelsayeed
e5_base_tsdae

omarelsayeed/e5_base_tsdae — модель эмбеддингов предложений и абзацев на базе XLM-RoBERTa, представленная в формате PyTorch. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска, кластеризации и сравнения сходства предложений. В метаданных указано 305,2 млн параметров и контекст длиной до 514 токенов. Модель обучена с использованием LoggingDenoisingAutoEncoderLoss и предназначена для получения текстовых представлений, которые можно использовать в поисковых и аналитических системах. Карточка не сообщает поддерживаемые языки и лицензию, поэтому их нельзя уточнить по имеющимся данным.

980янв. 2024ctx514
textembeddinghugging-face
intfloat
e5-base-unsupervised

intfloat/e5-base-unsupervised — англоязычная модель эмбеддингов текста из семейства E5, разработанная авторами работы Text Embeddings by Weakly-Supervised Contrastive Pre-training. Это вариант E5-base без последующего обучения на размеченных данных. Модель построена на архитектуре BERT: 12 слоёв, размер эмбеддинга 768, около 136,7 млн параметров; принимает текст и выдаёт векторные представления. Максимальная длина входа — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска по смыслу, в том числе для извлечения фрагментов из коллекции по запросу, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для задач поиска рекомендуется добавлять префиксы «query: » к запросам и «passage: » к текстам коллекции; для симметричного сравнения и других сценариев применяется префикс «query: ». Модель работает только с английскими текстами, а более длинные последовательности обрезаются до 512 токенов. Карточка предупреждает о возможном снижении качества без соответствующих префиксов и о небольших различиях результатов между версиями PyTorch и Transformers. Лицензия — MIT.

5.5K3янв. 2023ctx512
textembeddingmithugging-face
omarelsayeed
e5_tsdae_contrastive

omarelsayeed/e5_tsdae_contrastive — модель эмбеддингов на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. Доступны веса PyTorch; для работы можно использовать библиотеку Sentence-Transformers. Карточка описывает обучение с LoggingCosineLoss, но не приводит результаты оценки. Лицензия в предоставленных данных не указана.

970янв. 2024ctx514
textembeddinghugging-face
pashinskaya03
fft-bge-m3-encoder

pashinskaya03/fft-bge-m3-encoder — модель Sentence Transformer на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и нормализует их; близость текстов можно оценивать косинусным сходством. Модель обучена на 78 413 примерах с anchor, positive и negative и подходит для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Контекстное окно в метаданных указано как 8194 токена, а README задаёт максимальную длину последовательности 2048 токенов. В репозитории используются веса safetensors и библиотека Sentence Transformers. Языки и лицензия в предоставленных источниках не указаны. README не сообщает отдельного ограничения на применение; фактическая полезность эмбеддингов зависит от языка и предметной области текстов.

660июль 2026ctx8.2K
textembeddinghugging-face
tarif2108
gemma-3-270m-json-extractor

tarif2108 разработал дообученную текстовую модель на базе google/gemma-3-270m-it для извлечения структурированных данных и формирования JSON без разговорных вступлений. Модель содержит 257 млн параметров, использует плотную архитектуру Gemma 3 и рассчитана на контекст до 32 768 токенов. В карточке заявлена настройка для function calling и строгого вывода JSON; приведённая оценка на тестовом наборе из 100 запросов показывает 90% синтаксически корректных JSON-ответов и 21% точного совпадения со схемой. Модель подходит для преобразования текстовых запросов и описаний в JSON, а также для извлечения аргументов структурированных вызовов функций. README сообщает о меньшей задержке и более высокой точности форматирования относительно базовой модели, однако эти результаты получены на небольшом тестовом наборе и не гарантируют качество на других данных. Доступны веса safetensors и GGUF F16. Лицензия — Gemma; перед использованием следует соблюдать её условия.

1121июль 2026ctx32.8K
textgemmahugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей