/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 751–9 780 из 23 488
mikoy92
PP-OCRv6-small-det-mlx

PP-OCRv6 small text detection MLX — преобразованная для MLX версия компактной модели обнаружения текста PaddleOCR, опубликованная mikoy92 на Hugging Face. Она принимает изображение и возвращает координаты областей с текстом, которые можно передать следующим этапам OCR-конвейера для распознавания и извлечения текста. Модель основана на PaddlePaddle/PP-OCRv6_small_det_safetensors; в метаданных указаны языки en и zh, а лицензия — Apache-2.0. Репозиторий использует формат safetensors и библиотеку MLX.

1200июнь 2026
textimageapache-2.0hugging-face
kredor
punctuate-all

kredor/punctuate-all — модель классификации токенов на базе дообученной XLM-RoBERTa-base. Она восстанавливает пунктуацию в тексте, предсказывая для токенов знаки препинания, включая точку, запятую, вопросительный знак, дефис и двоеточие. Модель рассчитана на английский, немецкий, французский, испанский, болгарский, итальянский, польский, нидерландский, чешский, португальский, словацкий и словенский языки. В отчёте указаны общая точность 0,98 и F1 0,95 для точки, 0,86 для запятой и 0,86 для вопросительного знака; качество распознавания дефиса и двоеточия ниже. Модель содержит около 305,2 млн параметров, использует контекст до 514 токенов и распространяется по лицензии MIT.

603K31апр. 2022ctx514
textmithugging-face
AISE-TUDelft
python-parameters-classifier

AISE-TUDelft/python-parameters-classifier — модель эмбеддингов на базе MPNet, опубликованная AISE-TUDelft. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучалась с функцией потерь CosineSimilarityLoss и подходит для построения семантического поиска и группировки текстов по смыслу. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В репозитории указаны веса PyTorch и использование через Sentence-Transformers. Лицензия в предоставленных данных не указана.

1162янв. 2023ctx514
textembeddinghugging-face
lucaswychan
Qwen-2.5-0.5B-SimpleRL-Zoo-Reasoning-Embedding

lucaswychan/Qwen-2.5-0.5B-SimpleRL-Zoo-Reasoning-Embedding — мультиязычная модель эмбеддингов на архитектуре Qwen2, разработанная Lucas Wun Yu CHAN и дообученная на базе hkust-nlp/Qwen-2.5-0.5B-SimpleRL-Zoo. Она предназначена для кодирования текстов в векторные представления и сравнения предложений по семантическому сходству. Модель содержит 494 млн параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. В README описаны эксперименты с MTEB и BRIGHT и анализ HRSA: дообучение на базе модели, оптимизированной с помощью RLVR, не показало устойчивого преимущества в качестве эмбеддингов над базовыми моделями при одинаковой контрастивной тренировке. Для загрузки через Sentence Transformers или Transformers карточка советует включить trust_remote_code=True. Лицензия — Apache-2.0.

600нояб. 2025ctx32.8K
textembeddingapache-2.0hugging-face
goofyk
qwen2.5-coder-1c-7b

Модель goofyk/qwen2.5-coder-1c-7b — дообученная разработчиком goofyk версия Qwen2.5-Coder-7B. Это плотная авторегрессионная языковая модель архитектуры Qwen2, предназначенная для генерации текста; базовая модель ориентирована на задачи программирования. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Дообучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL. Модель можно применять для генерации кода и текстовых ответов в сценариях программирования. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

290июнь 2026ctx32.8K
textapache-2.0hugging-face
unsloth
Qwen2.5-Coder-3B-bnb-4bit

unsloth/Qwen2.5-Coder-3B-bnb-4bit — квантованная 4-битная версия модели Qwen2.5-Coder, разработанной командой Qwen и опубликованной в формате Unsloth. Модель относится к семейству специализированных языковых моделей для программирования и предназначена для генерации, анализа и исправления кода, а также для задач code completion и fill-in-the-middle. Это базовая модель без дообучения для диалогов, поэтому для чат-сценариев рекомендуется дополнительное обучение или использование подходящего шаблона постобработки. Архитектура основана на causal language model с RoPE, SwiGLU, RMSNorm, смещениями в QKV-проекциях внимания и связанными эмбеддингами слов. В README для данного репозитория приведены характеристики версии 0.5B: около 0,49 млрд параметров, 24 слоя, GQA с 14 головами для Q и 2 для KV, контекст до 32 768 токенов. При этом идентификатор и базовая модель указывают на вариант 3B, а точные архитектурные параметры именно 3B-версии в предоставленных данных не подтверждены. Указан английский язык; мультимодальность не заявлена. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, а также сниженные требования к памяти благодаря 4-битному представлению. Модель может применяться локально и интегрироваться в инструменты разработки, но её базовый, а не диалоговый характер ограничивает использование в роли готового чат-ассистента. Лицензия — Apache-2.0.

1.5K4нояб. 2024ctx32.8K
textapache-2.0hugging-face
BlossomsAI
Qwen2.5-Coder-7B-Instruct-Uncensored

BlossomsAI/Qwen2.5-Coder-7B-Instruct-Uncensored — доработанная языковая модель для генерации кода и диалогового общения, созданная на основе Qwen/Qwen2.5-Coder-7B-Instruct. Авторы применили направленное вмешательство для изменения поведения модели и удаления отказов. В метаданных указана архитектура Qwen2, плотная causal language model и 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский и вьетнамский языки. Модель предназначена для генерации и обсуждения программного кода, а также ответов на запросы в формате чата. README заявляет о предварительной квантизации и упоминает формат GGFU; метаданные указывают файлы safetensors. Лицензия — MIT. Удаление отказов может привести к выдаче ответов на запросы, которые другие модели отклоняют; результаты следует проверять.

98714дек. 2024ctx32.8K
textmithugging-face
ssmits
Qwen2-7B-Instruct-embed-base

ssmits/Qwen2-7B-Instruct-embed-base — модель эмбеддингов на основе Qwen2, представленная автором репозитория ssmits. Это плотная Transformer-модель класса Qwen2Model с 7,1 млрд параметров; у неё удалён слой lm_head, поэтому она предназначена для получения векторных представлений текста. Модель распространяется в формате safetensors и использует библиотеку sentence-transformers. Её можно применять для извлечения признаков, сравнения сходства предложений и классификации текста. Контекст составляет до 32 768 токенов; в карточке указан английский язык, а серия Qwen2 описана как адаптированная к нескольким естественным языкам и языкам программирования. Лицензия — Apache-2.0. Автор предупреждает, что модель не показывает высокой эффективности без дополнительного дообучения, и отмечает потребление более 24 ГБ видеопамяти в собственных тестах. Для получения эмбеддингов требуется выбрать подходящую операцию pooling поверх контекстных представлений.

4.1K5июнь 2024ctx32.8K
textembeddingapache-2.0hugging-face
TeichAI
Qwen3-14B-DeepSeek-v3.2-Speciale-Distill

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

571янв. 2026ctx41K
texthugging-face
qwen
qwen3.6-max-preview

Qwen3.6-Max-Preview — проприетарная модель Alibaba Cloud на архитектуре разреженной смеси экспертов (MoE), содержащая примерно 1 трлн параметров. Она предназначена для агентного программирования, использования инструментов и генерации текста. Доступный фрагмент карточки не раскрывает подробности об интерфейсе, поддерживаемых языках или длине контекста. Модель представлена как Preview; условия лицензии в доступных данных не описаны.

00апр. 2026ctx262.1Kprice$0.00 / $0.00/ 1M
textopenrouter
ArchiveStudio
Qwen3-Coder-Next-Base

Карточка модели ArchiveStudio/Qwen3-Coder-Next-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-Next-Base, поэтому описание составлено по ней. Qwen3-Coder-Next-Base — базовая языковая модель компании Qwen, предназначенная для разработки кодовых агентов и локальной работы с кодом. Это предварительно обученная авторегрессионная модель семейства Qwen3-Next с гибридной архитектурой: чередует Gated DeltaNet, Gated Attention и разреженные Mixture of Experts. В README указано 80 млрд параметров всего и 3 млрд активируемых; метаданные Hugging Face указывают 2,3 млрд параметров, поэтому размерные сведения источников расходятся. Модель рассчитана на генерацию кода и использование как основы для последующего обучения и создания агентных систем. Заявлены возможности вызова инструментов, адаптации шаблонов и каркасов проектов, а также поиска и восстановления после ошибок. Нативная длина контекста — 262 144 токена; README заявляет поддержку более 370 языков, в том числе языков программирования. Модель работает только в режиме без рассуждений (non-thinking) и не генерирует блоки разметки рассуждений. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0.

2910сент. 2026ctx262.1K
textapache-2.0hugging-face
mlx-community
Qwen3-Embedding-4B-4bit-DWQ

Qwen3-Embedding-4B-4bit-DWQ — модель для создания векторных представлений текста, разработанная сообществом mlx-community на основе Qwen/Qwen3-Embedding-4B от Qwen. Она предназначена для задач семантического сравнения текстов, поиска по смыслу, кластеризации, извлечения признаков и других сценариев, где требуется преобразовать текст в embedding-векторы. Модель конвертирована в формат MLX с использованием mlx-lm версии 0.24.0. Модель имеет размер базовой версии 4B параметров и использует 4-битное квантование DWQ, что ориентировано на более экономичное выполнение на совместимом оборудовании Apple через MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, дополнительные модальности и точные характеристики качества. Лицензия — Apache-2.0. Для работы требуется библиотека mlx-lm; сведения о совместимости с другими фреймворками и ограничениях применения в карточке не приведены.

4.1K16июнь 2025ctx41K
textapache-2.0hugging-face
Kingsoft-LLM
QZhou-Embedding

QZhou-Embedding (Qingzhou Embedding) — плотная модель контекстных текстовых эмбеддингов, разработанная на основе Qwen2.5-7B-Instruct. Разработчики изменили причинное внимание на двунаправленное и построили архитектуру QZhouModel на базе Qwen2Model. Модель содержит 7,1 млрд параметров; метаданные указывают контекст до 32 768 токенов, а README — до 8 тысяч токенов. Модель предназначена для получения векторных представлений текста, поиска и оценки сходства предложений. Она обучалась в два этапа: сначала для задач поиска, затем для нескольких задач представления текста; разработчики сообщают о высоких результатах на бенчмарках MTEB и CMTEB. Поддерживаются английский и китайский языки. Лицензия — Apache-2.0. README отмечает, что MRL в этой версии не поддерживается из-за снижения качества. Для воспроизведения результатов и запуска через vLLM важны версии библиотек и параметры среды; обновлённый скрипт для Transformers 5 требует указанного в карточке набора зависимостей.

3.4K31авг. 2025ctx32.8K
textembeddingapache-2.0hugging-face
ichko
redis-langcache-v1-test

ichko/redis-langcache-v1-test — дообученная модель Sentence Transformers на базе redis/langcache-embed-v1 от Redis. Она использует ModernBERT с пуллингом CLS-токена и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста, а также для других задач, где нужны векторные представления текстов. Лицензия в предоставленных данных не указана.

960июнь 2025ctx8.2K
textembeddinghugging-face
rombodawg
rombos_Llama3-8B-Instruct-Replete-Adapted

rombodawg/rombos_Llama3-8B-Instruct-Replete-Adapted — экспериментальная чат-модель на архитектуре Llama 3, созданная Rombodawg. В README сказано, что к Meta-Llama-3-8B-Instruct применён адаптер Replete-AI/Replete-Coder-Llama3-8B; метаданные указывают 7,5 млрд параметров, формат PyTorch и контекст 8192 токена. Для модели заявлены генерация и объяснение кода, перевод между языками программирования, помощь с математикой, вопросы безопасности кода, вызов функций и общие диалоговые задачи. README описывает исходный обучающий набор как примерно на 75% состоящий из инструкций по программированию и на 25% — из общих инструкций; в метаданных перечислены соответствующие датасеты для кода, математики и диалогов. Модель предназначена для диалогового использования и генерации текста, включая код. Карточка характеризует её как эксперимент и не приводит сравнительных оценок качества. Указанный контекст — 8192 токена; автор предупреждает, что качество за его пределами не гарантируется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в репозитории модели.

192окт. 2024ctx8.2K
textotherhugging-face
sergeyzh
rubert-mini-frida

rubert-mini-frida — компактная модель на архитектуре BERT, опубликованная sergeyzh для построения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA в sergeyzh/rubert-mini-sts: 7 слоёв и размер эмбеддинга 312 вместо 24 слоёв и 1536 у FRIDA. Используется mean pooling; по умолчанию настроен префикс «categorize: », также поддерживаются префиксы FRIDA для разных задач. Модель подходит для семантического поиска и сравнения предложений, выявления перефразирований, классификации и кластеризации текста, анализа тональности и токсичности, а также задач NLI. В карточке приведены результаты ruMTEB: модель уступает FRIDA по указанным метрикам, но превосходит приведённые варианты multilingual-e5 в некоторых из них. Хотя унаследованная длина контекста составляет 2048 токенов, автор рекомендует не превышать 512. Лицензия — MIT.

3.6K28март 2025ctx2K
textembeddingmithugging-face
manu
sentence_croissant_alpha_v0.4

manu/sentence_croissant_alpha_v0.4 — модель эмбеддингов на базе архитектуры Llama, опубликованная под лицензией MIT. Она преобразует предложения и абзацы в плотные векторы размерности 2048 для семантического поиска, кластеризации и сравнения смысловой близости. Модель рассчитана на работу с французским и английским текстом; максимальная длина контекста — 2048 токенов, число параметров — около 1,3 млрд. Для загрузки и использования подходит библиотека Sentence-Transformers. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и может применяться для поиска текстов по смыслу и группировки семантически похожих фраз. Карточка не приводит численных результатов бенчмарков, поэтому качество на конкретных данных следует проверять отдельно.

2012апр. 2024ctx2K
textembeddingmithugging-face
Torekhan
sentence_similarity_model

Torekhan/sentence_similarity_model — модель Sentence Transformers, дообученная автором Torekhan на Snowflake/snowflake-arctic-embed-m для работы с казахскими текстами. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и подходит для сравнения смысловой близости, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура включает BERT-трансформер, pooling по CLS-токену и нормализацию векторов; сходство оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Обучение проводилось на датасете KazakhTextDuplicates из 25 922 примеров с MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.

1340март 2025ctx512
textembeddinghugging-face
Gflorent
setfit_emotion

Gflorent/setfit_emotion — модель представлений предложений на базе MPNet, опубликованная автором florentgbelidji. Она преобразует предложения и абзацы в плотные векторы размерности 768; в README указано обучение с BatchHardTripletLoss. Модель предназначена для поиска семантически близких текстов и кластеризации, а также может использоваться как основа для сравнения предложений. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно 514 токенов. Для применения README рекомендует библиотеку Sentence-Transformers. В метаданных указаны форматы PyTorch и задачи sentence-similarity и feature-extraction. Лицензия не указана в предоставленных данных.

740май 2022ctx514
textembeddinghugging-face
Seznam
simcse-dist-mpnet-czeng-cs-en

SimCSE-Dist-MPNet-CzEng — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная с целевой функцией SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться для семантического поиска, извлечения релевантных текстов, кластеризации и классификации. Модель основана на архитектуре BERT, содержит 27,2 млн параметров и принимает текстовые входные данные, формируя векторные представления предложений. Контекст ограничен 512 токенами. В карточке заявлена поддержка чешского и английского языков. Модель опубликована в формате PyTorch под лицензией CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения.

2424нояб. 2023ctx512
textcc-by-nc-sa-4.0hugging-face
vitthalbhandari
simcse_retrain_edos_100k_128batch

vitthalbhandari/simcse_retrain_edos_100k_128batch — модель Sentence-Transformers на базе RoBERTa, создающая плотные векторы размерности 768 для предложений и абзацев. Она предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Карточка не уточняет языки обучающих данных и качество на конкретных наборах оценки. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

980дек. 2022ctx514
textembeddinghugging-face
symanto
sn-mpnet-base-snli-mnli

Модель Symanto sn-mpnet-base-snli-mnli — сиамская sentence-transformers-модель на базе MPNet, обученная на наборах SNLI и MNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для классификации текста в zero-shot и few-shot сценариях, сравнения семантической близости и извлечения признаков. Модель содержит 136,7 млн параметров, принимает текст на английском языке; длина контекста — 514 токенов. Векторные представления можно использовать для сравнения текста с описаниями классов, поиска похожих фраз и построения классификаторов с небольшим количеством примеров. Для применения доступны Sentence-Transformers и Transformers; при использовании Transformers требуется подходящий pooling контекстуальных представлений. В метаданных указана библиотека PyTorch. Лицензия в предоставленных данных не приведена.

1091март 2022ctx514
textembeddinghugging-face
MaziyarPanahi
speechless-code-mistral-7b-v1.0-Mistral-7B-Instruct-v0.2-slerp

speechless-code-mistral-7b-v1.0-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP модель MaziyarPanahi на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/speechless-code-mistral-7b-v1.0. Она предназначена для диалоговой генерации текста и ответов на инструкции, включая задачи, связанные с программным кодом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Метаданные указывают Apache-2.0; веса доступны в формате safetensors. Данные карточки не уточняют языки, на которых модель лучше всего работает, и не приводят отдельной оценки качества или ограничений по задачам.

190янв. 2024ctx32.8K
textapache-2.0hugging-face
stabilityai
stable-code-3b

Stable Code 3B — авторегрессионная языковая модель Stability AI на основе decoder-only Transformer, близкой к архитектуре LLaMA, с реализацией через GPT-NeoX. Модель содержит около 2,7 млрд параметров и предварительно обучена на 1,3 трлн токенов текстовых и программных данных, включая наборы Falcon RefinedWeb, The Stack GitHub Issues, CommitPackFT, StarCoderData, Proof-Pile-2 и MetaMathQA. Модель предназначена прежде всего для генерации, дополнения и анализа программного кода. Она обучалась на 18 языках программирования и поддерживает сценарий Fill in the Middle (FIM), что позволяет вставлять фрагменты кода между заданными началом и концом. Заявлена поддержка последовательностей длиной до 16 384 токенов. В README явно указаны английский язык и код; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В опубликованных результатах MultiPL-E pass@1 модель показывает 32,4% для Python, 30,9% для C++, 32,1% для Java и JavaScript, 24,2% для PHP и 23,0% для Rust. Эти показатели заявлены как конкурентные среди моделей сопоставимого размера, однако отмечены как непроверенные. Ограничениями являются относительно небольшой размер по сравнению с крупными code-моделями, возможные ошибки и небезопасность генерируемого кода, а также отсутствие подтверждений качества для всех 18 поддерживаемых языков. Модель распространяется по Stability AI Community License. Для коммерческого использования README рекомендует обращаться к условиям коммерческой лицензии Stability AI; конкретные требования в карточке не приведены.

7.1K670янв. 2024ctx16.4K
textotherhugging-face
cnmoro
static-nomic-384-pten-v2-st

cnmoro/static-nomic-384-pten-v2-st — совместимая с Sentence Transformers версия статической модели текстовых эмбеддингов, созданная cnmoro с помощью Tokenlearn на базе nomic-embed-text-v2-moe. Модель выдаёт векторы размерности 384 для текстов на английском и португальском языках и предназначена для семантического поиска, сравнения предложений и извлечения документов. Это дообученная Model2Vec-модель в формате safetensors. Её веса численно совпадают с cnmoro/static-nomic-384-pten-v2; отличие состоит в хранении: матрица эмбеддингов развёрнута по одному ряду на токен, чтобы её мог загружать StaticEmbedding из Sentence Transformers. Исходная упаковка Model2Vec занимает меньше места — 52 МБ против 424 МБ у этой версии. Модель подходит для построения поиска и ранжирования по близости текстовых векторов. Она создаёт эмбеддинги, а не готовые ответы на вопросы. Лицензия — Apache-2.0.

3782авг. 2026
textembeddingapache-2.0hugging-face
enkato64bit
SuperGemma-4-12b-abliterated

SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.

930сент. 2026
textapache-2.0hugging-face
dbourget
test-6epochs

dbourget/test-6epochs — модель на архитектуре BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, подходящие для семантического поиска, кластеризации и сравнения текстов. В метаданных указаны 433,9 млн параметров и контекст до 512 токенов. Модель можно использовать через библиотеку Sentence-Transformers или Transformers с подходящей операцией pooling. Она обучалась с функцией потерь DenoisingAutoEncoderLoss. Карточка не указывает лицензию или языки обучения, поэтому нельзя определить условия использования и конкретный языковой охват.

940март 2024ctx512
textembeddinghugging-face
Youssefbou62
test_encoder

Карточка модели Youssefbou62/test_encoder на Hugging Face совпадает с карточкой thenlper/gte-large, поэтому описание составлено по ней. gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.

1360июнь 2025ctx512
textembeddingmithugging-face
dinait
test-setfit-model

dinait/test-setfit-model — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и вычисления сходства. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов; для получения векторов её можно использовать через Sentence-Transformers либо Transformers с соответствующей операцией pooling. Модель подходит для семантического поиска, группировки текстов и сравнения предложений по смыслу. В README указано обучение с CosineSimilarityLoss, однако сведений о языках обучающих данных и результатах оценки не приведено. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.

1000янв. 2023ctx514
textembeddinghugging-face
josedossantos
tree-summary-bertimbau

josedossantos/tree-summary-bertimbau — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем josedossantos. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучена с функцией ContrastiveLoss на косинусном расстоянии; для использования подходят библиотека sentence-transformers или Transformers с корректной операцией pooling. Контекст ограничен 512 токенами, веса опубликованы в формате safetensors; размер модели составляет 433,2 млн параметров. Лицензия в предоставленных данных отсутствует.

1160окт. 2024ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей