/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 971–9 000 из 23 488
BCCard
Qwen2.5-Coder-32B-Instruct-FP8-Dynamic

BCCard/Qwen2.5-Coder-32B-Instruct-FP8-Dynamic — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная BC Card. Это текстовая causal language model для генерации, анализа и исправления программного кода, решения задач по программированию, code reasoning и создания code agents. Модель также сохраняет способности к математике и общим текстовым задачам. Входом и выходом служит текст; заявленный язык — английский. Модель использует FP8-квантизацию весов и активаций и предназначена для эффективного инференса, в частности с vLLM версии 0.5.2 и новее. Для исходной серии Qwen2.5-Coder заявлена архитектура на базе transformers с RoPE, SwiGLU, RMSNorm и GQA; для версии 32B README указывает до 128K токенов контекста, однако конфигурация этого репозитория описана как рассчитанная на 32 768 токенов, а расширение до больших контекстов требует YaRN и может снижать производительность на коротких запросах. В документации README также встречаются противоречивые сведения о размере и архитектуре, поэтому точные параметры данной сборки следует проверять по её конфигурации. Сильными сторонами модели являются специализация на коде, поддержка генерации, рассуждений и исправления программ, а также снижение требований к памяти благодаря FP8. Ограничениями выступают зависимость производительности от совместимого оборудования и конфигурации инференса, возможное ухудшение эффективности при статическом масштабировании длинного контекста и неполная согласованность описания параметров в README. Модель распространяется по лицензии Apache-2.0.

5870июнь 2025ctx32.8K
textapache-2.0hugging-face
Qwen
Qwen3-30B-A3B-Thinking-2507-FP8

Qwen3-30B-A3B-Thinking-2507-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия причинной языковой модели с обучением на этапах pretraining и post-training, предназначенная для генерации текста и решения сложных задач, требующих рассуждений. Модель ориентирована на логическое и математическое рассуждение, научные и академические задачи, программирование, следование инструкциям, использование инструментов и работу с длинным контекстом. Она поддерживает только thinking mode, поэтому рассчитана прежде всего на сложные запросы с увеличенной длиной рассуждений. README не указывает точный список поддерживаемых языков и не заявляет о мультимодальных возможностях, поэтому модель следует считать текстовой. Архитектура — Mixture-of-Experts с 30,5 млрд параметров всего и 3,3 млрд активируемых параметров; модель содержит 48 слоёв, 128 экспертов, из которых активируются 8, и использует Grouped-Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. К сильным сторонам относятся улучшенные результаты в рассуждениях, математике, кодировании, агентных сценариях и обработке длинного контекста. Ограничения включают режим работы только с рассуждениями, высокие требования к вычислительным ресурсам и необходимость актуальной версии Transformers; конкретные аппаратные требования в README не приведены. Модель распространяется по лицензии Apache 2.0.

12K71июль 2025ctx262.1K
textapache-2.0hugging-face
jegormeister
setfit-model

jegormeister/setfit-model — модель на базе BERT, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для построения семантического поиска, группировки похожих текстов и оценки сходства предложений. Карточка не сообщает, на каких языках она обучалась, и не приводит условий лицензии; пригодность для конкретного языка и условия использования следует сверить с данными репозитория.

952дек. 2022ctx512
textembeddinghugging-face
deepvk
USER2-base

USER2-base — русскоязычная модель для создания векторных представлений предложений, разработанная deepvk на основе энкодера RuModernBERT-base. Она содержит 149 млн параметров, поддерживает контекст до 8192 токенов и выдаёт эмбеддинги размерностью 768. Модель дообучена для поиска и семантических задач, включая извлечение информации, сравнение предложений, классификацию и кластеризацию. USER2-base поддерживает Matryoshka Representation Learning: размер эмбеддинга можно сократить до 32, 64, 128, 256, 384 или 512 измерений с минимальной потерей качества. Для разных задач рекомендуется добавлять префиксы, например search_query и search_document для поиска или clustering для кластеризации. Модель доступна в форматах Safetensors и ONNX и совместима с библиотекой Sentence Transformers. Модель ориентирована на русский язык. Карточка приводит результаты оценки на MTEB-rus и MLDR-rus, но не даёт полной таблицы всех сравнительных результатов. Репозиторий распространяется по лицензии Apache-2.0.

677K29февр. 2025ctx8.2K
textembeddingapache-2.0hugging-face
01-ai
Yi-1.5-34B-32K

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

8.9K37май 2024ctx32.8K
textapache-2.0hugging-face
01-ai
Yi-1.5-34B-Chat

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

15K279май 2024ctx4.1K
textapache-2.0hugging-face
Nerdofdot
abc

Nerdofdot/abc — модель Sentence Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Она предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель обучена с TripletLoss и евклидовой метрикой расстояния; для работы можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Веса представлены в формате safetensors. Контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.

930дек. 2023ctx512
textembeddinghugging-face
KnightsAnalytics
all-MiniLM-L6-v2

KnightsAnalytics/all-MiniLM-L6-v2 — англоязычная модель sentence-transformers, основанная на nreimers/MiniLM-L6-H384-uncased. Модель разработана в рамках инициативы Hugging Face Community Week по созданию эффективной модели эмбеддингов предложений с использованием JAX и Flax; в README также указано участие команд Google Flax, JAX и Cloud. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 384. Модель предназначена для семантического поиска, сравнения похожести предложений, кластеризации и других задач извлечения признаков текста. Она обучалась с помощью контрастивного обучения на наборе свыше 1 миллиарда пар предложений, сформированном из множества датасетов, включая MS MARCO, SNLI, MultiNLI, Natural Questions, SQuAD-подобные и другие коллекции. Для получения итогового эмбеддинга используется mean pooling с учетом attention mask и L2-нормализация. По умолчанию входы длиннее 256 word pieces обрезаются. Ключевыми сильными сторонами являются компактная архитектура MiniLM, относительно небольшая размерность эмбеддингов и специализация на семантическом представлении предложений, что делает модель подходящей для эффективного поиска и кластеризации. Ограничения включают поддержку только английского языка согласно карточке модели и ограничение на длину входа; модель предназначена прежде всего для предложений и коротких абзацев, а не для генерации текста или обработки длинных документов без предварительного разбиения. Модель распространяется по лицензии Apache-2.0.

1.8K0дек. 2024ctx512
textembeddingapache-2.0hugging-face
mainbrains
all-MiniLM-L6-v2

Это поддерживаемая mainbrains копия all-MiniLM-L6-v2 — компактного текстового энкодера Sentence-Transformers на архитектуре BERT/MiniLM. Модель дообучена контрастивным методом на более чем миллиарде пар предложений на базе nreimers/MiniLM-L6-H384-uncased; в репозитории заявлено 25,9 млн параметров. Она преобразует предложения и короткие абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения предложений и кластеризации. Модель предназначена для построения эмбеддингов и конвейеров семантического поиска, в том числе для извлечения документов в RAG-системах. Поддерживает английский язык; контекст по метаданным составляет 512 токенов, а в README указано, что входы длиннее 256 WordPiece обрезаются. Доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO; в README также заявлена оптимизация ONNX и задержка около 5 мс на CPU-запрос. Лицензия — Apache-2.0. Модель кодирует только текст и сама не генерирует ответы; качество и пригодность результатов следует оценивать на целевых данных, а длинные входы могут усекаться.

380авг. 2026ctx512
textembeddingapache-2.0hugging-face
optimum
all-MiniLM-L6-v2

optimum/all-MiniLM-L6-v2 — конверсия в формат ONNX модели sentence-transformers/all-MiniLM-L6-v2, разработанной в рамках проекта Hugging Face Community Week. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров, который преобразует предложения и короткие абзацы в плотные векторы размерностью 384 для сравнения семантики. Метаданные указывают контекст до 512 токенов; README сообщает, что по умолчанию вход длиннее 256 word pieces обрезается. Модель предназначена для поиска по смыслу, вычисления сходства предложений и кластеризации текстов. Она обучена контрастивным методом на наборе более чем из миллиарда пар предложений, начиная с предобученной nreimers/MiniLM-L6-H384-uncased. В карточке указана поддержка английского языка. Лицензия — Apache-2.0.

13K19март 2022ctx512
textembeddingapache-2.0hugging-face
kipark
all-mpnet-base-v2-combined_4400-400vs1000

kipark дообучил Sentence Transformer на базе sentence-transformers/all-mpnet-base-v2 для кодирования предложений и абзацев в плотные векторы. Модель на архитектуре MPNet содержит 136,7 млн параметров; README указывает вектор размерности 768 и максимальную длину последовательности 384 токена, а метаданные — контекст до 514 токенов. Векторы нормализуются, а для сравнения предлагается косинусное сходство. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В README приведены результаты оценки поиска на наборе validation, но они не гарантируют аналогичное качество на других данных. Лицензия в предоставленных источниках не указана.

750дек. 2025ctx514
textembeddinghugging-face
sentence-transformers
all-roberta-large-v1

all-roberta-large-v1 — модель Sentence-Transformers, разработанная в рамках Community Week Hugging Face и проекта по обучению эмбеддингов предложений на миллиардной выборке пар. Она основана на RoBERTa-large и дообучена с контрастивной целью на более чем миллиарде пар предложений; архитектура — RoBERTa, размер — 454,1 млн параметров. Модель кодирует предложения и короткие абзацы в плотные векторы размерности 1024, отражающие их семантическое содержание. Модель предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Она принимает текст и возвращает вектор; вход длиннее 128 токенов-подслов обрезается согласно README. Максимальный контекст в метаданных указан как 514 токенов. Основной язык карточки — английский. Лицензия Apache 2.0; доступны форматы PyTorch, Safetensors, ONNX и OpenVINO.

583K66март 2022ctx514
textembeddingapache-2.0hugging-face
MossaicMan
anurag-ai

Карточка модели MossaicMan/anurag-ai на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

1040февр. 2026ctx512
textembeddingapache-2.0hugging-face
Omartificial-Intelligence-Space
AraGemma-Embedding-300m

AraGemma-Embedding-300m — модель эмбеддингов, созданная Omartificial-Intelligence-Space на основе EmbeddingGemma-300M от Google DeepMind. Её дообучили на 1 млн арабских триплетов с использованием Matryoshka Representation Learning для улучшения понимания смысла арабских текстов. Модель принимает текст на арабском и других языках и возвращает плотный вектор размерности 768. Она поддерживает усечение векторов до 512, 256 или 128 измерений с повторной нормализацией и контекст до 2048 токенов. Подходит для семантического поиска и извлечения данных, сравнения предложений, кластеризации, классификации документов и подготовки фрагментов для RAG; также поддерживает межъязыковой поиск. Совместима с Sentence Transformers и Transformers. Модель компактна относительно крупных языковых моделей и рассчитана на эффективное развёртывание, включая локальные устройства. В README приведены результаты сравнения с арабскими моделями эмбеддингов на STS17 и STS22-v2. По карточке, активации эмбеддингов не поддерживают float16: используйте float32 или bfloat16. Лицензия — Apache-2.0.

3715сент. 2025
textembeddingapache-2.0hugging-face
jondurbin
bagel-dpo-20b-v04

Bagel-DPO-20B-v04 — это дообученная с помощью Direct Preference Optimization (DPO) модель InternLM2-20B, опубликованная jondurbin. Она предназначена для диалогов и генерации текста: может отвечать на вопросы, следовать инструкциям, помогать с программированием и математикой, писать и пересказывать текст, а также работать с контекстом. В обучении использованы разнообразные наборы инструкций, диалогов и предпочтений, включая данные для вызова функций; карточка описывает форматирование запросов в стилях Vicuna, Llama 2, Alpaca и ChatML. Модель имеет плотную архитектуру InternLM2 с 19,3 млрд параметров и контекст до 32 768 токенов. Это текстовая модель; наборы обучения включают многоязычное понимание текста, но конкретный полный перечень поддерживаемых языков не заявлен. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели. Среди ограничений — результаты зависят от формата запроса, а README предупреждает, что недо-DPO версия может быть предпочтительнее для ролевых сценариев; в обучающие данные также входили токсичные и потенциально незаконные примеры.

174февр. 2024ctx32.8K
textotherhugging-face
hamtaai
bg3_model

hamtaai/bg3_model — дообученная модель Sentence Transformer на базе BAAI/bge-m3, представленная в архитектуре XLM-RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для вычисления семантической близости по косинусному сходству. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. В README указан предел длины последовательности 512 токенов; метаданные сообщают о контекстном окне базовой модели до 8194 токенов, поэтому для этой версии следует ориентироваться на ограничение README. Модель принимает текст и выдаёт эмбеддинги; указанные материалы не уточняют языковую специализацию именно этой дообученной версии. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

1060июнь 2025ctx8.2K
textembeddinghugging-face
furiosa-ai
bge-m3

furiosa-ai/bge-m3 — сборка многоязычной модели эмбеддингов BGE-M3, разработанной BAAI на архитектуре энкодера XLM-RoBERTa. Репозиторий содержит веса BF16 и Furiosa Executable Bundle для запуска через Furiosa-LLM на ускорителе FuriosaAI RNGD; размер модели — 658,7 млн параметров, контекст — 8194 токена. Сборка выдаёт плотные эмбеддинги размерностью 1024 для семантического поиска, извлечения релевантных текстов и сопоставления сходства. Векторы нормализованы по L2, поэтому их скалярное произведение соответствует косинусному сходству. В отличие от возможностей исходной BGE-M3, описанных в карточке, эта сборка через Furiosa-LLM предоставляет именно плотные эмбеддинги, а не разреженные или многовекторные представления. Модель принимает текст и выдаёт векторы. Она предназначена для многоязычных сценариев; список конкретных языков в предоставленных данных не приведён. Лицензия — MIT. Для запуска этой сборки указаны Furiosa-LLM и оборудование FuriosaAI RNGD; исходная модель также поддерживается другими фреймворками.

1.5K0авг. 2026ctx8.2K
textmithugging-face
Shitao
bge-m3

Shitao/bge-m3 — модель для получения векторных представлений предложений и абзацев на основе архитектуры XLM-RoBERTa. Она преобразует текст в плотные эмбеддинги размерности 1024, пригодные для семантического поиска и кластеризации. Размер модели — 658,7 млн параметров, контекст — до 8194 токенов. В карточке также указаны задачи извлечения признаков и сравнения семантического сходства. Лицензия в предоставленных данных не указана.

4855янв. 2024ctx8.2K
textembeddinghugging-face
SmartComponents
bge-micro-v2

bge-micro-v2 — компактная модель эмбеддингов предложений семейства BERT, опубликованная SmartComponents. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 18,8 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и ONNX. Это дистиллированная модель: двухэтапное обучение началось с bge-micro и опиралось на BAAI/bge-small-en-v1.5. Модель предназначена для построения векторного поиска и группировки текстов; README описывает применение через Sentence-Transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не названа, поэтому условия её использования здесь определить нельзя.

2874февр. 2024ctx512
textembeddinghugging-face
BidirLM
BidirLM-270M-Embedding

BidirLM-270M-Embedding — многоязычная модель-энкодер из семейства BidirLM, разработанного авторами проекта BidirLM и представленного как финальная версия после контрастивного дообучения промежуточной модели BidirLM-270M-Base. В ней около 257 млн параметров; архитектура BidirLM построена на базе Gemma3-270M и использует двунаправленный энкодер. Модель выдаёт векторы размерности 640 с mean pooling. Контекст по архитектуре — до 32 768 токенов; в основном сравнении MTEB использовалась длина до 512 токенов. Модель предназначена для получения текстовых эмбеддингов и поддерживает поиск по смыслу, оценку семантического сходства, кластеризацию, классификацию, переранжирование и поиск параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, извлечения информации и других прикладных задач. Карточка указывает поддержку более 140 языков; метаданные подтверждают мультиязычность и перечисляют языки, включая английский, немецкий, французский, испанский, арабский и хинди. По данным карточки, модель показывает высокие результаты на мультиязычном MTEB и задачах длинноконтекстного поиска. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers; использование Sentence Transformers автоматически применяет mean pooling. Модель распространяется по лицензии Apache-2.0.

1.7K5апр. 2026ctx32.8K
textembeddingapache-2.0hugging-face
prithivMLmods
Camel-Doc-OCR-080125

Camel-Doc-OCR-080125 — дообученная PrithivMLmods мультимодальная модель на базе Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров. Она принимает текст и изображения, а её контекст составляет до 128 000 токенов. Модель предназначена для анализа документов: распознаёт и извлекает текст и структурированные данные, находит нужные сведения, связывает элементы документа и отвечает на вопросы по его содержимому. Модель также рассчитана на разбор таблиц, графиков и математических выражений, включая преобразование формул в LaTeX. В карточке заявлены анализ видео и визуально управляемое взаимодействие с устройствами; основной тег задачи в метаданных — image-text-to-text. Языковые теги карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся снижение точности на изображениях низкого качества или с помехами, вариативность результатов для редких языков и скриптов, возможные галлюцинации и высокие требования к вычислительным ресурсам. Обработка длинных видео может требовать много памяти; для потоковой работы модель не оптимизирована.

1748июль 2025ctx128K
textimageapache-2.0hugging-face
TheBloke
CodeLlama-13B-fp16

CodeLlama-13B-fp16 — преобразованная в формат Transformers/Hugging Face версия модели Code Llama от Meta, опубликованная TheBloke. Это авторегрессионная плотная трансформерная модель семейства Llama с 12,9 млрд параметров; веса представлены в FP16 и safetensors. Модель предназначена для генерации и понимания кода, включая дополнение фрагментов внутри текста. Вход и выход — текст; модель рассчитана на английский язык и языки программирования. Контекст модели составляет 16 384 токена. Модель подходит для генерации кода по описанию, автодополнения, объяснения и преобразования программного кода. В README указана лицензия Llama 2 с пользовательскими коммерческими условиями Meta. Для корректной загрузки этой версии требуется trust_remote_code=True. Ответы могут быть неточными или нежелательными; перед внедрением в приложение рекомендуется проверка и настройка под конкретный сценарий.

6267авг. 2023ctx16.4K
textllama2hugging-face
bullerwins
Codestral-22B-v0.1-hf

Codestral-22B-v0.1-hf — конвертированная версия Codestral-22B-v0.1 от Mistral AI в формате Transformers. Это плотная авторегрессионная модель семейства Mistral с 22 млрд параметров и контекстом до 32 768 токенов, предназначенная для работы с кодом на более чем 80 языках программирования. Она отвечает на вопросы по фрагментам кода, объясняет и документирует их, помогает рефакторить код, генерирует код по инструкциям и поддерживает заполнение пропусков между префиксом и суффиксом (Fill in the Middle), что подходит для интеграции в редакторы кода. В README также указан пример на Rust; среди названных языков — Python, Java, C, C++, JavaScript и Bash. Модель принимает текстовые инструкции и фрагменты кода и генерирует текст, включая исходный код. Карточка предупреждает, что у модели нет механизмов модерации. В репозитории указаны веса safetensors и лицензия «other»; конкретные условия лицензии следует сверять с карточкой модели и условиями исходного репозитория Mistral AI.

5117май 2024ctx32.8K
textotherhugging-face
deepseek-ai
deepseek-coder-7b-instruct-v1.5

DeepSeek-Coder-7B-Instruct-v1.5 — языковая модель для генерации кода и ответов на инструкции, разработанная DeepSeek. Она построена на архитектуре Llama и содержит 6,5 млрд параметров. Модель продолжительно обучали на 2 трлн токенов, используя контекстное окно 4K, а затем дообучили на 2 млрд токенов инструкционных данных. Модель предназначена для диалогового взаимодействия с задачами программирования: например, генерации и объяснения кода по запросу. Доступна в формате Safetensors; заявленная лицензия — other, поэтому условия использования следует уточнять по карточке модели и связанным документам.

502K188янв. 2024ctx4.1K
textotherhugging-face
cmarkea
detr-layout-detection

cmarkea/detr-layout-detection — модель обнаружения структуры документов, разработанная cmarkea и дообученная на DocLayNet на базе DETR с ResNet-50. Она анализирует изображение страницы и одновременно предсказывает ограничивающие рамки и маски элементов макета: подписей, сносок, формул, пунктов списков, колонтитулов, изображений, заголовков разделов, таблиц, основного текста и заголовков страниц. Модель предназначена для извлечения структуры страниц при обработке документных корпусов, в том числе для подготовки данных к системам ответов на вопросы по документам. В README приведены результаты оценки на 500 страницах DocLayNet; заявлены F1 91,27 для сегментации и GIoU 80,66 для обнаружения объектов в сравнительном бенчмарке. Число параметров — 6,3 млн; веса доступны в формате safetensors для Transformers. Модель принимает изображения документов и выдаёт классы элементов, маски и рамки объектов. Лицензия — Apache-2.0. Качество оценивалось на DocLayNet; переносимость на другие типы документов и качество на отдельных классах могут отличаться.

58429июль 2024ctx1K
imageapache-2.0hugging-face
kardosdrur
dfm-sentence-encoder-large-v1

kardosdrur/dfm-sentence-encoder-large-v1 — sentence-transformers модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 1024. Её можно применять для поиска семантически близких текстов, кластеризации и других сценариев сравнения текстов по смыслу. Модель содержит 453,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В карточке нет сведений о целевых языках, поэтому языковую специализацию определить нельзя. Для использования доступны PyTorch и библиотеки Sentence-Transformers или Hugging Face Transformers; при работе через Transformers необходимо применить соответствующую операцию pooling. Лицензия в предоставленных данных не указана.

700окт. 2023ctx512
textembeddinghugging-face
seongil-dn
e5-large-neg-v0-bs40-lr1e-6-7000

Это дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-large, разработанная автором репозитория seongil-dn. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; максимальная длина последовательности — 512 токенов. Модель предназначена для многоязычных текстов. Векторы можно применять для поиска похожих документов и построения систем семантического поиска. Лицензия в предоставленных данных не указана, поэтому условия распространения установить нельзя. Качество зависит от языка, предметной области и способа подготовки запросов и документов; модель выдаёт эмбеддинги, а не готовые ответы.

1220нояб. 2024ctx514
textembeddinghugging-face
ef-zulla
e5-multi-sml-torch

Карточка модели ef-zulla/e5-multi-sml-torch на Hugging Face совпадает с карточкой maiyad/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, основанная на архитектуре BERT и обученная авторами работы Liang Wang и соавторов методом контрастивного предобучения на слабой разметке. В репозитории maiyad/multilingual-e5-small представлены веса модели размером 124,3 млн параметров; модель имеет 12 слоёв и выдаёт векторы размерности 384. Она основана на microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных датасетов. Модель предназначена для поиска и сравнения текстов: семантического сходства, поиска пассажей по запросу, поиска перефразировок и межъязыкового поиска. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к тексту для поиска — «passage: »; для ряда симметричных задач и извлечения признаков рекомендуется префикс «query: ». Модель поддерживает 100 языков, но для языков с малым объёмом обучающих данных качество может быть ниже. Контекст ограничен 512 токенами, длинные тексты усекаются. Лицензия — MIT.

980окт. 2023ctx512
textembeddingmithugging-face
x-ai
grok-4.5

Grok 4.5 — модель SpaceXAI, заявленная как модель с передовыми возможностями в программировании, интеллектуальной работе и задачах STEM. Она предназначена для помощи в написании и разборе кода, работе со знаниями и решении научных, технических, инженерных и математических задач. Доступные сведения не подтверждают конкретные архитектуру, размер, модальности, языки или длину контекста. Лицензия не указана.

00июль 2026ctx500Kprice$0.00 / $0.00/ 1M
textimageopenrouter
Alibaba-NLP
gte-multilingual-base

gte-multilingual-base — модель семейства GTE от Alibaba, предназначенная для создания текстовых представлений и поиска по сходству. Это энкодерный трансформер примерно на 305 млн параметров с плотными эмбеддингами размерности 768; также поддерживает разреженные векторы и эластичные по размеру плотные представления. Модель подходит для многоязычного и межъязыкового поиска, поиска по длинным текстам и оценки сходства текстов. README сообщает о поддержке более 70 языков; среди языков, перечисленных в метаданных, есть английский, китайский, французский, польский, арабский, хинди, японский и корейский. Максимальная длина входа — 8192 токена. По заявлению разработчика, энкодерная архитектура снижает требования к вычислениям и ускоряет инференс по сравнению с некоторыми более крупными моделями GTE на базе LLM. Для практического использования эмбеддинги можно получать через Transformers, sentence-transformers или сервисы инференса, включая TEI. Лицензия — Apache-2.0. Заявления о качестве основаны на оценках разработчика; результаты могут отличаться на конкретных данных и задачах.

1.3M387июль 2024ctx8.2K
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей