/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 911–8 940 из 23 488
luganoquants
Hermes-4.3-36B

Карточка модели luganoquants/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

130авг. 2026ctx524.3K
textapache-2.0hugging-face
AMAImedia
Hy4-preview

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

1.8K0авг. 2026ctx1M
textapache-2.0hugging-face
jinaai
jina-embeddings-v3

jina-embeddings-v3 — мультиязычная многозадачная модель текстовых эмбеддингов, разработанная Jina AI на основе архитектуры Jina-XLM-RoBERTa. Она преобразует текст в векторы для поиска, сопоставления и анализа сходства. Модель содержит пять LoRA-адаптеров для разных типов задач и поддерживает входные последовательности длиной до 8192 токенов благодаря Rotary Position Embeddings. Размер эмбеддинга можно выбирать из вариантов от 32 до 1024 измерений. Модель предназначена для векторизации запросов и документов в поисковых системах, кластеризации, классификации и оценки сходства текстов. Для асимметричного поиска предусмотрены отдельные режимы для запросов и документов; другие режимы ориентированы на разделение текстов, классификацию и сопоставление. Настройка модели охватывает 30 языков, включая русский, а базовая модель поддерживает 100 языков. Для получения векторов на уровне предложения или абзаца при прямой интеграции требуется усреднение представлений токенов. Модель доступна в форматах PyTorch, Safetensors и ONNX; для использования через Transformers указана библиотека Transformers. Лицензия CC-BY-NC-4.0 ограничивает коммерческое применение. В README также отмечено, что исправлена ошибка предыдущей версии кода, при которой усечение Matryoshka-векторов после нормализации давало ненормализованные векторы.

1.7M1.2Kсент. 2024ctx8.2K
textcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-small

jina-embeddings-v5-text-small — мультиязычная плотная модель эмбеддингов пятого поколения от Jina AI, предназначенная для преобразования текста в векторы. Она дообучена на базе Qwen/Qwen3-0.6B-Base с дистилляцией эмбеддингов Qwen3-Embedding-4B и контрастивным обучением для отдельных задач. В README указано 677 млн параметров, а в метаданных — 507,9 млн; максимальная длина последовательности составляет 32 768 токенов. Модель подходит для семантического поиска и извлечения документов, сопоставления текстов, кластеризации и классификации. По карточке она поддерживает более 119 языков, а в бенчмарках показывает 71,7 на MTEB English v2 и 67,7 на MMTEB. Эмбеддинги рассчитаны на устойчивую работу при усечении текста и бинарном квантовании. Для ускорения инференса рекомендуется flash-attention, но она не обязательна; доступно использование через Transformers, Sentence Transformers и Elastic Inference Service. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

118K204янв. 2026ctx32.8K
textembeddingcc-by-nc-4.0hugging-face
jinaai
jina-embeddings-v5-text-small-text-matching

jina-embeddings-v5-text-small-text-matching — компактная модель векторных представлений текста от Jina AI, предназначенная для сопоставления текстов и оценки их семантической близости. Модель является квантизированной версией jinaai/jina-embeddings-v5-text-small и обучалась с использованием дистилляции и специализированных контрастивных функций потерь. Модель содержит 677 млн параметров, поддерживает многоязычные тексты и обрабатывает последовательности длиной до 32 768 токенов. Она формирует эмбеддинги размерностью 1024 с использованием pooling по последнему токену. Поддерживаются уменьшенные Matryoshka-размерности: 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и затратами на хранение и поиск. Модель подходит для семантического поиска, дедупликации, кластеризации, ранжирования и других задач сопоставления текстов. К сильным сторонам относятся компактность, высокая производительность для своего размера, многоязычность, длинный контекст и возможность гибко сокращать размер эмбеддинга. Ограничение модели — специализация на text-matching: README не заявляет её оптимизацию для генерации текста или иных задач. Для использования требуется совместимое программное окружение, включая transformers, PyTorch и, в зависимости от способа запуска, vLLM, sentence-transformers или Text Embeddings Inference. Лицензия — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.

67K13февр. 2026ctx32.8K
textcc-by-nc-4.0hugging-face
unsloth
Llama-3.1-Nemotron-Nano-8B-v1-GGUF

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

3.3K12май 2025ctx131.1K
textotherhugging-face
MiniMaxAI
MiniMax-M1-80k-hf

MiniMax-M1-80k-hf — открытая модель весов от MiniMax для генерации текста и пошагового рассуждения. Это вариант MiniMax-M1 с бюджетом рассуждения до 80K токенов; репозиторий предназначен прежде всего для Transformers. Архитектура сочетает Mixture-of-Experts и гибридное внимание с механизмом lightning attention. В карточке указано 21,6 млрд параметров, а заявленный нативный контекст составляет 10 240 000 токенов; README описывает семейство M1 как модель с контекстом до 1 млн токенов и обучением с подкреплением на математических задачах, программировании и задачах с инструментами. Модель рассчитана на сложные задачи с длинными входами и развёрнутым рассуждением: решение математических задач, программную инженерию, генерацию и анализ кода, ответы на вопросы по большому контексту и сценарии с вызовом функций. README отмечает результаты на бенчмарках математики, кодирования, агентного использования инструментов и длинного контекста. Модель принимает текст и генерирует текст; интерфейс вызова инструментов поддерживается в структурированном формате. Лицензия — Apache-2.0. Веса в репозитории представлены в формате safetensors. Указанное в метаданных значение контекста расходится с описанием семейства в README, поэтому фактический предел может зависеть от конкретной конфигурации и программного окружения. Заявленные оценки получены на отдельных бенчмарках и не гарантируют качество на произвольных задачах.

5308июль 2025ctx10.2M
textapache-2.0hugging-face
vectoriseai
multilingual-e5-large

Карточка модели vectoriseai/multilingual-e5-large на Hugging Face совпадает с карточкой goldenrooster/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — мультиязычная модель текстовых эмбеддингов, основанная на XLM-RoBERTa-large и обученная контрастивным методом на смеси мультиязычных данных. В карточке перечислены авторы Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder и Furu Wei. Модель имеет 24 слоя, размер эмбеддинга 1024 и около 658,7 млн параметров. Она предназначена для поиска по текстам, семантического сходства, поиска парафраз и межъязыкового сопоставления текстов, а также для получения признаков для классификации и кластеризации. Для поиска нужно добавлять к запросу префикс «query:», а к документу — «passage:»; для симметричных задач и получения признаков используется префикс «query:». Поддерживается 100 языков семейства XLM-RoBERTa, включая русский, однако качество может снижаться на языках с малым объёмом обучающих данных. Модель принимает текст и выдаёт векторные представления. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Лицензия — MIT.

1550окт. 2023ctx514
textembeddingmithugging-face
nex-agi
Nex-N2.5-mini

Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

3.6K868сент. 2026ctx262.1Kprice$0.00 / $0.00/ 1M
textapache-2.0hugging-face
sentence-transformers
paraphrase-MiniLM-L12-v2

paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.

108K7март 2022ctx512
textembeddingapache-2.0hugging-face
Craig
paraphrase-MiniLM-L6-v2

Craig/paraphrase-MiniLM-L6-v2 — копия модели sentence-transformers/paraphrase-MiniLM-L6-v2, обученной командой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель основана на BERT, содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Метаданные feature-extraction позволяют получать векторные представления через Transformers; для корректной обработки выходов без Sentence-Transformers требуется подходящий pooling. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

1014март 2022ctx512
textembeddingapache-2.0hugging-face
sentence-transformers
paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для поиска по смыслу, сравнения текстов и кластеризации. Архитектура основана на BERT; модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска и сопоставления текстов по смыслу, в том числе как компонент поисковых и кластеризационных систем. Лицензия Apache-2.0 разрешает свободное использование на её условиях. В карточке не заявлены языки обучения или гарантии качества для конкретных языков; качество может зависеть от языка и предметной области.

1.4M158март 2022ctx512
textembeddingapache-2.0hugging-face
DataikuNLP
paraphrase-multilingual-MiniLM-L12-v2

DataikuNLP/paraphrase-multilingual-MiniLM-L12-v2 — копия модели Sentence-Transformers, обученной командой sentence-transformers. Это плотная модель на архитектуре BERT с 124,3 млн параметров: она преобразует предложения и абзацы в векторы размерностью 384 для сравнения смысловой близости. Модель подходит для семантического поиска и кластеризации текстов, а также для других задач, опирающихся на эмбеддинги предложений. Модель принимает текст и выдаёт векторные представления. Она рассчитана на работу с несколькими языками; идентификаторы языков в метаданных отсутствуют. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Копия перенесена из репозитория sentence-transformers с конкретного коммита.

1560март 2022ctx512
textembeddingapache-2.0hugging-face
fanie123
Qwen2.5-Coder-14B

Карточка модели fanie123/Qwen2.5-Coder-14B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B, поэтому описание составлено по ней. Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

470авг. 2026ctx32.8K
textapache-2.0hugging-face
xieloser
Qwen2.5-Coder-14B-Instruct

Карточка модели xieloser/Qwen2.5-Coder-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-14B-Instruct — инструкция-ориентированная языковая модель для программирования от команды Qwen. Это плотная причинная Transformer-модель семейства Qwen2 с 14 млрд параметров по метаданным; карточка указывает архитектурные компоненты RoPE, SwiGLU и RMSNorm, 48 слоёв и grouped-query attention. Модель дообучена на базе Qwen/Qwen2.5-Coder-14B и предназначена для генерации и анализа кода в диалоговом формате. Модель помогает создавать код, рассуждать о нём и исправлять ошибки, а также подходит для разработки кодовых агентов и сохраняет общие способности, включая математику. Карточка описывает контекст до 131 072 токенов с применением YaRN для обработки входов длиннее 32 768 токенов; метаданные указывают нативный контекст 32 768 токенов. Для загрузки рекомендуется актуальная версия Transformers, для развёртывания — vLLM. Лицензия Apache 2.0. Среди ограничений: при включении статического YaRN масштабирования в vLLM производительность на коротких текстах может снизиться. Подробные результаты оценки и требования к памяти в предоставленной карточке не приведены.

170июнь 2026ctx32.8K
textapache-2.0hugging-face
QuantFactory
Qwen2.5-Coder-7B-GGUF

QuantFactory/Qwen2.5-Coder-7B-GGUF — квантизированная версия языковой модели Qwen2.5-Coder-7B, созданная QuantFactory с использованием llama.cpp на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации, анализа и исправления программного кода, задач code reasoning, заполнения кода и построения приложений, включая code agents. Она также сохраняет возможности для математики и общих текстовых задач, однако базовая, не дообученная версия не рекомендуется для диалогового использования. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding-слоя, имеет 28 слоёв и групповое разделение запросов и ключей/значений: 28 голов Q и 4 головы KV. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется настройка YaRN, при этом статическое масштабирование может снижать качество на коротких текстах. В README указан английский язык и текстовая модальность. К сильным сторонам относятся специализация на программировании, улучшения генерации, рассуждения и исправления кода, а также возможность работы с длинным контекстом. Ограничения включают необходимость корректной настройки YaRN для очень длинных входов, потенциальное влияние этой настройки на короткие тексты и отсутствие рекомендаций использовать базовую модель для обычных разговоров. Модель распространяется по лицензии Apache-2.0.

58K9сент. 2024
textapache-2.0hugging-face
Rasputin312
qwen3-8B-finetune

Карточка модели Rasputin312/qwen3-8B-finetune на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

1300янв. 2026ctx41K
textembeddingapache-2.0hugging-face
prithivMLmods
Viper-Coder-v1.7-Vsm6

Viper-Coder-v1.7-Vsm6 — дообученная PrithivMLmods языковая модель семейства Qwen2 с 14 млрд параметров для генерации кода и решения технических задач. Она предназначена для разработчиков и учащихся: помогает писать, рефакторить и отлаживать программы, решать математические и алгоритмические задачи, объяснять технические концепции и формировать структурированные данные. Модель работает с текстом и поддерживает диалоговый режим. В README заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов, тогда как метаданные указывают native context в 1 010 000 токенов. Эти сведения расходятся, поэтому фактическую длину контекста следует проверять для используемой конфигурации. Карточка описывает оптимизацию использования памяти и сокращение лишнего текста; языком модели в метаданных указан английский. Лицензия — Apache-2.0. Модель может ошибаться в коде и объяснениях, чувствительна к формулировке запроса и не располагает актуальной информацией о событиях после обучающих данных. Для работы с большим числом параметров и длинным контекстом нужны значительные вычислительные ресурсы; качество на творческих и нетехнических запросах может быть непостоянным.

486март 2025ctx1M
textapache-2.0hugging-face
falloutxvats
Aero-Qwen2.5-Coder-32B-Instruct

Карточка модели falloutxvats/Aero-Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

230сент. 2026ctx32.8K
textapache-2.0hugging-face
akio9899
all-MiniLM-L12-v2

Карточка модели akio9899/all-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L12-v2, поэтому описание составлено по ней. all-MiniLM-L12-v2 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений на больших наборах парных данных. Это дообученная версия microsoft/MiniLM-L12-H384-uncased: компактная BERT-архитектура примерно с 40 млн параметров, которая кодирует предложения и короткие абзацы в плотные векторы размерности 384. Модель предназначена для поиска по смыслу, оценки сходства предложений и кластеризации текстов. Её можно применять для получения векторных представлений документов и запросов; для текстов длиннее 256 WordPiece-токенов вход усекается. Данные обучения охватывают широкий спектр текстовых пар, но карточка описывает модель как англоязычную. Доступны веса и конвертированные варианты в форматах PyTorch, Safetensors, ONNX и OpenVINO. Лицензия — Apache-2.0. Это текстовый энкодер: он выдаёт эмбеддинги, а не готовые ответы или сгенерированный текст.

1080май 2026ctx512
textembeddingapache-2.0hugging-face
3gg
all-mpnet-base-v2

all-mpnet-base-v2 — модель эмбеддингов предложений семейства MPNet, разработанная командой Sentence Transformers в рамках проекта Hugging Face Community Week. Она дообучена на базе microsoft/mpnet-base с контрастивной целью на более чем миллиарде пар предложений. Модель кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель принимает текст и выдаёт векторное представление. Входы длиннее 512 токенов WordPiece обрезаются; при использовании через Transformers требуется применить подходящий pooling к контекстным представлениям. В карточке указана лицензия Apache-2.0.

700май 2023ctx514
textembeddingapache-2.0hugging-face
unsloth
all-mpnet-base-v2

all-mpnet-base-v2 — модель Sentence-Transformers, основанная на архитектуре MPNet; разработана в рамках проекта Hugging Face Community Week. Это дообученная версия microsoft/mpnet-base с 136,7 млн параметров, обученная контрастивным методом на более чем миллиарде пар предложений. Модель преобразует предложения и короткие абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель принимает текст и выдаёт эмбеддинги. Подходит для поиска документов по смыслу, группировки похожих текстов и оценки семантической близости предложений. Контекст составляет до 514 токенов по метаданным; README указывает, что входы длиннее 384 word pieces обрезаются. Основной язык карточки — английский. Распространяется по лицензии Apache-2.0.

1.9K1янв. 2026ctx514
textembeddingapache-2.0hugging-face
w601sxs
b1ade-embed-kd

b1ade-embed-kd — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем w601sxs. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического поиска, кластеризации и оценки сходства текстов. Модель обучена дистилляцией с использованием MSELoss; в README отмечено согласие результатов с моделью-учителем на задаче семантического сходства. Модель доступна в формате safetensors и интегрируется с библиотекой Sentence-Transformers. Контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.

1471май 2024ctx512
textembeddinghugging-face
khoa-klaytn
bge-base-en-v1.5-angle

khoa-klaytn/bge-base-en-v1.5-angle — текстовая модель эмбеддингов на основе BERT из семейства BGE, созданного BAAI; этот репозиторий распространяет англоязычную версию base-размера. Модель преобразует текст в плотные векторы для семантического поиска, извлечения документов, сравнения предложений, классификации и кластеризации, в том числе для поиска контекста в системах с векторными базами данных и RAG. Модель содержит 136,7 млн параметров, принимает текстовые входы длиной до 512 токенов и выдаёт эмбеддинги. Версия BGE v1.5 улучшает работу при поиске без инструкций к запросам; для коротких запросов, используемых для поиска длинных документов, инструкция может улучшить результат. Оценки сходства следует трактовать относительно друг друга: абсолютный порог нужно подбирать на собственных данных. Лицензия — MIT.

1.7K2янв. 2024ctx512
textembeddingmithugging-face
altaidevorg
bge-m3-distill-8l

altaidevorg/bge-m3-distill-8l — модель эмбеддингов на основе Sentence Transformers, созданная командой Altaidevorg дистилляцией BAAI/bge-m3. В ней 8 слоёв XLM-RoBERTa и около 390 млн параметров; она принимает текст и выдаёт нормализованные векторы размерностью 1024 для сравнения по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, оценки сходства предложений и формирования векторных представлений для RAG. По данным авторов, дистилляция сохранила качество на тестах сходства и дала примерно 2,5-кратный прирост пропускной способности относительно исходной BAAI/bge-m3 на GPU T4. Обучение включало преимущественно турецкие тексты; авторы также сообщают о сохранении качества на английском. Лицензия в предоставленных данных не указана.

52012янв. 2025ctx8.2K
textembeddinghugging-face
Ductratra
BGE_M3_v2

Ductratra/BGE_M3_v2 — модель Sentence Transformer на архитектуре XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; сходство между текстами можно оценивать косинусной мерой. Модель рассчитана на последовательности длиной до 8192 токенов. Её можно применять для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В репозитории указаны веса safetensors и библиотека sentence-transformers. Лицензия и конкретные обучающие данные в предоставленных сведениях не описаны.

860июнь 2025ctx8.2K
textembeddinghugging-face
barisaydin
bge-small-en

barisaydin/bge-small-en — англоязычная модель эмбеддингов семейства BGE, основанная на архитектуре BERT и содержащая около 40 млн параметров. Она преобразует текст в плотные векторы для поиска, сравнения и других задач, где нужно оценивать смысловую близость текстов. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска документов по запросу, кластеризации и классификации текста, а также для использования в векторных базах данных и RAG-системах. В задачах поиска README рекомендует добавлять к короткому запросу инструкцию «Represent this sentence for searching relevant passages:», но не добавлять её к документам. README рекомендует перейти на BAAI/bge-small-en-v1.5: в исходной версии распределение сходства менее удобно, поэтому абсолютный порог косинусного сходства не следует трактовать как универсальный критерий. Для фильтрации похожих текстов порог нужно подбирать на своих данных. Лицензия модели — MIT.

1000сент. 2023ctx512
textembeddingmithugging-face
BidirLM
BidirLM-1.7B-Embedding

BidirLM-1.7B-Embedding — многоязычная модель для получения текстовых эмбеддингов, разработанная авторами семейства BidirLM. Это плотный двунаправленный энкодер BidirLMModel на 1,7 млрд параметров, дообученный на основе BidirLM/BidirLM-1.7B-Base контрастивным обучением. Модель использует mean pooling, поддерживает контекст до 32 768 токенов и предназначена для семантического поиска и других задач сопоставления текстов. Модель подходит для поиска и извлечения документов, оценки семантического сходства, кластеризации, классификации текстов, парной классификации, переранжирования и поиска параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, включая NER и POS-разметку. В карточке заявлена поддержка более 119 языков; метаданные подтверждают многоязычность и перечисляют языковые коды, включая английский, арабский, китайский и хинди. В карточке отмечены результаты на бенчмарках MTEB и LongEmbed, а также возможность применять одну модель и для эмбеддингов, и для последующего дообучения под прикладные задачи. Для загрузки требуется trust_remote_code=True и совместимые версии Transformers и Sentence Transformers. Модель распространяется по лицензии Apache-2.0.

3289апр. 2026ctx32.8K
textembeddingapache-2.0hugging-face
MaziyarPanahi
calme-2.2-qwen2.5-72b

calme-2.2-qwen2.5-72b — плотная языковая модель MaziyarPanahi, дообученная на основе Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат весов safetensors; для общения применяется шаблон ChatML. Контекст составляет до 32 768 токенов. В метаданных указан английский язык; README описывает широкие языковые сценарии, но не подтверждает поддержку конкретных дополнительных языков. README приводит результаты Open LLM Leaderboard, в том числе 84,77 по IFEval и 61,80 по BBH; оценки относятся к указанным настройкам тестирования и не гарантируют качество в конкретном применении. Известные ограничения — возможные предвзятость и ошибки, поэтому при внедрении важны проверка ответов и человеческий контроль. Лицензия обозначена как other, без уточнения конкретных условий в предоставленных данных.

636сент. 2024ctx32.8K
textotherhugging-face
MaziyarPanahi
calme-2.3-llama3.1-70b

calme-2.3-llama3.1-70b — языковая модель MaziyarPanahi, дообученная на базе Meta Llama 3.1 70B Instruct с использованием датасета truthy-dpo-v0.1-axolotl. Это плотная авторегрессионная архитектура LlamaForCausalLM на 69,5 млрд параметров; модель предназначена для генерации текста в формате чата ChatML и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Возможны смещения и ошибки; при использовании следует предусмотреть проверки человеком. Доступна в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.

473сент. 2024ctx131.1K
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей