/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 511–9 540 из 23 488
LocalAI-io
privacy-filter-multilingual-GGUF

LocalAI-io/privacy-filter-multilingual-GGUF — это GGUF-версия мультиязычной модели классификации токенов для обнаружения персональных и других чувствительных данных (PII). Модель разработана OpenMed как дообученная версия openai/privacy-filter, а данный репозиторий содержит её локально запускаемую упаковку GGUF, ориентированную на использование с privacy-filter.cpp и LocalAI. Модель не предназначена для диалога или генерации текста: она размечает каждый токен тегами BIOES и возвращает позиции обнаруженных сущностей, чтобы служить уровнем NER в системах маскирования и редактирования PII. Модель поддерживает 54 категории PII, представленные 217 классами, и 16 языков: арабский, бенгальский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, португальский, телугу, турецкий, вьетнамский и китайский. Используется специальная архитектура openai-privacy-filter; доступны варианты F16 размером около 2,7 ГБ и Q8_0 размером около 1,6 ГБ, в котором основные веса MoE-кспертов квантизированы, а attention, embeddings и классификационная голова сохранены в F16. Q8_0 уменьшает требования к памяти и обычно немного ускоряет работу на CPU, но может снижать точность. Для запуска рекомендуется privacy-filter.cpp с поддержкой CPU, CUDA и Vulkan либо LocalAI с backend privacy-filter. Стандартные llama.cpp, llama-cpp-python, Ollama и LM Studio без специальных патчей эту модель не загрузят. F16 считается предпочтительным вариантом для максимальной надёжности; результаты Q8_0 следует проверять на собственных данных, особенно для редких форматов PII и языков, поскольку заявленная проверка совпадения с F16 проводилась на одном англоязычном документе. Модель распространяется по лицензии Apache-2.0.

60K6июнь 2026
textapache-2.0hugging-face
srsawant34
ProTopic

Карточка модели srsawant34/ProTopic на Hugging Face совпадает с карточкой harsh-wk/long-seq-paraphrase-MiniLM-L6-v2, поэтому описание составлено по ней. harsh-wk/long-seq-paraphrase-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. По метаданным, модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена Sentence Transformers и распространяется по лицензии Apache-2.0. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. README описывает семантический поиск и кластеризацию как основные сценарии; язык текстов, поддерживаемых моделью, в предоставленных данных не установлен.

980нояб. 2023ctx512
textembeddingapache-2.0hugging-face
Mactavish1996
qwen-0.6B-skills-finetuned

Mactavish1996/qwen-0.6B-skills-finetuned — дообученная на 1 396 парах предложений модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и сравнивает их косинусным сходством. Архитектура включает трансформер Qwen3, pooling по последнему токену и нормализацию; максимальная длина последовательности — 32 768 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Обучающие примеры охватывают короткие термины из разных областей, например названия технологий и продуктов. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.

720сент. 2025ctx32.8K
textembeddinghugging-face
BlossomsAI
Qwen2.5-Coder-14B-Instruct-Uncensored

BlossomsAI/Qwen2.5-Coder-14B-Instruct-Uncensored — модифицированная инструкционная модель для генерации кода, созданная на основе Qwen/Qwen2.5-Coder-14B-Instruct с применением направленного вмешательства для изменения поведения отказа. Это плотная причинная языковая модель семейства Qwen2 с 14 млрд параметров, рассчитанная на диалоговое использование и контекст до 32 768 токенов. В метаданных указаны библиотека Transformers и формат safetensors; README также упоминает предварительно квантованные варианты в формате GGFU. Модель предназначена для генерации, анализа и исправления кода в диалоге. README описывает удаление поведения отказа, поэтому модель может отвечать на запросы, от которых исходная модель отказалась бы; это повышает риск небезопасных ответов. Указана лицензия MIT. Подробные результаты оценки качества модифицированной модели в карточке не приведены.

3247янв. 2025ctx32.8K
textmithugging-face
unsloth
Qwen2.5-Coder-1.5B

unsloth/Qwen2.5-Coder-1.5B — версия базовой языковой модели Qwen2.5-Coder, подготовленная Unsloth. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная прежде всего для генерации, анализа и исправления кода, а также для рассуждений о коде и задач с дополнением кода. В README указаны 28 слоёв, механизм RoPE, SwiGLU, RMSNorm и групповое внимание; модель находится на стадии предобучения и не настроена для диалогов. Модель принимает текст и генерирует продолжение текста. В конфигурации репозитория задано контекстное окно 32 768 токенов; для более длинных текстов README описывает применение YaRN, а предельную длину семейства указывает как 131 072 токена. Модель обучена на коде и текстовых данных и сохраняет общие возможности Qwen2.5, включая математику. Карточка не называет разработчика этой конкретной версии явно; README описывает семейство Qwen2.5-Coder, а репозиторий опубликован в пространстве Unsloth. Лицензия — Apache-2.0. Для диалогового применения рекомендуется последующее дообучение; поддержка длинного контекста требует настройки YaRN, а статическое масштабирование может снизить качество на коротких запросах.

8646сент. 2024ctx32.8K
textapache-2.0hugging-face
mlx-community
Qwen2.5-Coder-7B-bf16

mlx-community/Qwen2.5-Coder-7B-bf16 — версия модели Qwen2.5-Coder-7B, преобразованная сообществом mlx-community в формат MLX с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2, рассчитанная на генерацию текста и кода; объём модели — 7,1 млрд параметров, максимальный контекст — 32 768 токенов. Карточка указывает поддержку диалогового режима и интерфейса вызова инструментов, а среди языковых тегов — английский. Модель подходит для генерации и продолжения кода, помощи в программировании и диалоговых сценариев с текстовым вводом. Репозиторий содержит веса safetensors; README описывает преобразование в MLX и использование через mlx-lm. Лицензия — Apache 2.0. Метаданные связывают модель с Qwen/Qwen2.5-7B как с базовой моделью, однако README указывает исходную Qwen/Qwen2.5-Coder-7B; это означает, что репозиторий представляет преобразованную версию кодовой модели, а классификацию происхождения и базовую модель следует трактовать с учётом этих различающихся сведений.

1830сент. 2024ctx32.8K
textapache-2.0hugging-face
coder3101
Qwen2.5-VL-7B-Instruct-heretic

coder3101/Qwen2.5-VL-7B-Instruct-heretic — мультимодальная инструкционная модель на 7,1 млрд параметров, созданная на основе Qwen/Qwen2.5-VL-7B-Instruct. Она принимает текст и изображения и формирует текстовые ответы; семейство Qwen2.5-VL также поддерживает работу с видео, включая анализ событий и временных отрезков. Архитектура модели — плотная Qwen2.5-VL с визуальным энкодером, формат весов — safetensors. Метаданные указывают контекст до 128 000 токенов; README базовой модели описывает настройку конфигурации до 32 768 токенов и YaRN для обработки более длинного текста. Модель подходит для вопросов по изображениям, чтения текста и таблиц в документах, разбора диаграмм и визуальной локализации объектов с выводом координат. Также её можно применять для анализа видео и формирования структурированных ответов. В README приведено сравнение с базовой моделью: частота отказов в указанной проверке снизилась со 100 из 100 до 5 из 100; это характеристика конкретного теста, а не гарантия поведения на всех запросах. Модель помечена как uncensored, поэтому может отвечать на запросы, от которых исходная модель отказывается. Лицензия — Apache-2.0.

2123янв. 2026ctx128K
textimageapache-2.0hugging-face
lucaswychan
Qwen3-0.6B-Reasoning-Embedding

lucaswychan/Qwen3-0.6B-Reasoning-Embedding — многоязычная модель эмбеддингов, разработанная Lucas Wun Yu CHAN на основе Qwen3-0.6B. Это плотная decoder-only модель семейства Qwen3, дообученная контрастивным обучением для получения семантических представлений текста и оценки сходства предложений. Число параметров составляет около 507,9 млн, длина контекста — до 40 960 токенов. Модель использует Sentence Transformers и распространяется в формате safetensors. Модель подходит для семантического поиска, сопоставления текстов и построения эмбеддингов в многоязычных сценариях. В README описано исследование влияния RLVR-обучения базовой модели на качество эмбеддингов: оценка на MTEB и BRIGHT не выявила устойчивого преимущества перед эмбеддингами, инициализированными базовой моделью. Для загрузки автор рекомендует включить trust_remote_code=True. Лицензия — Apache-2.0.

890нояб. 2025ctx41K
textembeddingapache-2.0hugging-face
Tolu49ja
Qwen3-4B-Instruct-2507-heretic

Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

480сент. 2026ctx262.1K
textapache-2.0hugging-face
P4tchFake
Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill-GGUF

P4tchFake/Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, дообученная на базе Qwen3.5-9B с использованием supervised fine-tuning, LoRA и дистилляции рассуждений из Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель ориентирована на структурированное аналитическое поведение и более организованный Chain-of-Thought. В README указаны английский, китайский и корейский языки; архитектура описана как Dense, размер базовой модели — 9B параметров, однако размер контекста не указан. Модель предназначена для сложных многошаговых задач, требующих декомпозиции, планирования, абстрагирования, отслеживания ограничений и анализа компромиссов. Заявлены широкие области применения, включая математику и логику, программирование и системный анализ, безопасность и adversarial reasoning, физику, инженерию, право, философию, медицину, финансы, химию и прикладные социальные системы. Среди сильных сторон отмечаются структурированное рассуждение, более плотные и последовательные аналитические ответы, междисциплинарный охват и компактный размер. Из-за дистилляции и специализированного дообучения поведение модели может отличаться от исходной Qwen3.5-9B: возможны изменения в обобщающей способности и частичное забывание отдельных сведений предварительного обучения. Поэтому модель рекомендуется оценивать на собственных задачах перед применением в продуктивных сценариях. Лицензия — Apache-2.0.

7860июль 2026
textapache-2.0hugging-face
0xSero
Qwen3.6-28B

Qwen3.6-28B — производная модель 0xSero на основе Qwen/Qwen3.6-35B-A3B, сокращённая методом REAP с последующим дообучением LoRA на открытых рассуждениях Claude Opus. Это причинная языковая модель семейства Qwen3.5 MoE для генерации текста и диалогов. После удаления 20% экспертов в каждом слое осталось около 28 млрд параметров, из которых активны примерно 3 млрд. Веса представлены в BF16; исходная архитектура имеет 40 слоёв и MoE-маршрутизацию. Модель предназначена для диалогов, задач на рассуждение и программирование, а также создания структурированных ответов, например JSON и Mermaid. В README заявлена калибровка с избытком примеров структурированного вывода, поэтому такие сценарии могли повлиять на сохранённые экспертовые способности. Указаны лицензия Apache-2.0 и библиотека Transformers. Оценки качества в карточке представлены шаблонными значениями, поэтому по ним нельзя судить о сравнительной производительности. Для задач в стиле GSM8K точность зависит от наличия достаточного бюджета токенов для цепочки рассуждений; калибровка структурированного вывода переориентирована на JSON и Mermaid. Поведение отказов унаследовано от базовой модели и дообучения.

26934апр. 2026ctx262.1K
textapache-2.0hugging-face
bullpoint
Qwen3-Coder-Next-AWQ-4bit

Qwen3-Coder-Next-AWQ-4bit — это 4-битная AWQ-квантизованная версия открытой языковой модели Qwen3-Coder-Next, разработанной Qwen и квантизованной пользователем bullpoint. Модель предназначена для генерации кода, разработки программного обеспечения, работы кодирующих агентов, использования инструментов и function calling, а также локальной интеграции с CLI и IDE. Заявлена поддержка сценариев с длительным рассуждением, сложным использованием инструментов и восстановлением после ошибок выполнения. Модель работает только в режиме без отдельного скрытого рассуждения и не генерирует блоки <think></think>. Архитектура — causal language model с гибридной структурой Gated DeltaNet и Gated Attention, построенная на Mixture of Experts. Она содержит 80 млрд параметров всего, из которых активируется 3 млрд, 48 слоёв, 512 экспертов и 10 активируемых экспертов; нативная длина контекста составляет 262 144 токена. Поддерживаются английский и китайский языки. Квантизация выполнена методом AWQ с разрядностью 4 бита, группами размера 32 и форматом compressed-tensors; заявленный объём видеопамяти — около 45 ГБ против примерно 151 ГБ для исходной версии BF16. К сильным сторонам относятся большой контекст, низкое число активируемых параметров при сохранении заявленной производительности и пригодность для локального развёртывания агентных задач. Ограничения включают существенные требования к видеопамяти, возможные потери качества из-за квантизации и отсутствие заявленных результатов бенчмарков в карточке. Модель распространяется по лицензии Apache-2.0.

3.3K30февр. 2026ctx262.1K
textapache-2.0hugging-face
Qwen
Qwen3-Coder-Next-Base

Qwen3-Coder-Next-Base — базовая языковая модель компании Qwen, предназначенная для разработки кодовых агентов и локальной работы с кодом. Это предварительно обученная авторегрессионная модель семейства Qwen3-Next с гибридной архитектурой: чередует Gated DeltaNet, Gated Attention и разреженные Mixture of Experts. В README указано 80 млрд параметров всего и 3 млрд активируемых; метаданные Hugging Face указывают 2,3 млрд параметров, поэтому размерные сведения источников расходятся. Модель рассчитана на генерацию кода и использование как основы для последующего обучения и создания агентных систем. Заявлены возможности вызова инструментов, адаптации шаблонов и каркасов проектов, а также поиска и восстановления после ошибок. Нативная длина контекста — 262 144 токена; README заявляет поддержку более 370 языков, в том числе языков программирования. Модель работает только в режиме без рассуждений (non-thinking) и не генерирует блоки разметки рассуждений. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0.

1.7K79февр. 2026ctx262.1K
textapache-2.0hugging-face
GadflyII
Qwen3-Coder-Next-NVFP4

GadflyII/Qwen3-Coder-Next-NVFP4 — квантованная версия модели Qwen3-Coder-Next, разработанной командой Qwen. Модель предназначена прежде всего для генерации текста и задач программирования, а также для сценариев инференса, где важны уменьшенное потребление памяти и поддержка длинного контекста. Она распространяется в формате compressed-tensors и рассчитана на использование с vLLM. Модель построена на архитектуре Qwen3NextForCausalLM, объединяющей Hybrid DeltaNet, attention и Mixture-of-Experts (MoE). Она содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене, использует 512 экспертов, 10 активных экспертов и одного общего эксперта, а также 48 слоёв. Заявленная длина контекста составляет 262 144 токена. Квантование NVFP4 применяется к весам и активациям; размер модели уменьшен примерно со 149 ГБ в BF16 до 45 ГБ. В тестах достигнута работа с контекстом до 128K токенов при FP8 KV cache. К сильным сторонам относятся значительное снижение требований к памяти, MoE-архитектура с малым числом активных параметров и поддержка длинного контекста. На MMLU-Pro квантованная версия показала точность 51,27% против 52,90% у BF16, то есть снижение составило 1,63 процентного пункта. Для работы требуется vLLM с поддержкой NVFP4, версия 0.16.0 или новее, и Transformers 5.0.0 или новее; для многографических систем на Blackwell могут потребоваться специальные исправления vLLM. Модель распространяется по лицензии Apache 2.0, как и базовая модель.

3.7K45февр. 2026ctx262.1K
textapache-2.0hugging-face
qwen
qwen3-coder-plus

Qwen3 Coder Plus — проприетарная версия Alibaba модели Qwen3 Coder 480B A35B. Она предназначена для программирования и работы в роли автономного агента, в том числе с вызовом инструментов. Модель подходит для генерации и редактирования кода, а также для сценариев, где агент выполняет программные задачи с помощью инструментов. В доступной карточке указаны специализация на программировании и поддержка tool calling; другие технические характеристики и подробности обучения не приведены. Модель проприетарная; условия лицензии и использования в доступных данных не описаны.

00сент. 2025ctx1Mprice$0.00 / $0.00/ 1M
textopenrouter
mlx-community
Qwen3-Embedding-0.6B-8bit

Qwen3-Embedding-0.6B-8bit — 8-битная версия модели для создания текстовых эмбеддингов, подготовленная mlx-community в формате MLX из Qwen/Qwen3-Embedding-0.6B. Это плотная модель семейства Qwen3 примерно с 508 млн параметров, предназначенная для извлечения признаков текста и семантического поиска. Она подходит для построения векторных представлений запросов и документов, поиска похожих текстов и систем RAG. Модель поддерживает контекст до 32 768 токенов и распространяется по лицензии Apache-2.0. Карточка указывает на преобразование в MLX, а метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-Embedding-0.6B. Хотя каталог также помечает архитектуру тегом text-generation, основное пользовательское назначение — получение эмбеддингов, что соответствует pipeline_tag feature-extraction. В README не приведены дополнительные сведения о качестве или ограничениях; применимость зависит от языка и предметной области входных текстов.

4.0K2авг. 2025ctx32.8K
textapache-2.0hugging-face
AIconjured
Qwen3-Embedding-0.6B-Q8-NVFP4

AIconjured подготовил GGUF-квантизацию текстовой модели эмбеддингов Qwen3-Embedding-0.6B, разработанной командой Qwen. Модель создаёт 1024-мерные векторы для текстов и рассчитана на задачи семантического поиска и извлечения признаков. Заявленная длина контекста — 32K токенов; используется last-token pooling. Веса упакованы в формат GGUF со смешанной точностью NVFP4, Q8_0 и F32: NVFP4 применяется к основным матричным слоям, а чувствительные к качеству компоненты оставлены в более высокой точности. Размер файла — 507 МБ. По замерам автора, среднее косинусное сходство эмбеддингов с версией F16 составило 0,97472 на выборке из 20 текстов; для сложных семантических запросов возможно снижение качества поиска. Наиболее быстрый путь NVFP4 рассчитан на GPU Blackwell, а на других GPU веса могут работать после деквантизации. Модель предназначена для построения текстового поиска и других систем, использующих эмбеддинги. Распространяется по лицензии Apache-2.0.

601сент. 2026
textembeddingapache-2.0hugging-face
Wheatley961
Raw_2_Test_1_new.model

Wheatley961/Raw_2_Test_1_new.model — модель Sentence-Transformers на базе архитектуры XLM-RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. По метаданным модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Репозиторий содержит веса PyTorch; для получения эмбеддингов можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. Модель подходит для построения поиска по смыслу и группировки текстов. В README указано обучение с CosineSimilarityLoss. Данные о лицензии и конкретном наборе поддерживаемых языков отсутствуют в предоставленных источниках, поэтому их нельзя уточнить.

960нояб. 2022ctx514
textembeddinghugging-face
Den4ikAI
rubert-tiny2-retriever

Den4ikAI/rubert-tiny2-retriever — русскоязычная модель эмбеддингов на базе BERT, опубликованная пользователем Den4ikAI. Она преобразует предложения и абзацы в плотные векторы размерности 312 для сравнения семантической близости, поиска и кластеризации. Модель обучена с ContrastiveLoss на косинусном расстоянии и распространяется в формате PyTorch; размер составляет 29 млн параметров, контекст — до 2048 токенов. Модель подходит для семантического поиска по русскоязычным текстам, ранжирования кандидатов по смысловому сходству и группировки похожих высказываний. Для использования с Transformers требуется корректно выполнить pooling контекстных представлений токенов; Sentence-Transformers предоставляет готовый интерфейс. Лицензия — MIT. В карточке не приведены результаты оценки, поэтому качество на конкретных наборах данных следует проверять отдельно.

2572авг. 2023ctx2K
textembeddingmithugging-face
usc-isi
sbert-roberta-large-anli-mnli-snli

Модель usc-isi/sbert-roberta-large-anli-mnli-snli разработана командой USC Information Sciences Institute. Это Sentence-Transformers-модель на базе RoBERTa-large, дообученная на наборах ANLI, MNLI и SNLI для получения плотных векторов предложений и абзацев размерностью 768. Она подходит для семантического поиска, сравнения смысловой близости, кластеризации и группировки текстов. Модель принимает текст на английском языке и формирует векторные представления. В метаданных указан контекст до 514 токенов, а размер модели составляет 151,8 млн параметров. Для Transformers требуется применять mean pooling к контекстным представлениям токенов; Sentence-Transformers предоставляет более простой способ использования. Лицензия в предоставленных данных не указана.

1142март 2022ctx514
textembeddinghugging-face
ABrinkmann
sbert_xtremedistil-l6-h256-uncased-mean-cosine-h32

ABrinkmann/sbert_xtremedistil-l6-h256-uncased-mean-cosine-h32 — модель Sentence-Transformers на архитектуре BERT, разработанная ABrinkmann. Она кодирует предложения и абзацы в плотные векторы размерностью 32 для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 14,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения систем поиска по эмбеддингам. При обучении использовалась CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

1020апр. 2022ctx512
textembeddinghugging-face
bachngo
sentence_hsu

bachngo/sentence_hsu — модель sentence-transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. В метаданных указано окно контекста 514 токенов; модель принимает текст и выдаёт эмбеддинги. Обучение проводилось с BatchAllTripletLoss. Модель подходит для поиска похожих текстов и группировки предложений или документов по смыслу. Карточка не сообщает, на каких языках обучалась модель, поэтому нельзя определить её языковой охват. Лицензия в предоставленных данных не указана.

1010янв. 2024ctx514
textembeddinghugging-face
adit94
sentenceTest_kbert

adit94/sentenceTest_kbert — модель на базе BERT, опубликованная в формате PyTorch как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась с TripletLoss; контекст ограничен 512 токенами. Модель подходит для построения векторного поиска по текстам и группировки семантически близких предложений. Карточка не уточняет поддерживаемые естественные языки и лицензию, поэтому эти характеристики нельзя достоверно указать.

940нояб. 2022ctx512
textembeddinghugging-face
Pyjay
sentence-transformers-multilingual-snli-v2-500k

Pyjay/sentence-transformers-multilingual-snli-v2-500k — модель эмбеддингов предложений на базе XLM-RoBERTa, опубликованная пользователем Pyjay. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для семантического поиска, кластеризации и сравнения текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучалась с использованием Sentence-Transformers и функций потерь SoftmaxLoss и CosineSimilarityLoss. В карточке указано многоязычное назначение, однако конкретный список поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

1221март 2022ctx514
textembeddinghugging-face
Salesforce
SFR-Embedding-2_R

SFR-Embedding-2_R — модель эмбеддингов текста, разработанная Salesforce Research. Она предназначена для получения векторных представлений текста и задач сравнения предложений, включая поиск и оценку семантической близости. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указана поддержка английского языка и формата safetensors; модель доступна для использования через Transformers и Sentence Transformers. Разработчики представляют её в поддержку академической статьи и рекомендуют перед применением оценивать точность, безопасность и справедливость для конкретного сценария, особенно в задачах с высокими последствиями. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

22K95июнь 2024ctx32.8K
textembeddingcc-by-nc-4.0hugging-face
new5558
simcse-model-wangchanberta-base-att-spm-uncased

new5558 выпустил модель эмбеддингов предложений на базе WangchanBERTa, представленной архитектурой CamemBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством; размер составляет 132,5 млн параметров, максимальная длина контекста — 512 токенов. Модель можно использовать с библиотекой Sentence-Transformers или через Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

680март 2022ctx512
textembeddinghugging-face
jambroz
sixtyoneeighty-4x7B-v1

jambroz/sixtyoneeighty-4x7B-v1 — слитая модель семейства Mixtral, созданная jambroz с помощью LazyMergekit на основе четырёх моделей Mistral: jambroz/sixtyoneeighty-7b-chat, NeuralNovel/Mistral-7B-Instruct-v0.2-Neural-Story, S-miguel/The-Trinity-Coder-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Она предназначена для диалоговой генерации текста, дополнения кода, логических рассуждений и решения задач по программированию. Модель использует архитектуру Mixtral с механизмом mixture-of-experts (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Модель лицензирована по Apache-2.0. Карточка не уточняет поддерживаемые естественные языки и конкретные ограничения качества.

680апр. 2024ctx32.8K
textapache-2.0hugging-face
brahmairesearch
slx-v0.1

SLX-v0.1 — модель BRAHMAI Research для преобразования предложений и коротких абзацев в плотные векторы размерностью 384, отражающие их смысл. Она построена на архитектуре BERT и использует библиотеку Sentence-Transformers; число параметров — 25,9 млн, максимальный контекст по метаданным — 512 токенов. В README указано, что вход длиннее 256 word pieces по умолчанию обрезается. Модель предназначена для семантического поиска, извлечения информации, кластеризации и сравнения сходства предложений. Она дообучена контрастивным методом на основе nreimers/MiniLM-L6-H384-uncased, а затем адаптирована для англоязычных задач с использованием dunzhang/stella_en_400M_v5 и внутреннего набора данных. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.

2450авг. 2024ctx512
textembeddingapache-2.0hugging-face
RedHatAI
snowflake-arctic-embed-l-v2.0

Карточка модели RedHatAI/snowflake-arctic-embed-l-v2.0 на Hugging Face совпадает с карточкой Snowflake/snowflake-arctic-embed-l-v2.0, поэтому описание составлено по ней. Snowflake Arctic Embed L v2.0 — мультиязычная модель эмбеддингов от Snowflake для семантического поиска и извлечения релевантных текстов. Она основана на архитектуре XLM-RoBERTa и использует представление текста в виде векторов; в метаданных указано 658,7 млн параметров, а контекст составляет до 8194 токенов. Модель принимает текст и выдаёт эмбеддинги, предназначенные для сравнения запросов и документов по смысловой близости. Модель рассчитана на поиск на английском и многих других языках, включая арабский, бенгальский, немецкий, испанский, французский, хинди, японский и корейский. README сообщает о поддержке векторов размерностью 1024 и Matryoshka Representation Learning для сокращения до 256 измерений; вместе с 4-битным квантованием это позволяет хранить вектор примерно в 128 байтах. Указаны результаты оценки на наборах BEIR, MIRACL и CLEF, а также возможность использовать модель как замену BAAI/bge-m3-retromae в системах вывода. Лицензия Apache 2.0 допускает свободное использование в том числе в коммерческих приложениях. Модель предназначена для многоязычного семантического поиска, извлечения документов и построения систем поиска с векторным индексом. Сокращение и квантование эмбеддингов снижают требования к хранению, но могут уменьшить качество поиска; README отмечает небольшое снижение показателей при сокращении размерности до 256. Русский язык не указан среди языков карточки и метаданных, поэтому его поддержку нельзя подтвердить.

5990февр. 2026ctx8.2K
textembeddingapache-2.0hugging-face
Haon-Chen
speed-embedding-7b-instruct

SPEED-embedding-7b-instruct — текстовая модель эмбеддингов от Haonan Chen и соавторов, представленная в работе «Little Giants: Synthesizing High-Quality Embedding Data at Scale» (2024). Она предназначена для преобразования запросов и документов в векторы, пригодные для семантического поиска и ранжирования. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров, имеет 32 слоя и размер эмбеддинга 4096. Метаданные указывают контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Для запросов следует задавать краткую инструкцию на естественном языке, описывающую задачу; документы можно кодировать без инструкции. Это позволяет настраивать представления для разных сценариев. В README указана оценка на наборах BEIR и MTEB. Модель ориентирована на английский язык. Распространяется по лицензии MIT.

4505окт. 2024ctx32.8K
textembeddingmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей