/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
14 491–14 520 из 23 488
Snowflake
snowflake-arctic-instruct

Snowflake Arctic Instruct — инструктивно дообученная языковая модель команды Snowflake AI Research Team на базе архитектуры Arctic. Она предназначена для диалогов, генерации текста и кода, а также для задач классификации текста. Архитектура — гибридный трансформер с разреженным MoE: в карточке описана комбинация плотной модели на 10 млрд параметров и остаточного блока MoE с 128 экспертами; для полной архитектуры указаны 480 млрд параметров и 17 млрд активных параметров с выбором двух экспертов. Метаданные репозитория указывают размер 8 млрд параметров, поэтому эта цифра расходится с описанием полной архитектуры в README. Модель принимает текст и генерирует текст или код. Родной размер контекста — 4096 токенов. Для запуска README рекомендует Transformers версии 4.39 или выше и загрузку с доверенным пользовательским кодом; для инференса предлагается сервер с восемью H100 из-за размера модели. Модель выпущена Snowflake под лицензией Apache-2.0, допускающей использование в исследованиях, прототипах и продуктах.

2.8K365апр. 2024ctx4.1K
textapache-2.0hugging-face
dnth
ssf-retriever-modernbert-embed-base-v4

dnth выпустила модель Sentence Transformer, дообученную на наборе ssf-train-valid-v4 на основе nomic-ai/modernbert-embed-base. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768, нормализованные для сравнения по косинусному сходству. Архитектура включает ModernBertModel с усреднением токеновых представлений; максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, а также использования эмбеддингов для классификации и кластеризации. Обучение описано на парах и тройках anchor-positive-negative из датасета размером 4524 обучающих примера. Метаданные указывают задачи sentence-similarity и feature-extraction. Язык примеров или языковая специализация модели не подтверждены, поэтому языки не указаны. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.

1030сент. 2025ctx8.2K
textembeddinghugging-face
migtissera
Tess-2.0-Llama-3-70B-v0.2

Tess-2.0-Llama-3-70B-v0.2 — чат-модель общего назначения, разработанная Migtissera и дообученная на базе Meta Llama 3 70B. Версия 0.2 включает дополнительный этап снятия ограничений на ответы. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и принимает запросы в формате Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалогов, следования инструкциям, генерации кода и ответов на общие вопросы. Дообучение выполнено на примерно 100 тысячах высококачественных примеров кода и общего назначения по принципам LIMA, в течение двух эпох с низкой скоростью обучения. Модель ориентирована на широкий спектр запросов и обычно охотно выполняет инструкции. Возможны неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; факты следует перепроверять. Модель описана как uncensored. Лицензия — Llama 3; применимые условия использования определяются лицензией Meta Llama 3.

8.6K15май 2024ctx8.2K
textllama3hugging-face
viggypoker1
Vignesh-finetuned-bge

Vignesh finetuned bge — англоязычная модель Sentence Transformers, дообученная разработчиком репозитория на базе BAAI/bge-base-en-v1.5 на 311 351 паре текстов. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и сравнения текстов; архитектура включает BERT, пулинг по CLS-токену и нормализацию, а сходство оценивается косинусной мерой. Обучение с MatryoshkaLoss позволяет использовать укороченные представления размерностью 512, 256, 128 или 64. Модель подходит для поиска релевантных фрагментов, ранжирования по семантическому сходству, поиска перефразировок, кластеризации и классификации текстов с использованием эмбеддингов. Максимальная длина входа — 512 токенов; README приводит результаты оценки поиска для нескольких размерностей векторов. Модель предназначена для английского языка и распространяется по лицензии Apache-2.0.

1210февр. 2025ctx512
textembeddingapache-2.0hugging-face
prashpathak
xlscout_standigger_2_aug

prashpathak/xlscout_standigger_2_aug — модель Sentence Transformers на архитектуре BERT, представленная пользователем prashpathak. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализованные для сравнения по косинусному сходству; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Её можно применять для поиска похожих фрагментов в корпусе, группировки документов по смыслу и подготовки векторных представлений для последующей классификации. В метаданных указаны 136,7 млн параметров и формат safetensors. Лицензия в предоставленных сведениях не указана.

3830авг. 2024ctx512
textembeddinghugging-face
avsolatorio
30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240217220249-best

Карточка модели avsolatorio/30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240217220249-best на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1120февр. 2024ctx512
textembeddingapache-2.0hugging-face
avsolatorio
30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-latest

Карточка модели avsolatorio/30-000-11-1-2-2-0-0-mean-normed-384-512_GIST_st_all-MiniLM-L6-v2-20240218195818-latest на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

1080февр. 2024ctx512
textembeddingapache-2.0hugging-face
arcee-ai
AFM-4.5B

AFM-4.5B — инструкционная языковая модель Arcee.ai для диалогов и генерации текста. Это плотный decoder-only трансформер с архитектурой ArceeForCausalLM; в карточке указано 4,5 млрд параметров, а в метаданных — 6 млрд. Модель дообучена на основе arcee-ai/AFM-4.5B-Base с supervised fine-tuning и последующим обучением с подкреплением по проверяемым результатам и предпочтениям людей. Модель предназначена для генерации ответов и выполнения инструкций в различных средах развёртывания — от облака до периферийных устройств. Обучение включало данные для математических рассуждений и генерации кода. Среди архитектурных особенностей — grouped-query attention и активации ReLU²; поддерживаются диалоговый режим и контекст до 65 536 токенов. Указаны языки: английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский. Модель распространяется под лицензией Apache 2.0. Карточка приводит оговорку о вариативности результатов на бенчмарках и рекомендуемые параметры генерации, но не описывает подробно конкретные слабые стороны модели.

8.2K102июль 2025ctx65.5K
textapache-2.0hugging-face
youssefkhalil320
all-MiniLM-L6-v6-pair_score

all-MiniLM-L6-v6-pair_score — англоязычная модель Sentence Transformers, созданная дообучением sentence-transformers/all-MiniLM-L6-v2. Это плотный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и абзацы в нормализованные векторы размерностью 384 и сравнивает их по косинусному сходству. Максимальная длина последовательности в метаданных — 512 токенов; карточка модели описывает ограничение в 256 токенов. Модель предназначена для оценки семантического сходства и поиска близких по смыслу текстов. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Лицензия Apache-2.0 разрешает использование на её условиях. Модель принимает текст и выдаёт векторные представления; сама по себе она не генерирует текст.

1050март 2025ctx512
textembeddingapache-2.0hugging-face
Bylaw
BAAI-bge-m3

BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

3870март 2024ctx8.2K
textembeddingmithugging-face
luanafelbarros
bert-base-multilingual-cased-matryoshka-mkqa

Это Sentence Transformer от luanafelbarros, дообученный на основе многоязычного энкодера google-bert/bert-base-multilingual-cased. Модель кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством. В архитектуре используются BERT и усреднение токенных представлений; README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Данные обучения содержат пары английских и неанглийских запросов, включая русский и другие языки; это указывает на многоязычное применение, в том числе межъязыковое сопоставление. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

1030дек. 2024ctx512
textembeddinghugging-face
BAAI
bge-m3

BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

31.7M3.9Kянв. 2024ctx8.2K
textembeddingmithugging-face
jpbalarini
bge-m3

Карточка модели jpbalarini/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

1060нояб. 2024ctx8.2K
textembeddingmithugging-face
unsloth
bge-m3

BGE-M3 — многоязычная модель представления текста семейства XLM-RoBERTa, разработанная BAAI. Она предназначена для поиска по текстам и поддерживает три режима представления: плотные эмбеддинги, разреженные лексические веса и многовекторные представления в стиле ColBERT. Модель можно применять для семантического и гибридного поиска, оценки сходства текстовых пар и извлечения документов в RAG-системах. Модель поддерживает более 100 языков и обрабатывает фрагменты от коротких предложений до документов длиной до 8192 токенов. Размерность плотных эмбеддингов — 1024; в репозитории доступны форматы PyTorch и ONNX. Для повышения точности поиска README рекомендует сочетать гибридное извлечение с отдельной моделью-реранкером. Репозиторий unsloth/bge-m3 содержит производную версию BAAI/bge-m3. Лицензия MIT допускает использование на её условиях. Это модель для поиска и векторизации текста, а не генеративная языковая модель; качество зависит от языка, данных и настройки поискового конвейера.

2.7K6янв. 2026ctx8.2K
textembeddingmithugging-face
seongil-dn
bge-m3-kor-retrieval-451949-bs4096-full-32

Это модель Sentence Transformer, дообученная на базе BAAI/bge-m3 и предназначенная для представления предложений и абзацев в виде плотных векторов размерности 1024. Её разработчик в предоставленной карточке не назван. Модель использует XLM-RoBERTa, объединяет представление токенов через CLS-пулинг и нормализует векторы; близость текстов можно оценивать косинусным сходством. Модель подходит для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 1024 токена, а метаданные — контекст до 8194 токенов; эти значения расходятся, поэтому фактическую допустимую длину следует сверить с используемой конфигурацией. Для базовой BGE-M3 заявлена многоязычная поддержка, но конкретный набор языков этой версии в предоставленных данных не перечислен. Условия лицензии в источниках не приведены.

1050дек. 2024ctx8.2K
textembeddinghugging-face
abacusai
bigstral-12b-32k

Bigstral-12b-32k — диалоговая языковая модель от ehartford, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2. Веса слоёв исходной модели расположены в чередующемся порядке, образуя плотную архитектуру MistralForCausalLM размером 12,3 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в формате диалога [INST]…[/INST], включая написание кода. Большое окно контекста позволяет работать с длинными запросами и документами. Репозиторий использует формат safetensors и библиотеку Transformers; для запуска автор также приводит команду Ollama. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках или подробную оценку качества, поэтому их нельзя определить по имеющимся данным.

9.0K44март 2024ctx32.8K
textapache-2.0hugging-face
Azure99
Blossom-V7.1-9B-GGUF

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

2320сент. 2026
textimageapache-2.0hugging-face
MaziyarPanahi
calme-2.4-rys-78b

MaziyarPanahi/calme-2.4-rys-78b — плотная авторегрессионная языковая модель семейства Qwen2, дообученная Maziyar Panahi на базе calme-2.1-rys-78b. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации контента, а также генерации и анализа кода и решения сложных задач. Модель насчитывает 76,7 млрд параметров, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но конкретных гарантий качества для отдельных сценариев нет. Модель может наследовать смещения и давать ненадёжные ответы; для применения нужны проверка результатов и человеческий контроль. Лицензия — MIT.

8248авг. 2024ctx32.8K
textmithugging-face
RedHatAI
DeepSeek-V4-Flash-0731

DeepSeek-V4-Flash-0731 — официальный выпуск модели DeepSeek-V4-Flash от DeepSeek, заменивший предварительную версию. Это плотная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров; репозиторий содержит веса Safetensors в формате FP8. Модель предназначена для генерации текста, диалогов и агентных сценариев, в том числе программирования и работы с терминалом. В README заявлено улучшение агентных возможностей и приведены результаты сравнительных тестов, однако приведённая таблица частичная. Контекст модели составляет до 1 048 576 токенов. Выпуск включает модуль спекулятивного декодирования DSpark; для общения предусмотрен специальный способ кодирования OpenAI-совместимых сообщений, но Jinja-шаблон чата не включён. README описывает уровни reasoning_effort low, high и max, а также запуск через vLLM, SGLang и локальную инфраструктуру. Лицензия — MIT. Языки, на которых модель обучена или проверена, в предоставленных данных не перечислены.

5852сент. 2026ctx1M
textmithugging-face
mlx-community
Devstral-Small-2-24B-Instruct-2512-OptiQ-4bit

Devstral-Small-2-24B-Instruct-2512-OptiQ-4bit — это локальная 4-битная MLX-квантизация модели Devstral-Small-2-24B-Instruct-2512 от Mistral, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель относится к семейству Mistral и предназначена для генерации текста, программирования, агентских сценариев и вызова инструментов. Модель имеет размер 24 млрд параметров и использует смешанную точность: 102 слоя работают в 4-битном формате, а 179 наиболее чувствительных слоёв — в 8-битном. Средняя эффективная разрядность составляет 5,01 бит на вес, размер группы — 64, объём на диске — около 15,4 ГБ. Квантизация оптимизирована для Apple Silicon и поддерживается библиотеками MLX и mlx-lm; для многошагового использования инструментов рекомендуется сервер mlx-optiq. Языки, точный размер контекстного окна и дополнительные модальности в README не указаны. Сильными сторонами являются качество работы с кодом, инструкциями, вызовами инструментов и длинноконтекстным многошаговым поиском. В сравнении с равномерной 4-битной квантизацией модель показала более высокий результат на 5 из 6 метрик, включая BFCL 89,5%, HumanEval 83,5% и HashHop 62,0%; итоговый Capability Score составил 78,60. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, увеличенным по сравнению с обычной 4-битной версией размером и возможными потерями качества из-за квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

1.4K3июль 2026
textapache-2.0hugging-face
bartowski
dolphin-2.9.1-llama-3-8b-GGUF

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

8823май 2024
textotherhugging-face
dphn
dolphin-2.9-llama3-70b

Dolphin 2.9 Llama 3 70B — разговорная модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и сообществом Cognitive Computations на базе Meta Llama 3 70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, представленная в форматах PyTorch и Safetensors. Она дообучена методом qLoRA с длиной последовательности 8 тыс. токенов и использует шаблон диалога ChatML. Модель предназначена для диалогов, выполнения инструкций, генерации кода и математических ответов; README также отмечает начальные агентные возможности и поддержку вызова функций. Основной язык в карточке — английский. В данных обучения указаны, среди прочего, наборы Dolphin 2.9, OpenHermes 2.5, UltraChat и датасеты для кода, математики и function calling. Модель описана как uncensored и может охотно выполнять небезопасные или неэтичные запросы; автор рекомендует добавить собственный слой выравнивания перед предоставлением сервиса. В датасете есть дефект, из-за которого ответы могут излишне упоминать системное сообщение; README предлагает ограничить это инструкцией в system prompt. Использование регулируется лицензией Meta Llama 3 Community License Agreement, включая её условия для коммерческого применения.

26282апр. 2024ctx8.2K
textllama3hugging-face
intfloat
e5-small-v2

E5-small-v2 — англоязычная модель текстовых эмбеддингов, представленная авторами Liang Wang, Nan Yang и соавторами. Она основана на архитектуре BERT и обучена с помощью слабоконтролируемого контрастивного предобучения. Модель содержит около 40 млн параметров, 12 слоёв и формирует векторы размерности 384; максимальная длина входа — 512 токенов. Модель предназначена для поиска текстов по смыслу, сопоставления предложений и оценки семантического сходства. Для асимметричного поиска следует добавлять к запросам префикс «query: », а к документам — «passage: »; для симметричного сходства, кластеризации и использования эмбеддингов как признаков рекомендуется префикс «query: ». Модель принимает английский текст и выдаёт векторные представления. Доступны веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Она работает только с английскими текстами, а входы длиннее 512 токенов обрезаются. Лицензия — MIT.

888K134май 2023ctx512
textembeddingmithugging-face
vectoriseai
e5-small-v2

Карточка модели vectoriseai/e5-small-v2 на Hugging Face совпадает с карточкой intfloat/e5-small-v2, поэтому описание составлено по ней. E5-small-v2 — англоязычная модель текстовых эмбеддингов, представленная авторами Liang Wang, Nan Yang и соавторами. Она основана на архитектуре BERT и обучена с помощью слабоконтролируемого контрастивного предобучения. Модель содержит около 40 млн параметров, 12 слоёв и формирует векторы размерности 384; максимальная длина входа — 512 токенов. Модель предназначена для поиска текстов по смыслу, сопоставления предложений и оценки семантического сходства. Для асимметричного поиска следует добавлять к запросам префикс «query: », а к документам — «passage: »; для симметричного сходства, кластеризации и использования эмбеддингов как признаков рекомендуется префикс «query: ». Модель принимает английский текст и выдаёт векторные представления. Доступны веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Она работает только с английскими текстами, а входы длиннее 512 токенов обрезаются. Лицензия — MIT.

1010окт. 2023ctx512
textembeddingmithugging-face
sentence-transformers
facebook-dpr-ctx_encoder-multiset-base

Это версия энкодера контекста Dense Passage Retrieval (DPR), перенесённая в формат Sentence Transformers. Модель на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 768; число параметров — 136,7 млн, максимальная длина контекста — 512 токенов. Модель предназначена для получения эмбеддингов текстовых фрагментов, которые можно применять для семантического поиска и кластеризации. Она принимает текст и выдаёт векторы; для работы через Transformers поверх контекстных представлений требуется применить соответствующую операцию pooling. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Перенос модели основан на DPR от Facebook. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специализированных предметных областях.

2.4K6март 2022ctx512
textembeddingapache-2.0hugging-face
codersan
FaLaBSE-v12-phase1-Quora

FaLaBSE-v12-phase1-Quora — модель Sentence Transformer, дообученная codersan на базе многоязычной sentence-transformers/LaBSE. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые сравнивают косинусным сходством. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Обучение проводилось на 109 673 парах anchor-positive с использованием MultipleNegativesRankingLoss. Базовая LaBSE поддерживает 109 языков; README приводит примеры обучающих пар на персидском языке, но не уточняет полный набор языков для этой версии. Метаданные указывают контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 256 токенов. Модель использует архитектуру BERT и распространяется в формате safetensors; для работы указана библиотека sentence-transformers. Условия лицензии в доступных данных не приведены.

1250февр. 2025ctx512
textembeddinghugging-face
zenml
finetuned-all-MiniLM-L6-v2

zenml/finetuned-all-MiniLM-L6-v2 — англоязычная модель Sentence Transformer, дообученная ZenML на базе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные семантические векторы размерностью 384 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Модель построена на BERT-энкодере с усреднением токенных представлений и нормализацией выходного вектора. В README указана максимальная длина последовательности 256 токенов; метаданные каталога задают контекст в 512 токенов. Репозиторий содержит веса Safetensors, модель использует библиотеку Sentence Transformers и имеет 25,9 млн параметров. В карточке приведены метрики поиска на наборах с размерностью вектора 384, 256, 128 и 64. Модель рассчитана на английские тексты. Для длинных входов учитывайте ограничение длины последовательности, а качество поиска проверяйте на собственных данных. Лицензия — Apache-2.0.

1191авг. 2024ctx512
textembeddingapache-2.0hugging-face
zai-org
GLM-4.6

GLM-4.6 — языковая модель компании Zhipu AI из семейства GLM-4 MoE, доступная в репозитории в формате safetensors для Transformers. Она предназначена для диалогов, программирования, рассуждений и агентных сценариев с вызовом инструментов и поиском. По сравнению с GLM-4.5 улучшены результаты в задачах кодирования и рассуждений, качество генерации интерфейсов и естественность стиля. Модель поддерживает контекст до 202 752 токенов и ориентирована прежде всего на английский и китайский языки. Модель подходит для генерации и объяснения кода, работы в агентных фреймворках, выполнения многошаговых задач с инструментами и поиска по запросу. В метаданных указано 23,4 млрд параметров и лицензия MIT. README приводит результаты сравнительных оценок, но не содержит подробностей о методике обучения или гарантий качества на конкретных прикладных задачах.

19K1.2Kсент. 2025ctx202.8Kprice$0.00 / $0.00/ 1M
textmithugging-face
unsloth
GLM-4.7-REAP-218B-A32B

Карточка модели unsloth/GLM-4.7-REAP-218B-A32B на Hugging Face совпадает с карточкой cerebras/GLM-4.7-REAP-218B-A32B, поэтому описание составлено по ней. GLM-4.7-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.7 от Cerebras. Она получена методом REAP, который удаляет из смеси экспертов менее значимые компоненты; после прунинга дообучение не проводилось. Модель содержит 218 млрд параметров, из которых 32 млрд активируются на токен, и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации кода и текста, агентных рабочих процессов, понимания репозиториев и вызова функций. В карточке заявлено, что она сохраняет близкое к исходной GLM-4.7 качество при уменьшении объёма памяти примерно на 40%; для версии BF16 приведены характеристики, но результаты оценки не указаны. Модель можно развернуть с актуальным vLLM. Лицензия — MIT. README рекомендует вариант BF16 для последующей низкобитной квантизации.

365янв. 2026ctx202.8K
textmithugging-face
Ishowbackup
GLM-5.2

Карточка модели Ishowbackup/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

530авг. 2026ctx1M
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей