/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
15 211–15 240 из 23 488
sahithkumar7
mpnet-base-smartbots-iter01

sahithkumar7/mpnet-base-smartbots-iter01 — дообученная модель Sentence Transformers на базе microsoft/mpnet-base, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости; сходство оценивается косинусной мерой. Модель построена на MPNet с усреднением токеновых представлений и содержит 136,7 млн параметров. Модель предназначена для семантического поиска, сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README описано дообучение на наборе из 100 примеров с anchor, positive и negative; в приведённой оценке точность по cosine similarity составляет 0,75 на antibiotics_test и 0,9333 на наборе iter1. Поддерживаются последовательности длиной до 512 токенов. Лицензия в предоставленных данных не указана.

1000июнь 2025ctx514
textembeddinghugging-face
tomaarsen
multivector-ModernBERT-base-msmarco-contrastive

Это англоязычный многовекторный текстовый энкодер на архитектуре ModernBERT, разработанный tomaarsen и дообученный на answerdotai/ModernBERT-base с использованием Sentence Transformers. Модель предназначена для семантического поиска и извлечения информации: она кодирует каждый текст в последовательность 128-мерных векторов токенов, а релевантность запроса и документа оценивает методом позднего взаимодействия MaxSim. Модель принимает текст, поддерживает последовательности длиной до 8192 токенов и обучалась на 50 000 примерах MS MARCO с запросами, релевантными и нерелевантными документами. В карточке приведены результаты оценки на наборах NanoMSMARCO и NanoBEIR. Лицензия — Apache-2.0.

200июль 2026ctx8.2K
textembeddingapache-2.0hugging-face
richardyoung
Muse-Glimmer-30B-heretic

Muse-Glimmer-30B-heretic — модифицированная версия мультимодальной модели Meta Muse-Glimmer-30B, подготовленная richardyoung с помощью воспроизводимого запуска Heretic. Это плотный трансформер с энкодером восприятия и примерно 29,6 млрд параметров: модель принимает текст и изображения и поддерживает диалог, управляемое рассуждение и вызов инструментов. Abliteration изменяет веса, ослабляя отказы модели без повторного обучения; в README указано, что выбран один из 200 вариантов с меньшим числом отказов при ограниченном отклонении от исходной модели. Модель предназначена для локальных агентов и сценариев, где нужно анализировать изображения вместе с текстом, планировать шаги, вызывать инструменты, писать и отлаживать код, создавать синтетические данные или оценивать ответы других моделей. Она может соглашаться на запросы, от которых исходная модель отказывается, поэтому ответы могут быть неточными, предвзятыми или нежелательными; многошаговое рассуждение ошибается, а качество на языках вне основного набора может снижаться. Видео не является целевой модальностью, аудио не поддерживается. Веса распространяются по Apache-2.0; README также указывает на политику использования исходной модели Meta, требования которой следует учитывать.

2080сент. 2026ctx131.1K
textimageapache-2.0hugging-face
mixedbread-ai
mxbai-edge-colbert-v0-17m

mxbai-edge-colbert-v0-17m — компактная модель поиска Mixedbread AI: 16,8 млн параметров, основана на Ettin-17M и архитектуре ModernBERT. Она строит многовекторные представления текста в стиле ColBERT с размерностью проекции 48 и предназначена для семантического поиска, извлечения документов и переранжирования результатов после первичного поиска. Модель совместима с PyLate и Sentence Transformers. В README заявлена обработка документов длиной до 32 000 токенов. Метаданные указывают нативный контекст в 7 999 токенов, поэтому предел 32 000 следует считать заявленной возможностью представления документов, а не подтверждённой длиной нативного контекста. Модель ориентирована на английский язык. Доступны форматы safetensors и ONNX; лицензия — Apache-2.0.

7.9K38окт. 2025ctx8K
textapache-2.0hugging-face
TokenRhythm
NeoHorse-1-4B-GGUF

NeoHorse-1-4B-GGUF — GGUF-версии примерно 4-миллиардной причинной языковой модели NeoHorse-1-4B, разработанной TokenRhythm на базе Qwen3.5-4B. Модель дообучалась для текстовых агентных сценариев, использования инструментов, программирования, рассуждений и следования инструкциям. Это текстовая модель без заявленной поддержки изображений или других мультимодальных данных. Репозиторий предназначен для локального запуска через llama.cpp, Ollama и LM Studio. Доступны веса в формате BF16, а также 8-, 5- и 4-битные квантизованные варианты, которые требуют меньше дискового пространства и оперативной памяти. Архитектура описана как агентно-ориентированная причинная языковая модель; размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся ориентация на агентное взаимодействие и tool use, задачи программирования и instruction following, а также заявленное улучшение среднего результата на десяти бенчмарках по сравнению с Qwen3.5-4B: 64,87 против 58,94. Ограничения включают отсутствие подробных сведений о языках, контексте и характеристиках отдельных квантизаций; заявленные результаты могут зависеть от условий оценки. Модель распространяется по лицензии Apache-2.0.

25K48сент. 2026
textapache-2.0hugging-face
prithivMLmods
NeoHorse-1-4B-Max-Heretic-Uncensored-TURBO

NeoHorse-1-4B-Max-Heretic-Uncensored-TURBO — разговорная текстовая модель от prithivMLmods на базе TokenRhythm/NeoHorse-1-4B, дообученной на Qwen3.5-4B. Вариант обработан инструментом Heretic для снижения числа отказов; модель рассчитана на диалоги, выполнение инструкций, использование инструментов, программирование и рассуждения. Модель имеет плотную архитектуру Qwen3.5 и около 3,4 млрд параметров, поддерживает контекст до 262 144 токенов и английский язык. В репозитории доступны веса Safetensors и сборки GGUF разных уровней квантования для запуска через Transformers или llama.cpp. Лицензия — Apache 2.0. Карточка помечает модель как экспериментальную: возможны артефакты, поэтому ответы следует проверять. Снижение числа отказов также означает, что модель может отвечать на запросы, которые обычно отклоняются.

5.1K2сент. 2026ctx262.1K
textapache-2.0hugging-face
TokenRhythm
NeoHorse-1-4B-MLX

TokenRhythm/NeoHorse-1-4B-MLX — версия модели NeoHorse-1-4B для локального запуска на компьютерах Apple Silicon. Это плотная языковая модель на архитектуре Qwen3.5 с 3,4 млрд параметров, представленная в формате BF16 и адаптированная для среды MLX-LM. Модель создана TokenRhythm; исходные веса преобразованы из BF16 с изменением имён и расположения тензоров и представления нормализации, без квантизации. Модель предназначена для диалога, следования инструкциям, программирования, рассуждений и агентных сценариев с вызовом инструментов. Для запуска требуется MLX-LM; карточка описывает OpenAI-совместимый API и обработку вызовов инструментов через шаблон чата. Указанное в README среднее по десяти бенчмаркам относится к исходной NeoHorse-1-4B, а не к отдельной оценке MLX-версии. Лицензия — Apache-2.0.

1882сент. 2026ctx262.1K
textapache-2.0hugging-face
nikcheerla
nooks-amd-detection-v2-full

nikcheerla/nooks-amd-detection-v2-full — модель на базе MPNet, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для поиска по смыслу, сравнения текстов и кластеризации. Модель насчитывает 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель можно применять для семантического поиска и сопоставления текстов, а также для группировки похожих предложений и абзацев. README указывает на обучение с CosineSimilarityLoss; метаданные отмечают возможности получения эмбеддингов. В репозитории представлены веса PyTorch. Лицензия в предоставленных данных не указана.

1180янв. 2023ctx514
textembeddinghugging-face
axiotic
ogma-small

Ogma Small — компактная англоязычная модель эмбеддингов текста от Axiotic. Это encoder-only модель семейства Ogma с 8,6 млн параметров и контекстом до 1024 токенов; она преобразует текст в векторы для семантического поиска, извлечения документов и RAG. Поддерживаются Matryoshka-размерности векторов 256, 128, 64 и 32, а маршрутизация включает режимы для симметричного сравнения и поиска. В README заявлены результат 56,32 на английском бенчмарке MTEB и более высокая скорость CPU-инференса по сравнению с MiniLM-L6-v2. Модель предназначена для локального и серверного поиска по документам, памяти агентных систем, кластеризации и классификации текста. Она не генерирует текст и рассчитана на английский язык; в задачах reranking уступает MiniLM-L6-v2, а её скорость ниже, чем у статических моделей эмбеддингов. Репозиторий содержит форматы ONNX и Safetensors. Лицензия — CC-BY-NC-4.0, коммерческое использование ограничено.

4714апр. 2026ctx1K
textcc-by-nc-4.0hugging-face
wabibito
Onyx-mE5-Small

Onyx-mE5-Small — дообученная и квантизированная до 4 бит модель для создания текстовых эмбеддингов на основе intfloat/multilingual-e5-small. Её подготовили для OnyxEmbed — локального эмбеддера для RAG на устройствах Onyx. Модель использует архитектуру BERT и содержит 124,3 млн параметров; веса размещены в формате safetensors. Контекст ограничен 512 токенами. Модель преобразует запросы и фрагменты документов в векторы для семантического поиска и сопоставления текстов, в том числе между языками. Для работы следует сохранять соглашения E5: применять mean pooling и добавлять к входам префиксы `query: ` или `passage: `. По README, 4-битная квантизация сокращает размер примерно с 449 до 71 МБ; автор сообщает о сохранении качества recall относительно fp32 на английском и в межъязыковых сценариях. Основа и эта версия распространяются по лицензии MIT.

300июль 2026ctx512
textembeddingmithugging-face
allenai
open-instruct-human-mix-30b

Open-Instruct Human-mix 30B — модель AllenAI на архитектуре LLaMA, дообученная на смеси созданных людьми наборов инструкций: FLAN V2, CoT, Dolly и OpenAssistant 1. Она предназначена для генерации текста в ответ на инструкции, включая общие вопросы, задачи на рассуждение и программирование. В README приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Модель содержит 32,3 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 2048 токенов. Репозиторий содержит diff весов: для использования нужна совместимая базовая LLaMA в формате Hugging Face. Модель принимает текст и генерирует текст; README описывает специальный формат входных инструкций, соблюдение которого влияет на качество генерации. Указана лицензия AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании. Модель обучена преимущественно на англоязычных инструкционных данных, поэтому её применение на других языках не подтверждено карточкой.

3211июнь 2023ctx2K
texthugging-face
allenai
open-instruct-sharegpt-30b

Open-Instruct ShareGPT 30B — дообученная AllenAI 30B-модель семейства LLaMA для генерации ответов на инструкции и диалоговые запросы. Она обучена на очищенном наборе ShareGPT, подготовленном по аналогии с Vicuna, и описана в рамках исследования «How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources». Архитектура — плотная авторегрессионная LLaMA с 32,3 млрд параметров; модель принимает текст и генерирует текст на английском языке. Максимальная длина контекста — 2048 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения задач и генерации кода. В README приведены результаты на академических бенчмарках, включая MMLU, GSM, BBH и Codex-Eval; качество зависит от формата запроса, поэтому рекомендуется использовать указанный авторами шаблон ввода с нужными переносами строк. Репозиторий содержит diff весов: для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Распространение регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

2880июнь 2023ctx2K
texthugging-face
bartowski
open-thoughts_OpenThinker-Agent-v1-GGUF

OpenThinker-Agent-v1-GGUF — набор GGUF-квантизаций модели OpenThinker-Agent-v1, разработанной командой open-thoughts и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель ориентирована на агентские сценарии, работу с терминалом, генерацию кода и задачи software engineering. Обучение связано с датасетами OpenThoughts-Agent-v1-SFT и OpenThoughts-Agent-v1-RL. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером 16,39 ГБ до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный размер и качество зависят от выбранного файла. Для взаимодействия используется chat-шаблон с маркерами system, user и assistant. Данные о точной архитектуре, числе параметров, поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и оптимизация вариантов imatrix для сохранения качества при уменьшении размера. Более компактные варианты подходят для систем с ограниченной памятью, но могут уступать старшим версиям по качеству. Модель распространяется по лицензии Apache-2.0.

1.2K1дек. 2025
textapache-2.0hugging-face
joneauxedgar
pasteproof-pii-detector-v2

PasteProof PII Detector — модель на базе ModernBERT, дообученная автором joneauxedgar для обнаружения и разметки персональных данных и секретов в тексте. Она выполняет NER с классификацией токенов и распознаёт 27 типов сущностей, включая платёжные данные, учётные данные и медицинские идентификаторы. Модель предназначена для предупреждений перед вставкой чувствительных данных в браузерные формы, чаты и публичные репозитории, а также для проверки кода, документов и потоков данных. В карточке заявлен F1 0,972 на отложенной выборке; обучение проводилось на 150 тысячах синтетических примеров. Метаданные указывают архитектуру ModernBERT, 149 млн параметров и контекст до 8192 токенов, тогда как README сообщает ограничение в 512 токенов — фактический рабочий предел следует проверять при использовании. Обучающие данные англоязычные; модель может пропускать обфусцированные значения, новые форматы ключей и чувствительные сущности, распознаваемые только по контексту, а также давать ложные срабатывания на случайных строках и тестовых данных. Это вспомогательный детектор, а не гарантия безопасности. Лицензия — Business Source License 1.0 (BSL-1.0).

4701дек. 2025ctx8.2K
textbsl-1.0hugging-face
AISE-TUDelft
pharo-collaborators-classifier

pharo-collaborators-classifier — модель семейства MPNet от AISE-TUDelft на базе Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости; подходит для семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучена с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

1030янв. 2023ctx514
textembeddinghugging-face
duyntnet
Phi-3-mini-128k-instruct-imatrix-GGUF

duyntnet/Phi-3-mini-128k-instruct-imatrix-GGUF — это набор пере-квантизированных GGUF-файлов модели Phi-3 Mini-128K-Instruct, разработанной Microsoft и повторно опубликованной пользователем duyntnet. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям, многошагового общения, решения задач и работы с длинным контекстом. Указана поддержка английского языка и текстовой модальности. Версия ориентирована на улучшенное понимание кода на Python, C++, Rust и TypeScript, более структурированные ответы, многоэтапное следование инструкциям, рассуждения и обработку длинного контекста. В README заявлена длина контекста 128K токенов; также указано, что модель поддерживает системный тег <|system|>. Формат GGUF позволяет запускать её через llama.cpp, JanAI, KoboldCPP, text-generation-webui и Ollama. Данные о точной архитектуре, количестве параметров и конкретных вариантах квантизации не приведены, поэтому характеристики производительности и требования к ресурсам определить нельзя. Модель подходит для локального запуска, чат-ассистентов, генерации и анализа текста, программирования и сценариев, требующих обработки больших документов или продолжительного диалога. Ограничения включают отсутствие заявленной поддержки других языков, а также возможные потери качества, связанные с квантизацией. Лицензия обозначена как other, но её условия в README не раскрыты; перед использованием необходимо ознакомиться с лицензией исходной модели и опубликованного набора файлов.

3.1K0май 2024
textotherhugging-face
yujie11112222
pipe-run2

Это многоязычная модель эмбеддингов Sentence Transformer, созданная дообучением CodeFuse AI модели codefuse-ai/F2LLM-v2-0.6B на наборе данных json. Она предназначена для семантического поиска и сравнения текстов: преобразует предложения и абзацы в плотные векторы размерностью 1024, которые можно сопоставлять по косинусному сходству. Также подходит для поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Модель использует архитектуру Qwen3 с извлечением признаков, pooling по последнему токену и нормализацией векторов. В README указана максимальная длина последовательности 512 токенов; метаданные сообщают о нативном контексте базовой архитектуры до 40960 токенов. Это текстовая модель с многоязычной поддержкой, распространяемая по лицензии Apache-2.0. В README приведены высокие метрики поиска на наборе eval_pipe, однако обучающий набор содержит всего 160 примеров, поэтому эти результаты не гарантируют качество на других данных. Для корректной работы с задачами поиска README приводит отдельный шаблон запроса с инструкцией; максимальная длина последовательности ограничивает размер обрабатываемого текста.

160авг. 2026ctx41K
textembeddingapache-2.0hugging-face
shubham-t
plagiarism-sbert

shubham-t/plagiarism-sbert — англоязычный Sentence Transformer, дообученный автором на базе sentence-transformers/all-MiniLM-L6-v2 для сравнения предложений и абзацев. Энкодер на архитектуре BERT превращает текст в плотные векторы размерности 384; сходство векторов оценивается косинусной мерой. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога указывают нативный контекст 512 токенов. Модель подходит для семантического поиска, поиска перефразировок и похожих фрагментов, кластеризации и извлечения признаков текста; её также можно применять как основу для классификации текстов. В обучающем наборе было 5 749 пар предложений с оценками сходства. Репозиторий использует Sentence Transformers и хранит веса в формате safetensors. Модель рассчитана прежде всего на английский язык, как и её базовая модель. При сравнении длинных текстов их нужно разбивать на фрагменты, укладывающиеся в предел длины последовательности. Лицензия в предоставленных данных не указана.

991февр. 2026ctx512
textembeddinghugging-face
seslami-pplx
pplx-embed-context-v1.3-4B

pplx-embed-context-v1.3-4B — контекстная модель эмбеддингов предложений от seslami-pplx, представленная как приватная предварительная версия и совместимая с загрузкой модели v1.2-4B. Она предназначена для поиска по тексту и контекстного сопоставления предложений: в карточке отмечены разрешение перефразирований, снижение влияния лексически похожих отвлекающих фрагментов и совместное извлечение терминов из глоссария. Модель имеет плотную двунаправленную архитектуру PPLX Qwen3, содержит 3,7 млрд параметров и принимает контекст длиной до 32 768 токенов. Репозиторий использует Transformers и формат Safetensors. Модель подходит для семантического поиска и извлечения релевантных текстовых фрагментов с учётом контекста. Карточка не сообщает языковой охват, поэтому конкретные языки не указаны. Лицензия — Apache-2.0; статус private preview означает, что доступ и условия предварительного использования могут быть ограничены.

1820июнь 2026ctx32.8K
textapache-2.0hugging-face
seslami-pplx
pplx-embed-context-v1.5-4B

pplx-embed-context-v1.5-4B — контекстная модель эмбеддингов предложений размером 3,7 млрд параметров от seslami-pplx. Она предназначена для поиска по тексту и контекстного представления предложений; в README указано, что это замена версии v1.4-4B с той же архитектурой и кодом загрузки. Модель нацелена на улучшение разрешения парафраз, снижение влияния лексических отвлекающих совпадений и совместное извлечение терминов из глоссария. Модель использует плотную двунаправленную архитектуру PPLX Qwen3, работает через Transformers и принимает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

131сент. 2026ctx32.8K
textapache-2.0hugging-face
JaehyeokLee
preliminary_clustering_gist_checkpoint_epoch_1_step_130

Карточка модели JaehyeokLee/preliminary_clustering_gist_checkpoint_epoch_1_step_130 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1030февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_140

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_140 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1050февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_180

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_180 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1130февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_230

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_230 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1070февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_270

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_270 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1050февр. 2025ctx8.2K
textembeddingmithugging-face
JaehyeokLee
preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_280

Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_280 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.

1220февр. 2025ctx8.2K
textembeddingmithugging-face
bunnycore
Qwen2.5-7B-R1-Bespoke-Stock

bunnycore/Qwen2.5-7B-R1-Bespoke-Stock — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Qwen2.5-7B-Instruct-abliterated-v3; в объединение также вошли bunnycore/Qwen2.5-7B-R1-Bespoke-Task, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и bespokelabs/Bespoke-Stratos-7B. Модель построена на архитектуре Qwen2 с плотной causal language model, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она может применяться для ответов на запросы и многошаговых рассуждений; базовая DeepSeek-R1-Distill-Qwen-7B ориентирована, в частности, на математику и программирование, но README не приводит отдельных оценок возможностей именно этого объединения. Репозиторий содержит веса в формате safetensors и рассчитан на библиотеку Transformers. Язык лицензии в предоставленных данных не указан.

360янв. 2025ctx32.8K
texthugging-face
ggml-org
Qwen2.5-Coder-14B-Instruct-Q8_0-GGUF

ggml-org/Qwen2.5-Coder-14B-Instruct-Q8_0-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF командой ggml-org с использованием llama.cpp и проекта GGUF-my-repo. Базовая модель разработана командой Qwen; в предоставленных данных точное название разработчика базовой модели не уточняется. Модель предназначена для генерации текста и работы с исходным кодом, включая сценарии программирования и диалогового взаимодействия. Она ориентирована на запуск через llama.cpp в локальной среде, как в режиме командной строки, так и в виде сервера. Указана поддержка английского языка. Модель является текстовой, имеет 14 миллиардов параметров и использует квантование Q8_0. Архитектура, максимальная длина контекста и полный перечень поддерживаемых языков в README не указаны; пример запуска использует контекст 2048 токенов, но это не подтверждает максимальный размер контекста. К сильным сторонам относятся специализация на задачах программирования, совместимость с экосистемой llama.cpp и возможность локального развертывания в GGUF-формате. Ограничения связаны с необходимостью подходящего оборудования и программной среды для запуска, а также с отсутствием в предоставленных данных подробностей о качестве на бенчмарках, производительности и фактическом языковом охвате. Модель распространяется по лицензии Apache-2.0.

4942март 2025
textapache-2.0hugging-face
mlx-community
Qwen2.5-Coder-32B-Instruct-8bit

Qwen2.5-Coder-32B-Instruct-8bit — это 8-битная версия модели Qwen2.5-Coder-32B-Instruct, конвертированная в формат MLX сообществом mlx-community с использованием mlx-lm 0.19.3. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель ориентирована на задачи кодирования и чат-сценарии, включая генерацию ответов на запросы пользователя с применением chat template. В README указано, что она поддерживает английский язык и относится к классу text-generation. Размер исходной модели составляет 32B параметров, а представление использует 8-битную квантизацию. Архитектура и размер контекстного окна в предоставленных данных не указаны. Ключевое преимущество этой версии — формат MLX, предназначенный для использования через mlx-lm; README содержит пример загрузки и генерации. Ограничения, точные показатели качества, перечень поддерживаемых языков помимо английского и требования к аппаратному обеспечению не приведены. Модель распространяется по лицензии Apache-2.0.

1.9K14нояб. 2024ctx32.8K
textapache-2.0hugging-face
ggml-org
Qwen2.5-Coder-7B-Q8_0-GGUF

Qwen2.5-Coder-7B-Q8_0-GGUF — это преобразованная в формат GGUF версия языковой модели Qwen/Qwen2.5-Coder-7B. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и, прежде всего, работы с исходным кодом и другими задачами программирования. Модель содержит 7 млрд параметров и доступна в варианте квантования Q8_0, что позволяет использовать её через llama.cpp. В карточке указана поддержка английского языка; модальность — текстовая. Модель можно запускать локально через llama-cli или предоставлять к ней доступ по API через llama-server. В примере запуска серверу задаётся контекст размером 2048 токенов, однако это значение является параметром запуска и не обязательно отражает максимальный контекст модели. К сильным сторонам относятся специализация на коде, совместимость с llama.cpp и возможность локального запуска в GGUF-формате. Ограничения и результаты сравнительных оценок в README не указаны, поэтому нельзя сделать выводы о качестве на конкретных языках программирования, производительности или требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

2.4K14окт. 2024
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей