/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
12 451–12 480 из 23 488
gety-ai
gety-embed-v0

gety-embed-v0 — модель для создания текстовых эмбеддингов, разработанная gety-ai. Она дообучена на базе intfloat/multilingual-e5-small с использованием открытых и проприетарных синтетических данных и оптимизирована для сценариев локального поиска и оценки сходства предложений. Модель основана на архитектуре BERT и поддерживает мультиязычные тексты. Она принимает input_ids и attention_mask, выполняет masked mean pooling и L2-нормализацию, формируя нормализованный эмбеддинг размерности 384. Доступны варианты ONNX с динамической UINT8-квантизацией размером 112 МБ и FP16 для CUDA размером 224 МБ, Core ML FP16 для macOS 13+ с ускорением ANE, а также OpenVINO-вариант для Intel NPU с INT8-квантованием весов и FP16-активациями размером 114 МБ. Версия Core ML поддерживает динамическую длину последовательности от 1 до 512 токенов. Сильные стороны модели — компактный размер, нормализованный 384-мерный выход и наличие форматов для CPU, CUDA, macOS и Intel NPU, что удобно для локального и периферийного инференса. Ограничения включают отсутствие в README подробных результатов оценки качества, перечня поддерживаемых языков и рекомендаций по максимальной длине ввода для всех вариантов. Модель распространяется по лицензии MIT.

1.9K3февр. 2026ctx512
textembeddingmithugging-face
noctrex
GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill

Это квантованные сборки модели GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill, опубликованные пользователем noctrex в формате GGUF. Основа — дообученная для рассуждений модель GLM-4.7-Flash; каталог описывает её как ориентированную на программирование, научные вопросы и сложные задачи с длинным контекстом. Репозиторий содержит обычную MXFP4_MOE-квантизацию и экспериментальный вариант, который распределяет точность по важности тензоров: BF16 для наиболее важных, Q8_0 для умеренно важных и MXFP4 для остальных. Подбор точности основан на imatrix, созданной на данных code_tiny. Модель предназначена для генерации текста и диалогового использования, с упором на задачи программирования. Автор README сообщает, что экспериментальный вариант ещё не проверялся бенчмарками, поэтому его преимущество над основной MXFP4_MOE-сборкой не подтверждено. Лицензия в предоставленных данных не приведена.

20019февр. 2026
texthugging-face
Vaibhavhome30
GLM-5.3-Flash-BF16

Карточка модели Vaibhavhome30/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой unsloth/GLM-5.3-Flash, поэтому описание составлено по ней. GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

520авг. 2026ctx1M
textmithugging-face
zai-org
GLM-Z1-Rumination-32B-0414

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.

681119апр. 2025ctx131.1K
textmithugging-face
onnx-community
granite-embedding-small-english-r2-ONNX

Granite-embedding-small-english-r2 — англоязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Модель предназначена для сравнения текстов, семантического поиска и информационного поиска, включая поиск по документам, кодовой базе, таблицам и многошаговым диалогам. Она преобразует запросы, фрагменты и документы в векторы фиксированной длины, пригодные для сопоставления, например с помощью косинусного сходства. Модель содержит 47 млн параметров и использует архитектуру bi-encoder на базе ModernBERT. Размер выходного embedding составляет 384, поддерживается контекст длиной до 8192 токенов. При обучении применялись retrieval-oriented pretraining, contrastive finetuning, knowledge distillation и объединение моделей; использовались датасеты пар релевантности с разрешительными лицензиями, а также наборы данных, собранные и сгенерированные IBM. Модель ориентирована только на английский язык и доступна для использования через Transformers.js, включая ONNX-вариант. К сильным сторонам относятся компактный размер, поддержка длинного контекста, высокая скорость кодирования и конкурентоспособное качество на бенчмарках поиска, длинных документов, кода, таблиц и многоходовых диалогов. Ограничения — английская языковая специализация, фиксированный размер представлений и назначение преимущественно для задач embeddings, similarity и retrieval, а не для генерации текста. Модель распространяется по лицензии Apache 2.0.

16K2сент. 2025ctx8.2K
textapache-2.0hugging-face
TiGa-RCE
gte-Qwen2-1.5B-instruct-MLX-BF16

TiGa-RCE/gte-Qwen2-1.5B-instruct-MLX-BF16 — модель эмбеддингов на базе Alibaba-NLP/gte-Qwen2-1.5B-instruct, преобразованная в формат MLX с точностью BF16. Она предназначена для получения векторных представлений текстов и семантического поиска на устройствах Apple Silicon с MLX или oMLX. Модель содержит 1,5 млрд параметров, построена на архитектуре Qwen2 и поддерживает контекст до 131072 токенов. Лицензия — Apache-2.0. В локальном тесте извлечения информации модель получила 24 успешных ответа из 24 пар запросов и документов, с MRR 1,0. Это ограниченная инженерная проверка на фиксированном наборе, а не оценка общего качества. Контрольный чекпойнт предназначен для MLX/oMLX на Apple Silicon; результаты для CUDA и PyTorch к нему не относятся.

220июль 2026ctx131.1K
textapache-2.0hugging-face
RabidUmarell
hubert-embedding-paraphrase-multilingual

RabidUmarell/hubert-embedding-paraphrase-multilingual — модель на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений; использовать её можно через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов. Модель выдаёт текстовые эмбеддинги, пригодные для семантического поиска и группировки похожих высказываний. В карточке она названа многоязычной, однако конкретные языки и результаты оценки не приведены. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

1310февр. 2025ctx512
textembeddinghugging-face
cassador
indobert-embeddings

cassador/indobert-embeddings — модель эмбеддингов предложений на базе IndoBERT, опубликованная cassador и дообученная на наборе IndoNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и оценки сходства текстов на индонезийском языке. Модель использует архитектуру BERT и поддерживает контекст до 512 токенов. Для получения эмбеддингов README рекомендует библиотеку Sentence-Transformers; при использовании Transformers необходимо применить подходящую операцию pooling к контекстным представлениям токенов. В метаданных указан формат PyTorch и около 151,6 млн параметров. Лицензия в предоставленных данных не указана.

1041апр. 2024ctx512
textembeddinghugging-face
naufalihsan
indonesian-sbert-large

naufalihsan/indonesian-sbert-large — модель на базе BERT, представленная как sentence-transformers-модель. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения текстов и кластеризации. Обучение с CosineSimilarityLoss ориентировано на сходство предложений; модель также подходит для построения текстовых эмбеддингов. Модель содержит около 433,9 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. В карточке указано назначение для индонезийского языка. Доступны веса в формате PyTorch; для использования описаны библиотеки Sentence-Transformers и Transformers. Лицензия в предоставленных данных не указана.

10K8окт. 2023ctx512
textembeddinghugging-face
yahyaabd
indosbert-bps-custom-tokenizer

yahyaabd/indosbert-bps-custom-tokenizer — модель Sentence Transformer на архитектуре BERT, представленная в формате safetensors. Она преобразует предложения и абзацы в плотные векторы размерности 1024; среднее объединение токенов используется для получения представления текста, а сходство между векторами можно оценивать косинусной мерой. Модель рассчитана на последовательности до 512 токенов. Её можно применять для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Метаданные указывают 434 млн параметров и библиотеку Sentence Transformers. В README обучение модели описано в общих чертах, без сведений о разработчике или обучающих данных. Лицензия в предоставленных сведениях не указана.

1410май 2025ctx512
textembeddinghugging-face
IQuestLab
IQuest-Coder-V1-40B-Base

IQuest-Coder-V1-40B-Base — базовая модель семейства кодовых больших языковых моделей IQuestLab для анализа и генерации кода. Она предназначена для задач программной инженерии, включая работу с кодовыми базами, понимание изменений в репозиториях и решение сложных задач разработки. Модель содержит 39,4 млрд параметров, использует плотную архитектуру IQuestCoderForCausalLM с Grouped Query Attention и поддерживает контекст до 131 072 токенов. Для работы с моделью указана библиотека Transformers и формат весов safetensors; README рекомендует Transformers версии 4.52.4 или новее и отмечает использование пользовательского кода моделирования через auto_map. Модель обучалась по многоэтапному подходу code-flow, учитывающему эволюцию репозиториев, переходы между коммитами и преобразования кода. Семейство ориентировано на автономную программную инженерию, программирование и работу с инструментами; эта карточка относится к варианту Base, а не к специализированным Thinking или Instruct вариантам. Основной язык в метаданных — английский. Лицензия указана как other, без уточнения условий в доступных данных. Модель не исполняет сгенерированный код; ответы могут содержать правдоподобные ошибки, а качество может снижаться на узкоспециализированных или закрытых фреймворках.

20647дек. 2025ctx131.1K
textotherhugging-face
dhanesh-hf
Jarvis-Titan-V15-MoE-120M-SFT

J.A.R.V.I.S. Titan V15 MoE — инструкция-настроенная модель для генерации текста, разработанная Dhanesh в рамках программы автономных рассуждений J.A.R.V.I.S. Titan. README указывает базовую модель dhanesh-hf/Jarvis-Titan-M4-Merged и обучение на 121,5 млн токенов с примерами математики, программирования, пошаговых рассуждений и выполнения действий агентами. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов, поддержку диалогов и кода; карточка описывает MoE-архитектуру в стиле DeepSeekMoE с восемью маршрутизируемыми экспертами и общим экспертом, хотя заявленное число параметров в README отличается от метаданных. Модель предназначена для математических рассуждений, синтеза и исправления кода, диалогов и агентных сценариев. В README описаны 28 слоёв, выбор двух маршрутизируемых экспертов и общего эксперта на токен, а также механизм памяти M4 Tri-Brid. Указанный в README режим окна SWA составляет 2048 токенов; метаданные заявляют нативный контекст в 32 768 токенов. Основной язык карточки — английский. Лицензия обозначена как other, поэтому конкретные условия следует сверить с лицензией репозитория.

1250сент. 2026ctx32.8K
textotherhugging-face
kiwi-farm
kiwi-coco-lm-base

Kiwi COCO-LM base — модель-энкодер на архитектуре ModernBERT, разработанная автором репозитория на основе answerdotai/ModernBERT-base. Она продолжает предобучение исходных весов на корейских и английских корпусах с методом COCO-LM: обучение распознаванию заменённых токенов сочетается с восстановлением исходных токенов и контрастивным обучением последовательностей. Модель содержит около 159,4 млн параметров, использует словарь Byte-level BPE размером 64 000 токенов и принимает последовательности длиной до 8192 токенов. Энкодер предназначен для извлечения признаков и получения представлений текста, а также для дообучения под классификацию, распознавание именованных сущностей, ответы на вопросы и поиск. В бенчмарках авторы сообщают о результатах, сопоставимых с моделями близкого размера на корейских KLUE и английских GLUE задачах. Хотя в метаданных указан тег feature-extraction, автор предупреждает, что модель не подходит для обычного заполнения пропусков через [MASK] и не предназначена для генерации текста; для таких сценариев требуется другая модель или дообучение под задачу. Для загрузки рекомендуется Transformers версии 5 или новее. Лицензия — Apache-2.0.

2215сент. 2026ctx8.2K
textapache-2.0hugging-face
Ishowbackup
Laguna-S-2.1

Карточка модели Ishowbackup/Laguna-S-2.1 на Hugging Face совпадает с карточкой poolside/Laguna-S-2.1, поэтому описание составлено по ней. Laguna S 2.1 — языковая модель Poolside для программной инженерии и агентного выполнения длительных задач. Это текстовая модель семейства Laguna с архитектурой Mixture-of-Experts: 118 млрд параметров всего, около 8 млрд активируются на токен. В ней 48 слоёв, 256 маршрутизируемых экспертов и один общий; используются grouped-query attention и сочетание глобального внимания со скользящим окном. Контекст составляет 1 048 576 токенов. Модель предназначена для генерации и анализа кода, работы с инструментами и решения многошаговых задач разработки. Она поддерживает диалог и вызов инструментов, а также встроенный режим рассуждений, управляемый параметром enable_thinking. Для ускорения вывода доступна спекулятивная декодировка с отдельной черновой моделью DFlash. Модель принимает и выдаёт текст. В README приведены результаты на бенчмарках программирования и агентных задач, однако они не гарантируют качество в конкретном проекте. Полная BF16-версия требует нескольких GPU; квантизированные варианты снижают требования к памяти. Модель распространяется по лицензии OpenMDW-1.1, разрешающей коммерческое и некоммерческое использование и модификацию; также следует соблюдать Acceptable Use Policy Poolside.

200авг. 2026ctx1M
textopenmdw-1.1hugging-face
ronaldmannak
LFM2.5-Embedding-350M-bf16

Карточка модели ronaldmannak/LFM2.5-Embedding-350M-bf16 на Hugging Face совпадает с карточкой mlx-community/LFM2.5-Embedding-350M-bf16, поэтому описание составлено по ней. LFM2.5-Embedding-350M-bf16 — мультиязычная модель-энкодер Liquid AI, преобразующая запросы и документы в векторы для семантического поиска и сравнения сходства. Репозиторий mlx-community содержит сборку для локального запуска на устройствах Apple Silicon с библиотекой MLX; архитектура — двунаправленный плотный энкодер LFM2.5 с 1024-мерным CLS-представлением. Число параметров — 444,6 млн, исходная точность bf16 сохранена, контекст — до 128 000 токенов. Модель подходит для поиска документов по смыслу, многоязычного и кросс-языкового поиска, а также ранжирования по косинусному сходству векторных представлений. В README приведены оценки retrieval на небольших наборах NanoBEIR и сокращённых пулах MIRACL для нескольких языков; авторы предупреждают, что абсолютные результаты MIRACL нельзя напрямую сравнивать с лидербордом. Это конверсия исходной модели LiquidAI/LFM2.5-Embedding-350M: веса и поведение сохранены, изменён формат для MLX. Лицензия указана как other; конкретные условия следует сверить с карточкой исходной модели.

180июнь 2026ctx128K
textotherhugging-face
inclusionAI
Ling-lite

Ling-lite — разговорная языковая модель на архитектуре Mixture of Experts (MoE), разработанная и опубликованная InclusionAI. Карточка описывает версию Ling-lite-0415; модель содержит 16,8 млрд параметров, из которых активируется 2,75 млрд. Метаданные репозитория указывают 1,5 млрд параметров и контекст 32 768 токенов, тогда как README сообщает для Ling-lite контекст 128K; эти характеристики источников расходятся. Модель предназначена для диалогов и широкого круга языковых задач, включая генерацию текста, программирование и математику. В README приведены результаты сравнительных тестов, в том числе HumanEval и GPQA; это свидетельствует о заявленных возможностях в коде и решении сложных задач, но не гарантирует качество в конкретном применении. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

1.7K81февр. 2025ctx32.8K
textmithugging-face
OpenAssistant
llama2-70b-oasst-sft-v10

OpenAssistant Llama2 70B SFT v10 — языковая модель OpenAssistant, дообученная на базе Meta Llama 2 70B. Это плотный авторегрессионный трансформер с декодером, примерно 68,7 млрд параметров; обучение проходило в два этапа: на смеси синтетических инструкций и задач по программированию, затем на отобранных человеческих диалогах OpenAssistant. Модель принимает диалог в формате ChatML и предназначена для генерации ответов, следования инструкциям и помощи с кодом. Контекст составляет 4096 токенов. Основной язык — английский; заявлены ограниченные возможности на немецком, испанском, французском, итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Сильные стороны — крупный размер и обучение на инструкциях, диалогах и коде. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось преимущественно на английском, поэтому перед применением нужна проверка безопасности и качества. Модель распространяется по лицензии Llama 2 Community License Agreement.

9271авг. 2023ctx4.1K
textllama2hugging-face
McGill-NLP
LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised

LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised — модель для преобразования текстов в векторные представления, разработанная сообществом McGill-NLP на базе Meta-Llama-3-8B-Instruct. В карточке указано, что модель распространяется с использованием PEFT и ориентирована на английский язык. Модель предназначена для семантического сравнения предложений, поиска и извлечения информации, reranking, классификации текстов, кластеризации и построения систем text embeddings. Она может применяться в задачах semantic search, информационного поиска, дедупликации вопросов, оценки семантической близости и других сценариях, где требуется сопоставлять тексты по смыслу. Идентификатор указывает на основу Meta Llama 3 с размером 8B параметров и instruct-настройкой, однако точные сведения о размерности эмбеддингов, максимальном контексте, процедуре обучения и поддерживаемых модальностях в README не приведены. В карточке представлены результаты на наборах MTEB для классификации, retrieval, clustering, reranking и STS, что подтверждает широкий спектр целевых задач. Ограничением является заявленная ориентация на английский язык и отсутствие подробных данных о производительности вне перечисленных тестов, ресурсоёмкости и рекомендуемых параметрах инференса. Лицензия модели — MIT.

120K54апр. 2024
textmithugging-face
dusersad12
LumenX1-Sept26-Release

LumenX1-Sept26-Release — текстовая авторегрессионная модель семейства Lumen Dense, опубликованная dusersad12 на Hugging Face. Она предназначена для диалогов и генерации ответов, особенно для сложных задач на рассуждение, математику, программирование и общую логику. В карточке заявлены улучшенные рассуждения, снижение числа галлюцинаций и поддержка вызова функций; для ответа на вопрос AIME 2026 указано в среднем 31 тыс. токенов рассуждения. Модель использует архитектуру LumenDenseForCausalLM и распространяется в формате PyTorch для Transformers. Репозиторий выпущен под лицензией MIT. Карточка не сообщает размер модели, длину контекста и поддерживаемые естественные языки. Заявления о качестве приведены в README, но детали бенчмарков описаны частично.

1400сент. 2026
textmithugging-face
tepirale
merge-cord-v1

tepirale/merge-cord-v1 — объединённая языковая модель, созданная с помощью mergekit на основе Qwen/Qwen2.5-1.5B. В слияние вошли Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct; в метаданных также указана связь с Qwen/Qwen2.5-1.5B. Архитектура — плотная причинная языковая модель Qwen2 с 1,5 млрд параметров, распространяемая в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая задачи с кодом; метаданные отмечают интерфейс вызова инструментов. Поддерживаемый язык по карточке не определён. Для использования указана библиотека Transformers, лицензия в предоставленных данных не приведена. README сообщает о применении метода Consensus-Orthogonal Residual Decomposition и отмечает, что функция cord отсутствует в MergeKit, поэтому воспроизводимость указанной конфигурации может быть ограничена.

281авг. 2026ctx131.1K
texthugging-face
Merlin-Research
Merlin-Agent

Merlin-Agent — модель-агент для программирования от Merlin Research, созданная на базе deepreinforce-ai/Ornith-1.0-9B. Это плотная причинная языковая модель семейства Qwen 3.5 с 7,2 млрд параметров и контекстом до 262 144 токенов. Модель дообучена с добавлением замороженного компонента весов, построенного на измерениях OTOC, полученных на квантовом процессоре IBM Heron; опубликованные веса являются обычными классическими весами и работают без квантового оборудования. Модель предназначена для помощи в написании и изменении кода, а также для решения задач разработки ПО, включая SWE-bench. В README заявлены результаты 69,4% на SWE-bench Verified и 41,4 на Terminal-Bench 2.1; авторы указывают, что возможности сопоставимы с базовой моделью. Поддерживаются чат и генерация кода; карточка перечисляет английский, испанский, немецкий, финский, шведский, французский, датский и турецкий языки. Модель распространяется под лицензией Apache-2.0.

11211июль 2026ctx262.1K
textapache-2.0hugging-face
llmsforall
Millie-35B-A3B-7GB

Millie 35B-A3B 7GB — модель смешанных экспертов для программирования и агентных сценариев, опубликованная llmsforall. Она создана на основе Agents-A1 и архитектуры Qwen3.5-35B-A3B: всего 35 млрд параметров, из которых активно около 3 млрд на токен. Весовые коэффициенты экспертов сжаты примерно до 1,2 бита на параметр; модель поставляется в формате GGUF, а отдельный файл проектора изображений обеспечивает приём изображений. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для генерации кода, диалогов и выполнения агентных задач на обычном оборудовании. Для запуска нужны оба файла GGUF и специальная версия llama.cpp от llmsforall с поддержкой формата весов; upstream llama.cpp их загрузить не может. В метаданных указана лицензия Apache-2.0. README также сообщает о варианте размером 11 ГБ.

890авг. 2026
textapache-2.0hugging-face
tanbinh2210
mlm_finetuned_3_phobert

Модель tanbinh2210/mlm_finetuned_3_phobert — дообученный разработчиком Sentence Transformer на базе tanbinh2210/mlm_finetuned_2_phobert. Она использует RoBERTa и среднее объединение токенных представлений, чтобы кодировать предложения и абзацы в плотные векторы размерности 768. Модель предназначена для поиска семантически близких текстов и сравнения предложений по косинусному сходству; также её можно применять для поиска парафразов, кластеризации и классификации текста на основе эмбеддингов. Обучение описано на наборе json из 357 018 примеров с запросами, положительными и отрицательными текстами. Максимальная длина последовательности — 258 токенов по метаданным. Модель принимает текст и выдаёт векторы, её можно использовать через библиотеку Sentence Transformers. Язык в доступных данных явно не указан, хотя название базовой модели содержит PhoBERT. Лицензия в предоставленных данных не указана. Модель представляет собой дообученную версию указанной базовой модели; качество и применимость зависят от соответствия входных текстов обучающим данным.

730нояб. 2024ctx258
textembeddinghugging-face
sangmini
msmarco-cotmae-MiniLM-L12_en-ko-ja

sangmini/msmarco-cotmae-MiniLM-L12_en-ko-ja — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторные представления размерности 1536. Её можно применять для семантического поиска и кластеризации текстов. Модель построена на архитектуре BERT и содержит 124,3 млн параметров; максимальная длина контекста составляет 512 токенов. В карточке указано обучение с функцией потерь MSELoss. Репозиторий содержит веса в формате PyTorch. Лицензия в доступных данных не указана. Оценка на конкретных наборах или ограничения качества в карточке не описаны.

1465март 2023ctx512
textembeddinghugging-face
dinab
multilingual-e5-base-Q4_K_M-GGUF

dinab/multilingual-e5-base-Q4_K_M-GGUF — квантизированная версия мультиязычной модели эмбеддингов multilingual-e5-base, разработанной intfloat и представленной в формате GGUF. Модель предназначена для преобразования текстов в векторные представления и подходит для семантического поиска, сопоставления предложений, кластеризации, классификации и задач retrieval, включая использование через llama.cpp. Модель поддерживает множество языков, в том числе русский, английский, немецкий, французский, испанский, китайский, японский и другие. В названии указана квантизация Q4_K_M, которая уменьшает требования к памяти и делает модель удобнее для локального запуска, но может снижать точность по сравнению с полноразмерной версией. Размер параметров, архитектура, максимальная длина контекста и точные требования к оборудованию в README не указаны. Приведены результаты оценки на ряде наборов MTEB для классификации и поиска, однако они относятся к базовой модели multilingual-e5-base. Модель распространяется под лицензией MIT. README не содержит подробного описания ограничений, поэтому качество следует дополнительно проверять на целевых языках, доменах и сценариях применения.

1.0K0янв. 2025
textembeddingmithugging-face
nvidia
Nemotron-Flash-1B

Nemotron-Flash-1B — базовая языковая модель компании NVIDIA из семейства компактных гибридных моделей Nemotron-Flash. Она использует плотную архитектуру NemotronFlashForCausalLM с гибридными операторами, подобранными эволюционным поиском, и нормализацией весов на этапе обучения; размер модели — 520,1 млн параметров, длина контекста — до 36 000 токенов. Модель предназначена для генерации текста и применения в сценариях, где важны задержка и пропускная способность, включая математические задачи, программирование и рассуждения на общеизвестные темы. В README NVIDIA сообщает о сравнительных результатах на задачах математики, кода и здравого смысла, а также об ускорении инференса относительно некоторых небольших моделей. Для запуска приведены примеры с Transformers и CUDA Graph; в README также упоминается интеграция с TRT-LLM AutoDeploy. Это базовая модель, а не вариант Instruct, поэтому её поведение в диалоге может требовать дополнительной настройки. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензией и документами репозитория.

1.5K35нояб. 2025ctx36K
textotherhugging-face
Mungert
NextCoder-7B-GGUF

Mungert/NextCoder-7B-GGUF — GGUF-квантизированная версия модели NextCoder-7B, разработанной Microsoft на базе Qwen2.5-Coder-7B-Instruct. Модель предназначена прежде всего для генерации и редактирования программного кода, исправления ошибок, работы с разнообразными правками кода и диалоговых сценариев для разработчиков. Постобучение выполнено с использованием методики Selective Knowledge Transfer (SeleKT), ориентированной на улучшение code editing без потери общей применимости. Это авторегрессионная causal language model с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и attention QKV bias. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding, имеет 28 слоёв, 28 Q-heads и 4 KV-heads с GQA. Заявлена поддержка контекста до 32K токенов. В карточке указано English как язык модели; поддерживается текстовая модальность. GGUF-файлы созданы с помощью llama.cpp, при этом автор применяет выборочное повышение точности отдельных слоёв сверх стандартной конфигурации IMatrix, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файлов. Сильными сторонами являются специализация на редактировании кода, длинный контекст и улучшенные результаты NextCoder-7B по сравнению с базовой Qwen2.5-Coder-7B на приведённых тестах HumanEvalFix, CanItEdit и Aider. Ограничения включают зависимость качества и требований к ресурсам от конкретного GGUF-варианта квантизации, а также отсутствие подробных характеристик отдельных файлов в представленном README. Лицензия — MIT.

8727июль 2025
textmithugging-face
second-state
Nomic-embed-text-v1.5-Embedding-GGUF

Nomic-embed-text-v1.5-Embedding-GGUF — модель для создания текстовых эмбеддингов и оценки семантического сходства, основанная на nomic-ai/nomic-embed-text-v1.5. Квантизацию в формате GGUF выполнила Second State Inc.; исходную модель разработала nomic-ai. Модель предназначена для семантического поиска, сопоставления текстов и других задач, где требуется преобразование текста в векторное представление. Указан английский язык. Модель поддерживает запуск через LlamaEdge и имеет контекстное окно размером 768 токенов. Доступны варианты GGUF с квантизацией от 2 до 8 бит и вариант f16, размером примерно от 60,9 до 274 МБ. Вариант Q4_K_M обозначен как рекомендуемый для сбалансированного качества и размера, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильная квантизация уменьшает размер, но может заметно ухудшать качество эмбеддингов. Модель компактна и подходит для локального развёртывания, однако README не содержит подробностей об архитектуре, размерности эмбеддингов, точных показателях качества и аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

3.4K7апр. 2024
textembeddingapache-2.0hugging-face
nomic-ai
nomic-embed-text-v1-GGUF

nomic-embed-text-v1-GGUF — это набор файлов модели для построения векторных представлений текста в формате GGUF, совместимом с llama.cpp. Модель разработана Nomic и основана на nomic-embed-text-v1 с архитектурой BERT. Она предназначена для извлечения признаков, сравнения семантической близости предложений, поиска и построения RAG-приложений. Поддерживается английский язык, а перед каждым текстом требуется указывать соответствующий префикс задачи, например search_query:. Модель рассчитана на работу с текстом и поставляется в вариантах квантования Q2_K–Q8_0, F16 и F32, размер которых составляет примерно от 48 до 262 МиБ. llama.cpp использует контекст длиной 2048 токенов по умолчанию; для поддержки полного контекста в 8192 токена необходимо выбрать совместимый метод расширения контекста и параметры RoPE scaling. Разные варианты квантования позволяют выбирать компромисс между размером файлов и точностью эмбеддингов; README приводит среднеквадратичную ошибку относительно реализации Sentence Transformers. Сильными сторонами являются компактные GGUF-файлы, совместимость с llama.cpp и наличие нескольких уровней квантования для запуска на устройствах с разными ресурсами. Ограничения включают необходимость использовать task-префиксы, зависимость расширенного контекста от дополнительных настроек и отсутствие заявленной мультимодальности. Модель распространяется по лицензии Apache-2.0.

13K7февр. 2024
textapache-2.0hugging-face
win10
Norns-Qwen2.5-Coder-7B-v0.1

Norns-Qwen2.5-Coder-7B-v0.1 — модель генерации текста на архитектуре Qwen2, созданная разработчиком win10 слиянием моделей методом TIES с помощью mergekit. В слиянии использованы Qwen/Qwen2.5-Coder-7B и win10/Urdandi-Qwen2.5-7B; модель содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и может применяться для задач с кодом, поскольку одной из базовых моделей является Qwen2.5-Coder-7B, ориентированная на генерацию, анализ и исправление программного кода. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Лицензия в предоставленных данных не указана. Карточка описывает способ слияния, но не сообщает о результатах оценки качества или конкретных ограничениях модели.

270нояб. 2024ctx32.8K
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей