/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 451–9 480 из 23 488
Deehan1866
finetuned-bert-large

Это англоязычная модель Sentence Transformers, дообученная на наборе PiC/phrase_similarity на базе google-bert/bert-large-uncased. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и оценивает смысловую близость с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из BERT Large и mean pooling; максимальная длина последовательности — 512 токенов. Модель работает с текстом на английском языке и формирует векторные представления для последующего сравнения. В README приведены результаты оценки на наборах для классификации пар предложений, но они не гарантируют качество на других данных. Использование распространяется по лицензии базовой модели; сведения о лицензии самой модели в предоставленных данных отсутствуют.

1020сент. 2024ctx512
textembeddinghugging-face
tikanosa
fine-tuned-edusbert

tikanosa выпустил дообученную модель Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует архитектуру BERT с усреднённым pooling и преобразует предложения и абзацы в плотные векторы размерностью 384 для поиска и сравнения семантического сходства. Модель предназначена для извлечения текстовых эмбеддингов и retrieval-сценариев; сходство векторов можно оценивать косинусной мерой. Модель содержит 124,3 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным; в README указана максимальная длина 128 токенов. Она основана на многоязычной модели, поэтому подходит для работы с текстами на нескольких языках. Дообучение проведено на наборе из 5 493 пар предложений с оценками сходства. Лицензия в предоставленных данных не указана.

1520авг. 2026ctx512
textembeddinghugging-face
dalietng
fine-tune_simcse

dalietng/fine-tune_simcse — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, кластеризации и семантического поиска. Веса содержат около 162,4 млн параметров; максимальная длина контекста — 258 токенов. Модель подходит для получения эмбеддингов текстов и сравнения их по смыслу. В README указано обучение с SoftmaxLoss, но набор данных и целевая предметная область не описаны. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

730окт. 2023ctx258
textembeddinghugging-face
Clarkoer
gal-mpnet-finetuned

Clarkoer/gal-mpnet-finetuned — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического сравнения текстов, поиска, выявления перефразировок, классификации и кластеризации. Архитектура включает MPNet, усреднение токенных представлений и нормализацию; для сравнения векторов используется косинусное сходство. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов по метаданным; в README указан предел 384 токена. Дообучение выполнено на 898 парах текстов с MultipleNegativesRankingLoss. Примеры данных связаны с программированием, но карточка не подтверждает специализацию модели на этой области. В README значение метрики Spearman для оценки семантического сходства указано как nan, поэтому качество на этом тесте не подтверждено. Лицензия в предоставленных данных не указана.

1210март 2026ctx514
textembeddinghugging-face
yuxinlu1
gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2

Gemma4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 — дообученная модель yuxinlu1 на базе Google Gemma 4 12B Instruct для генерации кода и выполнения многошаговых технических задач с использованием инструментов. Это плотная архитектура Gemma 4 Unified, опубликованная в формате safetensors с весами bf16; README ориентирует эту версию прежде всего на разработчиков, которые хотят запускать модель в Transformers, создавать квантизованные варианты или продолжать дообучение. Модель предназначена для написания и отладки кода, работы с командами и инструментами, а также циклов «диагностика — исправление — проверка». В README приведён результат около 55% на локальном тесте tau2-bench telecom из 20 задач против примерно 15% у базовой модели при одинаковой конфигурации. Это сравнение ограничено описанным автором тестовым стендом и не сопоставимо напрямую с опубликованными результатами бенчмарка. Автор также сообщает о небольшом снижении результата на MMLU-Pro относительно базы. Модель поддерживает диалог и использует встроенный протокол вызова инструментов Gemma 4; README также описывает режим рассуждения перед ответом. Лицензия — Apache-2.0. Карточка не приводит сведений о размере контекстного окна или языках обучения, поэтому они здесь не уточняются.

895109июнь 2026
textapache-2.0hugging-face
0xSero
Gemma-4-19B

0xSero/Gemma-4-19B — вариант Google Gemma 4 26B-A4B-it, сокращённый разработчиком 0xSero методом REAP (Router-weighted Expert Activation Pruning) при участии Cerebras. Это диалоговая модель MoE для генерации текста: из 128 экспертов в каждом слое удалено 38, осталось 90; на токен по-прежнему активируются 8 экспертов. Модель содержит около 19 млрд параметров, поставляется в BF16 и занимает примерно на 31% меньше места, чем исходная версия. Модель подходит для диалога, генерации кода и математических рассуждений. Она принимает текст и изображения, поддерживает режим рассуждений и контекст до 262 144 токенов. В опубликованной оценке после сокращения экспертов сохранились сильные результаты по элементарной математике и кодированию, но заметно снизились показатели на задачах, требующих широких знаний, включая философию и мировые религии. Указанная лицензия — Gemma; применяются её условия использования.

18021апр. 2026
textgemmahugging-face
Gidigi
gidigi_79c07173_0003

Карточка модели Gidigi/gidigi_79c07173_0003 на Hugging Face совпадает с карточкой HIT-TMG/KaLM-embedding-multilingual-mini-instruct-v1.5, поэтому описание составлено по ней. KaLM-embedding-multilingual-mini-instruct-v1.5 — многоязычная модель для создания текстовых эмбеддингов, разработанная командой HIT-TMG и опубликованная HITsz-TMG. Она основана на Qwen2-0.5B и обучена с использованием масштабного слабонаблюдаемого предварительного обучения и контролируемой тонкой настройки. Модель содержит 494 млн параметров, использует архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Модель предназначена для получения векторных представлений предложений и текстов, поиска семантически близких фрагментов и сравнения сходства между текстами. Метаданные указывают поддержку задач извлечения признаков и сравнения предложений; карточка приводит оценки на наборах MTEB и C-MTEB. Модель распространяется в формате safetensors по лицензии MIT. Для работы с Qwen2 в README рекомендуется Transformers версии 4.37.0 или новее. Языки, конкретные ограничения качества и сведения о том, какие именно языки охвачены обучением, в предоставленных данных не перечислены.

2100февр. 2026ctx131.1K
textembeddingmithugging-face
ai-babai
giga-embeddings-0826-480m-gguf

Giga Embeddings 0826 480M GGUF — это квантованная GGUF-версия двунаправленного энкодера Giga Embeddings instruct 480M 0826, разработанного ai-sage и преобразованного в GGUF пользователем ai-babai. Модель предназначена для локального запуска через llama.cpp и Ollama и создаёт текстовые embeddings для семантического поиска, RAG, сравнения текстов, кластеризации и классификации. Она поддерживает русский и английский языки, а также рассчитана на работу с текстом; генерацию ответов и диалоговый режим не поддерживает. Модель имеет около 480 миллионов параметров и возвращает нормализованные embeddings размерностью 1024. Для поисковых задач запрос рекомендуется подавать с инструкцией в формате Instruct/Query, а документы — без инструкции; для симметричного сравнения текстов следует использовать одинаковую инструкцию или не использовать её. Метаданные GGUF задают mean pooling и L2-нормализацию. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M: Q8_0 является рекомендуемым компромиссом между качеством, размером и потреблением памяти, тогда как Q4_K_M занимает меньше всего места, но сопровождается заметной потерей качества представлений и поиска. Сильные стороны модели — компактность, возможность локального запуска на CPU или GPU, совместимость с llama.cpp и Ollama, а также специализация на русскоязычных и англоязычных embedding-задачах. Указанные авторами исходной BF16-модели результаты составляют 70,98 на Russian MTEB и 69,52 на English MTEB, однако полный MTEB для этих GGUF-файлов отдельно не проводился. Репозиторий распространяется по лицензии MIT; данная конвертация является независимым релизом ai-babai, а не официальным выпуском ai-sage.

7481сент. 2026
textmithugging-face
knowledgator
gliclass-large-v1.0-init

GLiClass Large v1.0 Init — лёгкая модель классификации последовательностей с нулевым обучением, разработанная Knowledgator и вдохновлённая GLiNER. Она выполняет классификацию одним проходом и, согласно карточке, обеспечивает качество на уровне cross-encoder при меньших вычислительных затратах. Размер модели составляет 438 млн параметров; доступны форматы Safetensors и ONNX. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-пайплайнах. В карточке приведены результаты zero-shot тестирования на IMDB, AG_NEWS и Emotions без дообучения на этих наборах. Модель обучалась на синтетических данных MoritzLaurer/synthetic_zeroshot_mixtral_v0.1 и выпущена под лицензией Apache-2.0, допускающей коммерческое использование.

5915июнь 2024
textapache-2.0hugging-face
Akicou
GLM-4.7-Flash-REAP-19

Akicou/GLM-4.7-Flash-REAP-19 — сжатая версия GLM-4.7-Flash, созданная с помощью метода REAP (Router-weighted Expert Activation Pruning) компании Cerebras. В модели удалено 50% экспертов; README указывает, что сжатие выполнено без дополнительного дообучения. Архитектура GLM-4 MoE Lite, размер — 4,1 млрд параметров, контекст — до 202 752 токенов. Модель предназначена для генерации текста, кода, вызова функций и агентных сценариев; поддерживает запуск через vLLM, Transformers и SGLang. Карточка описывает калибровку для задач кода и инструментов, сохранившую возможности базовой модели в этих сценариях. Репозиторий предоставляет веса Safetensors и заявляет лицензию MIT. В README отмечена проблема совместимости GGUF с llama.cpp: файлы GGUF пересоздаются после исправления ошибки, вызывавшей зацикливание и низкое качество ответов; в метаданных GGUF не указан.

733янв. 2026ctx202.8K
textmithugging-face
openai
gpt-5.2-codex

GPT-5.2-Codex — модель OpenAI, описанная как улучшенная версия GPT-5.1-Codex и оптимизированная для разработки программного обеспечения и рабочих процессов с кодом. Она предназначена для интерактивной работы над проектами и длительного автономного выполнения сложных инженерных задач. Доступные сведения не раскрывают размер, архитектуру, контекстное окно, языки или лицензию модели. По описанию она принимает запросы и контекст разработки и помогает выполнять инженерные задачи; конкретные ограничения и условия использования в карточке не приведены.

00янв. 2026ctx400Kprice$0.00 / $0.00/ 1M
textimageopenrouter
arshvir
granite-embedding-311m-multilingual-r2-GGUF

arshvir/granite-embedding-311m-multilingual-r2-GGUF — конвертированная в формат GGUF модель эмбеддингов IBM Granite Embedding 311M Multilingual R2 на архитектуре ModernBERT. Репозиторий содержит веса в формате F16; модель насчитывает 311 млн параметров и поддерживает контекст до 32 768 токенов. Она преобразует текст в векторы размерностью 768, которые можно усекать до 512, 384, 256 или 128 измерений благодаря Matryoshka Representation Learning. Модель предназначена для многоязычного и межъязыкового семантического поиска, сравнения предложений и поиска по длинным документам, а также для поиска по коду. В README заявлена поддержка более 200 языков, с усиленным обучением на 52 языках и примерами языков программирования. Для загрузки GGUF предлагается использовать llama-cpp-python. По README, модель набрала 65,2 на 18 задачах многоязычного retrieval-бенчмарка MTEB; эти результаты приведены автором карточки. Репозиторий указывает лицензию Apache 2.0. Это преобразование исходной модели в GGUF F16, а не новая обученная версия; для использования нужна совместимая среда выполнения GGUF.

480авг. 2026
textembeddingapache-2.0hugging-face
SL-AI
GRaPE-2-Flash

GRaPE 2 Flash — мультимодальная модель семейства GRaPE, разработанная под брендом SLAI (Skinnertopia Lab for Artificial Intelligence). Это дообученная версия Qwen3-VL-8B-Thinking с архитектурой Qwen3-VL; в карточке указано около 9 млрд параметров. Модель принимает изображения и текст и формирует текстовые ответы. Она рассчитана на развертывание на потребительском оборудовании и предлагает режимы управления глубиной рассуждений. Основные сценарии — программирование, задачи по науке, технике, инженерии, искусству и математике, логические рассуждения и структурированное решение задач, в том числе с визуальными данными. Доступные языковые метки охватывают английский, китайский, французский, немецкий, испанский, японский, корейский, португальский, русский и арабский. Обучающие данные закрыты; в карточке нет результатов бенчмарков, поэтому качество на конкретных задачах следует проверять отдельно. Модель выпущена по лицензии Apache 2.0.

255апр. 2026ctx262.1K
textimageapache-2.0hugging-face
Locutusque
Hyperion-3.0-Mistral-7B-DPO

Locutusque разработала Hyperion-3.0-Mistral-7B-DPO — языковую модель на базе Mistral-7B-v0.1, дообученную методом Direct Preference Optimization на предпочтениях для диалогов и решения задач. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста на английском языке: она может отвечать на вопросы, вести диалоги, помогать с кодом, математическими и логическими задачами, а также работать с медицинскими текстами. Среди возможных сценариев — техническая поддержка, обучающие приложения и помощь в разработке программного обеспечения. Карточка приводит результаты оценки на наборе MMLU и предупреждает о возможных несогласованностях и смещениях в данных. Модель склонна отвечать на большинство запросов, поэтому её результаты, особенно в медицинских сценариях, следует проверять. Распространяется по лицензии Apache-2.0.

755март 2024ctx32.8K
textapache-2.0hugging-face
BAAI
Infinity-Instruct-3M-0625-Mistral-7B

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

1553июль 2024ctx32.8K
textapache-2.0hugging-face
FareedKhan
intfloat_multilingual-e5-large-instruct_FareedKhan_prime_synthetic_data_2k_2_4

Это модель Sentence Transformer на базе intfloat/multilingual-e5-large-instruct, дообученная FareedKhan на парах текстов. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024 для семантического поиска и сравнения текстов; сходство оценивается косинусной мерой. Модель построена на XLM-RoBERTa с усреднением токенных представлений и поддерживает последовательности до 512 токенов. Модель подходит для поиска релевантных документов по запросу, оценки семантического сходства, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Это дообученный чекпойнт с указанным в карточке набором из 1 814 обучающих примеров; в README приведены результаты оценки для одного набора данных. Лицензия в предоставленных данных не указана.

1150сент. 2024ctx514
textembeddinghugging-face
jinaai
jina-embeddings-v5-omni-nano

jina-embeddings-v5-omni-nano — мультимодальная модель эмбеддингов от Jina AI. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, согласованного с текстовой моделью jinaai/jina-embeddings-v5-text-nano. Веса доступны в формате Safetensors; модель содержит около 1,04 млрд параметров, а размерность эмбеддингов составляет 768. Базовый репозиторий включает адаптеры для поиска по сходству, классификации, кластеризации и сопоставления текстов. Модель подходит для мультимодального семантического поиска и RAG, классификации с помощью сходства эмбеддингов, группировки похожего контента и обнаружения перефразировок или дубликатов. Векторная совместимость с jinaai/jina-embeddings-v5-text-nano позволяет индексировать текст одной моделью и искать по нему изображениями, видео или аудио без повторной индексации. Видео представлено кадрами; звуковая дорожка из видео автоматически не обрабатывается и должна передаваться отдельно. Для работы доступны Transformers, sentence-transformers и vLLM; неиспользуемые модальные компоненты можно не загружать. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Модель новая и мультимодальная, поэтому для конкретного сценария следует отдельно проверять качество и требуемую производительность.

8.4K45апр. 2026
textembeddingcc-by-nc-4.0hugging-face
aryyanthakrr
Kepler-7B

Kepler-7B — языковая модель на 7,1 млрд параметров, созданная слиянием SLERP моделей DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-Coder-7B-Instruct. Она использует архитектуру Qwen2 и предназначена для генерации текста в диалоговом формате, в том числе для задач анализа и написания кода. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате safetensors для библиотеки Transformers. Лицензия — Apache-2.0. README не содержит результатов оценки качества или подробных рекомендаций по применению.

222июнь 2026ctx32.8K
textapache-2.0hugging-face
JeongWoo-P
klue-roberta-base-klue-sts

Карточка модели JeongWoo-P/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

1440май 2025ctx514
textembeddinghugging-face
NicePeterKim
klue-roberta-base-klue-sts-mrc

Карточка модели NicePeterKim/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

1120сент. 2024ctx514
textembeddinghugging-face
sming0408
klue-roberta-base-klue-sts-mrc1

Карточка модели sming0408/klue-roberta-base-klue-sts-mrc1 на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

1150май 2025ctx514
textembeddinghugging-face
cheasuar
klue-roberta-base-klue-sts-mrc-a

Карточка модели cheasuar/klue-roberta-base-klue-sts-mrc-a на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

1070июнь 2026ctx514
textembeddinghugging-face
pouxie
LaBSE-en-ru-bviolet

pouxie/LaBSE-en-ru-bviolet — модель на базе BERT, опубликованная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 155,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт эмбеддинги. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на формирование представлений, пригодных для ранжирования по смысловой близости. По названию модель ориентирована на английский и русский языки. Её можно использовать для семантического поиска и группировки текстов на этих языках. В README не приведены результаты оценки, поэтому качество для конкретного набора данных следует проверять отдельно. Лицензия в предоставленных сведениях не указана.

930окт. 2022ctx512
textembeddinghugging-face
gemasphi
laprador-document-encoder

laprador-document-encoder — модель Sentence-Transformers на архитектуре BERT, представленная в репозитории gemasphi. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 136,1 млн параметров, работает с текстом и рассчитана на контекст до 512 токенов. Полученные эмбеддинги подходят для поиска семантически близких фрагментов и группировки текстов по смыслу. Для сравнения текстов и поиска требуется использовать векторное представление модели; README также описывает применение через Sentence-Transformers либо Transformers с соответствующей операцией pooling. Модель распространяется в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

661апр. 2022ctx512
textembeddinghugging-face
Locutusque
Llama-3-Orca-1.0-8B

Locutusque/Llama-3-Orca-1.0-8B — разговорная языковая модель, дообученная Locutusque на основе Meta Llama 3 8B. Для обучения использовались преимущественно SlimOrca, а также наборы данных для улучшения решения математических задач, программирования и письма. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Модель предназначена для диалогового ИИ, написания текстов, помощи с программированием и решения математических задач. В карточке указана лицензия Llama 3; метаданные классифицируют лицензию как other, поэтому условия применения следует сверять с лицензией Meta Llama 3.

2524апр. 2024ctx8.2K
textotherhugging-face
SetFit
MiniLM_L3_clinc_oos_plus_distilled

SetFit/MiniLM_L3_clinc_oos_plus_distilled — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 384; модель можно применять для семантического поиска, кластеризации и оценки сходства текстов. Для кодирования предусмотрен контекст длиной до 512 токенов. Модель содержит 18,8 млн параметров и обучалась с функцией потерь CosineSimilarityLoss. Она подходит для построения векторного поиска и группировки текстов, но карточка не приводит результатов оценки качества или перечня поддерживаемых языков. Лицензия в предоставленных данных не указана.

895сент. 2022ctx512
textembeddinghugging-face
Muzian
minimind-embedding-dense

MiniMind-Embedding-Dense — плотная модель текстовых эмбеддингов на основе MiniMind-3, разработанная в проекте minimind-embedding. Это причинный Transformer-декодер с 63,9 млн параметров и размером скрытого слоя 768; вектор текста формируется по последнему токену EOS. Обучение использует контрастивную функцию InfoNCE с маскированием вероятных ложных негативов и Matryoshka Representation Learning, поэтому эмбеддинг можно сокращать до 64, 128, 256 или 512 измерений для более быстрого поиска. Максимальная длина контекста — 32 768 токенов. Модель предназначена для получения векторов текста, поиска семантически близких предложений и извлечения релевантных документов по запросу. В карточке показаны оценки на китайских наборах ATEC, BQ и LCQMC; заявленная область применения — прежде всего китайские тексты, также указана поддержка английского. Карточка отмечает, что качество ограничивают небольшой словарь в 6400 токенов и сравнительно малый объём первого этапа обучения. Модель дообучена на jingyaogong/minimind-3 и распространяется по лицензии Apache-2.0.

150июль 2026ctx32.8K
textembeddingapache-2.0hugging-face
ValiantLabs
Ministral-3-14B-Reasoning-2512-ShiningValiant3

Shining Valiant 3 — модель Valiant Labs, дообученная на базе mistralai/Ministral-3-14B-Reasoning-2512. Это плотная модель семейства Mistral 3 для генерации текста, диалога и рассуждений. Разработчики позиционируют её как помощника для научных задач, проектирования ИИ, программирования и общего решения сложных задач; обучение включало научные данные для рассуждений, созданные с помощью DeepSeek R1 0528. Модель рассчитана на диалог и следование инструкциям, а также на творческие и аналитические задачи. Карточка сообщает о поддержке английского языка. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. В README не приведены данные о числе параметров сверх идентификатора базовой модели или о длине контекста. Утверждения о высокой скорости и работе на настольных и мобильных устройствах приведены разработчиком без количественных характеристик.

445дек. 2025
textapache-2.0hugging-face
avsolatorio
MixEmbed-base-20240110184818-best

avsolatorio/MixEmbed-base-20240110184818-best — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в формате safetensors и предназначенная для Sentence-Transformers и Hugging Face Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации; также подходит для вычисления сходства между текстами. В README указано, что модель дистиллирована из bge-small-en-v1.5, содержит четверть числа параметров без учёта эмбеддингов по сравнению с этой базой и показывает качество, сопоставимое с all-MiniLM-L6-v2 при вдвое меньшем числе параметров. Модель содержит 18,8 млн параметров и принимает контекст до 512 токенов. README описывает её как англоязычную модель, созданную на основе bge-small-en-v1.5. Лицензия в предоставленных данных не указана.

1320янв. 2024ctx512
textembeddinghugging-face
avsolatorio
MixEmbed-base-20240113172018-best

MixEmbed-base-20240113172018-best — компактная модель эмбеддингов на основе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации. Модель содержит 18,8 млн параметров и рассчитана на контекст до 512 токенов. Согласно README, модель дистиллирована из bge-small-en-v1.5 и имеет вчетверо меньше параметров без эмбеддингов, чем исходная модель. README также сообщает, что у неё вдвое меньше параметров, чем у all-MiniLM-L6-v2, при сопоставимом качестве. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется корректное pooling contextualized word embeddings. В метаданных указаны safetensors и задачи извлечения признаков и сходства предложений. Модель предназначена для поиска и группировки текстов по смыслу. README указывает на английскую базовую модель bge-small-en-v1.5; поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.

1290янв. 2024ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей