/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 421–9 450 из 23 488
jondurbin
bagel-dpo-7b-v0.1

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

14843дек. 2023ctx32.8K
textapache-2.0hugging-face
reasonwang
BERT-G1

BERT-G1 — модель на архитектуре BERT, опубликованная пользователем reasonwang. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель обучена с использованием MultipleNegativesRankingLoss и косинусного сходства; размер составляет 136,7 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для получения эмбеддингов текста и задач поиска или группировки текстов по смыслу. Для работы доступны Sentence-Transformers и Transformers; при использовании Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В репозитории указаны веса safetensors. Языки обучения и лицензия в предоставленных данных не указаны.

1100июль 2024ctx512
textembeddinghugging-face
sobamchan
bert-large-uncased-mrl-1024-768-512-256-128-64

Это англоязычная модель Sentence Transformer, созданная sobamchan путём дообучения google-bert/bert-large-uncased на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения смысла текстов по косинусному сходству. Архитектура состоит из BERT Large и усредняющего пулинга токенов; число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель поддерживает Matryoshka-представления размерности 1024, 768, 512, 256, 128 и 64. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и получения признаков для классификации текста. В README приведена оценка на sts-dev: Spearman correlation по косинусному сходству — 0,8311. Модель рассчитана на английский язык; её карточка не подтверждает качество для других языков. Распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

640апр. 2026ctx512
textembeddinghugging-face
Nhat1904
best-32-shot-model

Nhat1904/best-32-shot-model — модель Sentence Transformers на архитектуре MPNet, обученная для получения плотных 768-мерных векторов предложений и абзацев. В карточке указано обучение с CosineSimilarityLoss; размер модели — 136,7 млн параметров, максимальная длина контекста — 514 токенов. Модель подходит для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать через библиотеку Sentence-Transformers или Transformers с соответствующей операцией pooling. В репозитории указаны веса PyTorch. В карточке не названы языки обучения и лицензия, поэтому их условия и языковую специализацию по имеющимся данным определить нельзя.

630дек. 2022ctx514
textembeddinghugging-face
BAAI
bge-base-zh

BAAI/bge-base-zh — плотная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она кодирует китайский текст в векторы для семантического поиска, извлечения документов, кластеризации и классификации, а также для использования в векторных базах данных и системах дополненной генерации (RAG). Модель основана на BERT, содержит около 129,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель предназначена для построения индекса документов и поиска по коротким запросам, включая поиск релевантных фрагментов для LLM. В README отмечено, что для запросов, ищущих длинные документы, может помочь инструкция к запросу; оценивать следует прежде всего относительный порядок оценок сходства. Для ранжирования уже найденных документов авторы рекомендуют отдельную модель BGE Reranker. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT. В карточке рекомендуется перейти на BAAI/bge-base-zh-v1.5: более новая версия улучшает распределение оценок сходства и качество поиска.

9.6K58авг. 2023ctx512
textembeddingmithugging-face
unsloth
bge-small-en-v1.5

unsloth/bge-small-en-v1.5 — англоязычная модель эмбеддингов из семейства BGE, предназначенная для преобразования текста в векторы. Карточка описывает BGE как серию моделей для плотного поиска и retrieval-augmented generation; версия v1.5 улучшает распределение оценок сходства и поиск без инструкций. Репозиторий содержит веса в форматах PyTorch, safetensors и ONNX. Модель построена на архитектуре BERT, имеет около 40 млн параметров и принимает последовательности длиной до 512 токенов. Её можно применять для поиска релевантных документов и предложений, сравнения текстов и формирования эмбеддингов для конвейеров поиска. Поддерживаемый язык — английский. Лицензия — MIT. Эмбеддинги подходят для поиска кандидатов, но сами оценки сходства не следует трактовать как вероятности или сравнивать с универсальным порогом: README отмечает, что несходные предложения могут получать значения выше 0,5. Для повышения точности ранжирования карточка рекомендует отдельную модель reranker.

266K2июнь 2026ctx512
textembeddingmithugging-face
BAAI
bge-small-zh

BAAI/bge-small-zh — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в плотные векторы для семантического поиска, извлечения документов, кластеризации и классификации, а также для поиска по базе знаний в системах с генерацией с дополненным поиском (RAG). Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает контекст длиной до 512 токенов. Модель ориентирована на китайский язык. Векторные представления можно использовать для поиска релевантных фрагментов по короткому запросу, сравнения семантической близости текстов и индексирования документов в векторной базе данных. Для коротких запросов при поиске длинных документов авторы рекомендуют добавлять инструкцию к запросу; документы в инструкции не нуждаются. Карточка рекомендует более новую версию bge-small-zh-v1.5: у исходной версии распределение оценок сходства менее удобно для пороговой фильтрации. Значение сходства выше 0,5 само по себе не подтверждает близость текстов; порог нужно подбирать на данных целевой задачи. Модель распространяется по лицензии MIT.

114K29авг. 2023ctx512
textembeddingmithugging-face
teven
bi_all_bs160_allneg_finetuned_WebNLG2020_relevance

teven/bi_all_bs160_allneg_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet, дообученная для представления предложений и абзацев плотными векторами размерности 768. Её можно применять для семантического поиска, сравнения близости текстов и кластеризации. Обучение использовало CosineSimilarityLoss; в репозитории представлены веса PyTorch, размер модели составляет 136,7 млн параметров, контекст — до 514 токенов. Модель подходит для построения векторного поиска и группировки текстов по смыслу. README указывает на обучение на WebNLG2020, но подробности набора данных и результаты оценки здесь не приведены. Лицензия в предоставленных данных не указана.

910сент. 2022ctx514
textembeddinghugging-face
peter2000
bmz_topics_

peter2000/bmz_topics — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, опубликованная автором peter2000. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. В репозитории указаны PyTorch и использование через Sentence-Transformers либо Transformers с подходящей операцией pooling; объём модели — около 305,2 млн параметров, контекст — 514 токенов. Модель обучалась с BatchHardTripletLoss. Карточка не уточняет целевые языки, обучающие данные и лицензию, поэтому пригодность для конкретного языка или домена следует проверять на собственных данных.

951сент. 2022ctx514
textembeddinghugging-face
BrelloES
brello-thinking

Brello Thinking — языковая модель Epic Systems из семейства Brello AI, предназначенная для генерации текста с акцентом на рассуждения, математику, программирование и творческие задачи. В README указана база Tencent Hunyuan; архитектура в метаданных обозначена как плотная причинная EpicBrelloV1ForCausalLM, размер модели — 1,8 млрд параметров. Модель принимает текст и генерирует текст. Заявлена поддержка контекста до 262 144 токенов, режимов быстрого и углублённого рассуждения, а также интерфейса вызова инструментов. README заявляет поддержку английского и китайского языков. Репозиторий содержит веса safetensors и помечен лицензией MIT в метаданных, однако README указывает проприетарную лицензию Epic Systems и запрет на распространение и крупномасштабный хостинг; условия лицензирования противоречат друг другу, их следует проверить перед использованием.

555авг. 2025ctx262.1K
textmithugging-face
danfeg
CAMeL_Base

CAMeL_Base — модель семейства BERT от danfeg, созданная на базе Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для поиска семантически близких текстов, кластеризации и извлечения признаков; основная задача в метаданных — сравнение предложений. Архитектура содержит 136,3 млн параметров, использует формат safetensors и принимает контекст длиной до 512 токенов. Для получения векторов модель используют через библиотеку Sentence Transformers либо через Transformers с подходящей операцией pooling. В карточке не указаны целевые языки и специализированные области применения. Лицензия в предоставленных данных не указана.

920март 2024ctx512
textembeddinghugging-face
davidnichols-ops
claude-yolo-vibes-v5

claude-yolo-vibes-v5 — это дообученная David Nichols модель генерации кода на архитектуре Qwen2.5-Coder-7B-Instruct. Она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель обучена на смеси дистиллированных трасс агентного программирования, примеров вопросов и ответов и специально подготовленных данных для настройки стиля; README описывает этапы SFT и DPO. Модель предназначена прежде всего для написания, анализа и исправления кода, в том числе в диалоговых сценариях. Она отвечает кратко и практично, с сухим юмором и лёгким скепсисом к корпоративной AI-риторике. В README приведён результат HumanEval Pass@1 85,4% (140 из 164) на локальном жадном запуске; это измерение не проверено EvalPlus и само по себе не гарантирует качество на других задачах. Ограничения связаны с тем, что поведение на агентных задачах вне распределения зависит от дистиллированных данных, а общий QA представлен небольшим объёмом данных: модель ориентирована прежде всего на программирование. Доступна под лицензией Apache-2.0.

231сент. 2026ctx32.8K
textapache-2.0hugging-face
meta-llama
CodeLlama-13b-Instruct-hf

Code Llama 13B Instruct — разработанная Meta инструктивно настроенная авторегрессионная языковая модель на архитектуре оптимизированного Transformer. Репозиторий содержит версию на 13 млрд параметров в форматах Transformers, PyTorch и Safetensors; модель принимает текст и генерирует текст. Модель предназначена для генерации и понимания кода, автодополнения, заполнения пропусков в коде и диалогового выполнения инструкций. Её можно применять как основу для помощников по программированию и генерации кода. README указывает английский язык и языки программирования как целевые; использование на других естественных языках выходит за заявленные рамки. Модель обучена на данных семейства Llama 2 с дополнительной настройкой для следования инструкциям. Возможны неточные или нежелательные ответы; перед внедрением в конкретное приложение рекомендуется провести его собственную проверку безопасности и настройку. Использование регулируется пользовательской лицензией Meta для Code Llama; метаданные обозначают её как llama2.

4.8K29март 2024
textllama2hugging-face
codellama
CodeLlama-70b-Instruct-hf

Code Llama 70B Instruct — большая авторегрессионная языковая модель семейства Llama, разработанная Meta и представленная в формате Transformers в неофициальном репозитории Hugging Face. Версия содержит 68,7 млрд параметров и предназначена для генерации и понимания кода, выполнения инструкций и диалога с помощником по программированию. Модель принимает текст и генерирует текст. Она подходит для написания и дополнения кода, объяснения программных решений и ответов на вопросы по программированию на естественном языке. Контекст модели в этом репозитории — 4096 токенов; карточка указывает, что эта версия не поддерживает контекст до 100 тысяч токенов. Модель обучалась на английском языке и соответствующих языках программирования. Модель доступна по лицензии Meta Llama 2. Она была дообучена для следования инструкциям; в карточке отмечено, что это статичная модель, обученная на офлайн-данных. Репозиторий содержит веса в форматах PyTorch и Safetensors.

792210янв. 2024ctx4.1K
textllama2hugging-face
TheBloke
CodeLlama-70B-Python-GGUF

CodeLlama 70B Python — большая языковая модель для генерации и работы с программным кодом, разработанная Code Llama. Данная версия представляет собой квантизированные файлы модели CodeLlama 70B Python в формате GGUF, подготовленные TheBloke на вычислительном оборудовании Massed Compute. Модель предназначена прежде всего для задач, связанных с программированием на Python, включая генерацию кода и локальный текстовый inference. Она основана на архитектуре Llama, имеет 70 миллиардов параметров и работает в режиме text-generation. В README указано, что язык модели — code; сведения о поддерживаемых естественных языках, модальностях и размере контекста не приведены. GGUF поддерживает различные уровни квантизации от 2 до 8 бит, что позволяет запускать модель с разным компромиссом между требованиями к памяти и качеством, используя llama.cpp и совместимые интерфейсы. Сильными сторонами являются специализация на программном коде, крупный размер модели и возможность CPU+GPU-инференса в локальных приложениях. Ограничениями выступают высокие требования к вычислительным ресурсам, зависящие от выбранного уровня квантизации, а также отсутствие в предоставленных данных подробных оценок качества и характеристик контекстного окна. Модель распространяется по лицензии Llama 2.

5.5K45янв. 2024
textllama2hugging-face
TheBloke
CodeLlama-7B-Instruct-fp16

TheBloke/CodeLlama-7B-Instruct-fp16 — версия Code Llama 7B Instruct от Meta AI, опубликованная TheBloke в формате Transformers/Hugging Face с весами fp16. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с 6,6 млрд параметров и контекстом 16 384 токена; она принимает и генерирует текст. Вариант Instruct предназначен для следования инструкциям и создания помощников для программирования. Модель подходит для генерации и объяснения кода, ответов на вопросы по программированию и помощи при разработке. В README заявлена ориентация на английский язык и языки программирования; инструкции по загрузке требуют trust_remote_code=True для корректной работы с изменённым значением RoPE Theta. Модель является конвертацией исходных весов CodeLlama 7B Instruct в формат Hugging Face, а не отдельным дообучением TheBloke. Лицензия указана как Llama 2; README описывает пользовательское коммерческое лицензионное соглашение Code Llama. Перед применением следует учитывать, что ответы могут быть неточными или нежелательными.

467авг. 2023ctx16.4K
textllama2hugging-face
WisdomShell
CodeShell-7B-Chat-int4

CodeShell-7B-Chat-int4 — квантизированная до Int4 чат-версия многоязычной модели для работы с программным кодом. Модель разработана лабораторией вычисления знаний Пекинского университета совместно с AI-командой Sichuan Tianfu Bank. Она предназначена для генерации кода, разработки программ, создания тестов, обнаружения и исправления дефектов, а также использования в качестве локального помощника разработчика через плагины для VS Code и JetBrains. Модель содержит 7 миллиардов параметров и обучалась на 500 миллиардах токенов. В основе архитектуры используется GPT-2 с Grouped-Query Attention и относительным позиционным кодированием RoPE. Конфигурация включает 42 слоя, размерность скрытого представления 4096, 32 головы внимания, 8 групп запросов и словарь из 70144 токенов. Заявленная длина контекста составляет 8194 токена, а параметр последовательности указан как 8192. Поддерживаются китайский и английский языки; модель ориентирована на несколько языков программирования. Сильными сторонами заявлены высокие результаты для моделей данного размера на бенчмарках HumanEval и MBPP, а также возможность лёгкого локального развёртывания с использованием C++. В опубликованных результатах модель превосходит CodeLlama-7B и StarCoder-7B в большинстве приведённых языковых тестов, но уступает им в отдельных тестах для Swift, D, Julia, Lua и Rust. Ограничения включают возможные ошибки и риски некорректного или небезопасного использования сгенерированного кода; README также содержит предупреждение о необходимости соблюдать требования безопасности, законности и соответствия нормативным требованиям. Лицензия в предоставленных данных не указана.

1.1K29окт. 2023ctx8.2K
texthugging-face
nishimoto
contriever-sentencetransformer

nishimoto/contriever-sentencetransformer — порт Contriever в формате Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Векторные представления можно использовать для сравнения смысловой близости предложений и абзацев. Репозиторий содержит веса PyTorch; для работы с моделью в README рекомендуется библиотека Sentence-Transformers. Ограничение контекста — 512 токенов. В README лицензия не указана.

3841февр. 2024ctx512
textembeddinghugging-face
tubyneto
crowdedflowertunedbertt

tubyneto/crowdedflowertunedbertt — модель Sentence-Transformers на архитектуре MPNet для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерности 768 и предназначена для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

660нояб. 2022ctx514
textembeddinghugging-face
deepseek-ai
DeepSeek-R1-0528-Qwen3-8B

DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

465K1.1Kмай 2025ctx131.1K
textmithugging-face
KennethEnevoldsen
dfm-sentence-encoder-large-exp2-no-lang-align

Kenneth Enevoldsen разработал dfm-sentence-encoder-large-exp2-no-lang-align — модель Sentence Transformers на архитектуре BERT с 453,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; длина контекста — до 512 токенов. Модель предназначена для сравнения смысловой близости текстов и подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и выдаёт векторы. В карточке нет сведений о поддерживаемых естественных языках или условиях лицензии, поэтому определить их нельзя.

2471нояб. 2023ctx512
textembeddinghugging-face
rithwik-db
dirty-e5-base-unsupervised

rithwik-db/dirty-e5-base-unsupervised — модель эмбеддингов предложений на базе архитектуры BERT, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения сходства. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано, что модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. Её можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о поддерживаемых языках и лицензии в предоставленных источниках отсутствуют.

980апр. 2023ctx512
textembeddinghugging-face
dphn
dolphin-2.9.2-mixtral-8x22b

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

8.8K44май 2024ctx65.5K
textapache-2.0hugging-face
prithivMLmods
dots.ocr-GGUF

dots.ocr-GGUF — это GGUF-версия мультиязычной vision-language модели dots.ocr, разработанной rednote-hilab и опубликованной пользователем prithivMLmods на основе dots-studio/dots.ocr. Модель предназначена для анализа изображений документов и объединяет обнаружение структуры документа с распознаванием содержимого в одной модели. Она подходит для научных статей, книг, презентаций, финансовых отчётов, экзаменационных работ, журналов и газет. Модель построена на компактной языковой основе объёмом 1,7 млрд параметров, связанной с Qwen2.5-VL, и поддерживает более 100 языков, включая английский и китайский. Она может выполнять полный разбор макета, обнаружение элементов, OCR и grounding OCR в зависимости от запроса. Результат выдаётся в структурированном JSON с ограничивающими рамками и категориями элементов, а текст оформляется в Markdown, формулы — в LaTeX, таблицы — в HTML. Доступны варианты GGUF с точностями от Q3_K до Q8_0, а также BF16 и F16; для работы с изображениями требуются отдельные файлы mmproj. К сильным сторонам относятся единый подход к анализу макета и содержимого, высокие результаты на OmniDocBench для распознавания текста, таблиц и порядка чтения, а также качество распознавания формул, сопоставимое с гораздо более крупными моделями. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантизации, необходимость мультимодального проектора и отсутствие в README сведений о точном размере контекста и системных требованиях. Модель распространяется по лицензии MIT и поддерживает запуск через llama.cpp; также заявлена совместимость с Transformers и vLLM, для которого рекомендуется версия 0.9.1.

7702авг. 2026
textimagemithugging-face
hsikchi
dump

Карточка модели hsikchi/dump на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.

990апр. 2024ctx512
textembeddingmithugging-face
d0rj
e5-base-en-ru

d0rj/e5-base-en-ru — компактная версия модели intfloat/multilingual-e5-base, созданная отсечением токенов словаря и предназначенная для работы с английским и русским языками. Это плотный энкодер XLM-RoBERTa с 159,6 млн параметров по метаданным Hugging Face; README указывает размерность эмбеддингов 1024 и сокращение размера модели примерно с 1061 до 505 МБ. Модель выдаёт векторные представления текста для поиска и оценки сходства предложений; для поиска автор рекомендует сравнивать векторы скалярным произведением. Модель подходит для семантического поиска, извлечения релевантных документов и сравнения русских и английских запросов с текстами. README показывает использование через Transformers и sentence-transformers. Лицензия — MIT. Оценка на SberQuAD упомянута, но значения метрик в README отсутствуют, поэтому по карточке нельзя судить о качестве относительно базовой модели. Контекстное окно составляет 514 токенов; словарь ограничен русскими и английскими токенами.

2039сент. 2023ctx514
textmithugging-face
dgwon
e5-small-v2.nfcorpus.meta-llama-Llama-3.1-8B-Instruct

Это Sentence Transformer, дообученный на базе intfloat/e5-small-v2. Модель разработана для преобразования предложений и абзацев в плотные текстовые векторы размерностью 384; архитектура включает BERT-энкодер и усредняющий пуллинг токенов. Максимальная длина последовательности — 512 токенов, сходство векторов можно оценивать косинусной мерой. Модель подходит для семантического поиска, оценки сходства и поиска перефразировок, а также для кластеризации и классификации текстов на основе эмбеддингов. Базовая E5-small-v2 предназначена для английского языка; README не сообщает о дополнительной языковой специализации этой версии. Репозиторий распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

1260нояб. 2025ctx512
textembeddinghugging-face
rithwik-db
embedded-e5-large-500-correct

rithwik-db разработал sentence-transformers-модель на базе BERT для преобразования предложений и абзацев в плотные векторы размерности 1024. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусной функцией сходства; для получения эмбеддингов можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

880апр. 2023ctx512
textembeddinghugging-face
mlx-community
embeddinggemma-300m-bf16

mlx-community/embeddinggemma-300m-bf16 — текстовая модель эмбеддингов семейства EmbeddingGemma, разработанная сообществом mlx-community на основе google/embeddinggemma-300m и конвертированная в формат MLX с использованием mlx-lm. Модель основана на текстовой архитектуре Gemma 3, содержит около 302,8 млн параметров и предназначена для работы через библиотеку sentence-transformers и инструменты MLX. Модель преобразует предложения и документы в нормализованные векторные представления, пригодные для вычисления семантического сходства, поиска, кластеризации, классификации, извлечения информации и переранжирования результатов. README содержит специализированные префиксы заданий для sentence similarity, retrieval, clustering, classification, reranking, summarization и других сценариев. Максимальная длина контекста составляет 2048 токенов. К сильным сторонам относятся компактный размер, нормализованные эмбеддинги и адаптация к различным задачам с помощью task-specific prefixes, а также оптимизация для экосистемы MLX. Ограничения включают контекст в 2048 токенов и зависимость от MLX-инструментов для описанного способа запуска; поддерживаемые естественные языки в предоставленных данных не определены. Для использования требуется принять лицензию Google Gemma; лицензия модели — gemma.

6114сент. 2025ctx2K
textembeddinggemmahugging-face
codefuse-ai
F2LLM-v2-14B-Preview

F2LLM-v2-14B-Preview — предварительная многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-14B. Она обучена на корпусе из 27 млн примеров, охватывающем более 100 естественных и программных языков, и предназначена как основа для задач векторного представления текста и дальнейшего дообучения; версия Preview обучена без инструкционного формата. Модель имеет плотную архитектуру Qwen3 с 14 млрд параметров, работает с текстом и поддерживает контекст до 40 960 токенов. Для получения эмбеддингов доступны библиотеки Sentence Transformers и Transformers. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Поскольку это базовая версия без инструкционного обучения, она предназначена для встраивания в поисковые и другие embedding-системы, а не для диалогового использования как instruct-модель. README не приводит оценки качества или подробные ограничения по отдельным языкам и задачам.

1513февр. 2026ctx41K
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей