/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 601–9 630 из 23 488
bullerwins
Hunyuan-A13B-Instruct-hf

bullerwins/Hunyuan-A13B-Instruct-hf — это конвертированная в формат Hugging Face версия чат-модели Hunyuan-A13B-Instruct, разработанной Tencent и представленной в репозитории в формате safetensors. Модель использует архитектуру Mixture of Experts (MoE); в README для исходной модели указаны 80 млрд параметров всего и 13 млрд активных, тогда как метаданные этой копии сообщают 3,1 млрд параметров. Поэтому размер модели в описании этой версии нельзя однозначно согласовать с характеристиками оригинала. Модель предназначена для генерации ответов в диалоге, рассуждений, математики, программирования и агентных сценариев; метаданные также указывают интерфейс вызова инструментов. README исходной модели описывает режимы быстрого и углублённого рассуждения и контекст до 256K токенов, но метаданные этой копии указывают нативный контекст 32 768 токенов. Поддерживаемые языки в предоставленных данных не перечислены. Модель работает с текстом на входе и выдаёт текст. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией Tencent в репозитории перед использованием.

216июнь 2025ctx32.8K
textotherhugging-face
danfeg
IF-E5-L-M_Finetuned-EN-2481

danfeg/IF-E5-L-M_Finetuned-EN-2481 — модель эмбеддингов предложений на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска и кластеризации. Модель содержит около 658,7 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель обучена с использованием CosineSimilarityLoss и ориентирована на английские данные, что отражено в названии репозитория. Её можно применять для поиска похожих текстов и группировки предложений по смыслу. Веса опубликованы в формате safetensors; для использования в README предлагается библиотека Sentence-Transformers. Лицензия в предоставленных данных не указана.

1180март 2024ctx514
textembeddinghugging-face
hkunlp
instructor-large

Instructor-large — модель текстовых эмбеддингов, разработанная исследовательской группой HKUNLP и дообученная следовать инструкциям для получения векторов, настроенных под задачу и предметную область. Задачу задают текстовой инструкцией при кодировании, без отдельного дообучения под каждый сценарий. Модель основана на T5 Encoder и содержит 385,2 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и извлечения информации, классификации, кластеризации, оценки текста и сравнения сходства предложений. Инструкции могут задавать область, например науку, финансы или медицину, и цель представления текста. В README заявлены высокие результаты на разнообразных задачах бенчмарка MTEB. Модель принимает текст и выдаёт эмбеддинги; для работы с ней авторы рекомендуют библиотеку InstructorEmbedding на базе Sentence Transformers. Модель поддерживает английский язык. Лицензия — Apache-2.0. Контекст ограничен 512 токенами, а заявленные результаты бенчмарка не гарантируют качество для каждой пользовательской задачи; инструкцию и применение следует подбирать и оценивать отдельно.

292K526дек. 2022ctx512
textembeddingapache-2.0hugging-face
amadeusai
JabuticaBERT-Large

AmadeusAI/JabuticaBERT-Large — языковая модель на архитектуре DeBERTa-v2, опубликованная на Hugging Face и предназначенная для извлечения признаков из текста. Модель подключается через библиотеку Transformers и преобразует входные последовательности в векторные представления, пригодные для последующей обработки и обучения прикладных моделей. Модель содержит около 533,8 млн параметров и поддерживает контекст длиной до 512 токенов. Её можно использовать для построения эмбеддингов, семантического поиска, кластеризации, классификации и других задач, где нужны информативные представления текста. Сведения о разработчике, поддерживаемых естественных языках и лицензии в доступных источниках отсутствуют.

5510дек. 2024ctx512
textembeddinghugging-face
ManniX-ITA
JackOD-9B-Coder-MTP-GGUF

JackOD-9B-Coder-MTP-GGUF — текстовая модель для генерации кода, разработанная ManniX-ITA. Это GGUF-квантизации модели JackOD-9B-Coder, созданной как объединение нескольких моделей на общей базе Qwen/Qwen3.5-9B: DeltaCoder-9B, Qwopus3.5-9B-coder и Ornith-1.5-9B. Модель ориентирована на многошаговую агентную разработку, продолжение задач между несколькими ходами диалога и работу с инструментами до завершения задачи. Поддерживает английский язык и предназначена прежде всего для программирования, рассуждений и сценариев tool-calling. Модель имеет архитектуру Qwen3.5, около 9,65 млрд параметров, формат GGUF и MTP-компонент, унаследованный от базовой модели. Доступны многочисленные варианты квантизации, включая F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные IQ- и K-варианты; квантизации K и IQ откалиброваны с помощью imatrix. Несмотря на наличие унаследованных метаданных vision, модель не содержит vision tower и является текстовой. В предоставленных оценках она показывает сильные результаты на задачах генерации кода, включая LiveCodeBench v6, однако сведения о производительности в агентном harness основаны на небольшом числе запусков и не являются полноценной статистикой. Модель распространяется по лицензии Apache-2.0.

8.1K2сент. 2026
textapache-2.0hugging-face
dhanesh-hf
Jarvis-Titan-M4-Activated

J.A.R.V.I.S. Titan M4 Activated — текстовая генеративная модель семейства Jarvis Titan MoE от dhanesh-hf. Она дообучена на базе dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled и предназначена для диалогов, рассуждений, математических задач, программирования и взаимодействия с инструментами. В карточке заявлены архитектура MoE, механизм M4 Tri-Brid Neural Memory, внимание CSA3 и многотокенное предсказание; метаданные указывают 7,1 млрд параметров, контекст 32 768 токенов и поддержку Transformers. Модель принимает текст и генерирует текст. Карточка заявляет поддержку английского языка и описывает сценарии длинного контекста, однако приведённые в README характеристики 14,8 млрд параметров и контекст до 131 072 токенов расходятся с метаданными, поэтому здесь указаны значения метаданных. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

1.3K0сент. 2026ctx32.8K
textotherhugging-face
jinaai
jina-reranker-v2-base-multilingual

Jina Reranker v2 Base Multilingual — модель Jina AI для повторного ранжирования результатов поиска. Это кросс-энкодер на базе XLM-RoBERTa, дообученный на парах «запрос — документ»: он принимает запрос и текст документа и возвращает оценку их релевантности, по которой можно переставить результаты поиска. В метаданных указано 305,2 млн параметров; модель доступна в форматах PyTorch, Safetensors и ONNX и использует библиотеку Transformers. Модель предназначена для мультиязычного поиска по документам, коду и структурированным данным, а также для отбора результатов в системах поиска с вызовом инструментов или генерацией SQL. Контекст составляет до 1026 токенов по метаданным; README указывает 1024 токена и описывает разбиение более длинных текстов на фрагменты со скользящим окном. В модели также используется Flash Attention. Карточка приводит сравнительные результаты на нескольких тестах поиска, но они не гарантируют качество для конкретного корпуса или языка. Лицензия CC-BY-NC-4.0 разрешает исследовательское и оценочное использование, но ограничивает коммерческое применение; для коммерческого использования README предлагает обратиться к сервисам Jina AI или связаться с разработчиком.

1.2M364июнь 2024ctx1K
textcc-by-nc-4.0hugging-face
HIT-TMG
KaLM-embedding-multilingual-mini-v1

KaLM-embedding-multilingual-mini-v1 — мультиязычная модель эмбеддингов из серии KaLM-Embedding, разработанной командой HITsz-TMG. Она основана на Qwen/Qwen2-0.5B и обучена на больших объёмах слабой разметки с последующим контролируемым дообучением. Модель имеет плотную архитектуру Qwen2, содержит 494 млн параметров и поддерживает контекст до 131072 токенов. Модель предназначена для преобразования текста в векторы, поиска семантически похожих фраз и других задач, где требуется сравнивать смысл текстов. Подходит для многоязычного семантического поиска, ранжирования кандидатов по релевантности и построения векторного поиска. В карточке приведены оценки на наборах MTEB и C-MTEB; для работы с Qwen2 рекомендуется Transformers версии 4.37.0 или новее. Модель распространяется по лицензии MIT. В README не описаны конкретный перечень поддерживаемых языков и ограничения качества, поэтому область языковой поддержки и применимость к отдельным доменам следует оценивать на собственных данных.

57K31авг. 2024ctx131.1K
textembeddingmithugging-face
letzdev
klue-roberta-base-klue-sts-mrc

Карточка модели letzdev/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

1130авг. 2024ctx514
textembeddinghugging-face
metythorn
Konai-OCR

metythorn/Konai-OCR — модель распознавания текста на изображениях, опубликованная в формате ONNX. README называет её моделью распознавания текста и указывает ViTOCR; метаданные классифицируют её как image-to-text и отмечают архитектурные признаки vision и transformer. Модель предназначена для извлечения текста из изображений с помощью инференса через ONNX Runtime. README упоминает использование Python-библиотек Pillow, PyTorch, torchvision и NumPy, но не приводит сведения о размере модели, поддерживаемых языках, контекстном окне или оценках качества. Лицензия — Apache-2.0.

100июль 2026
textimageapache-2.0hugging-face
lightblue
kurage-en

Kurage-en — англоязычная модель для задач генерации с дополненной поиском (RAG), разработанная Lightblue на основе Qwen2-7B-Instruct. Это плотная причинная языковая модель Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и форматом safetensors; лицензия — Apache-2.0. Модель принимает вопрос и один или несколько фрагментов текста, выбирает релевантные контексты и формирует краткий ответ. Также она умеет расширять ответы, отвечать на английском по материалам на других языках и создавать пары вопросов и ответов по исходному тексту для предварительной индексации. Обучающие примеры получены из отобранных образовательных фрагментов MADLAD-400; для подбора негативных примеров использовалась модель BAAI/bge-m3. Модель предназначена для англоязычных RAG-систем, подготовки данных для поиска и ответов по коллекциям документов. Для режима с одним фрагментом известна склонность иногда ошибочно отказываться отвечать, даже когда контекст содержит ответ; результаты межъязыкового RAG также могут быть нестабильными.

273сент. 2024ctx32.8K
textapache-2.0hugging-face
PaddlePaddle
latin_PP-OCRv5_mobile_rec

latin_PP-OCRv5_mobile_rec — компактная модель распознавания текстовых строк из семейства PP-OCRv5_rec, разработанная командой PaddleOCR. Она предназначена для извлечения текста из изображений и может использоваться как модуль распознавания в OCR-конвейере PP-OCRv5 вместе с обнаружением текста и, при необходимости, коррекцией ориентации и искажений изображения. Модель ориентирована на латинские письменности; карточка указывает поддержку английского и китайского языков, а README отдельно описывает распознавание корейского. Для набора данных латинских языков приведена точность 84,7%; при подсчёте строка считается ошибочной, если неверен хотя бы один символ, включая пунктуацию. Репозиторий распространяется по лицензии Apache-2.0 и использует библиотеку PaddleOCR.

33K8июль 2025
textimageapache-2.0hugging-face
Locutusque
Llama-3-Orca-2.0-8B

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

475апр. 2024ctx8.2K
textotherhugging-face
allenai
llama-3-tulu-2-70b

Llama 3 Tulu 2 70B — большая языковая модель-помощник, разработанная AllenAI и дообученная на базе Meta Llama 3 70B. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст для генерации текста. Заявленная основная языковая ориентация — английский; родной контекст составляет 2048 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций, ответов на вопросы, рассуждений и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM8k, BBH, TyDiQA и HumanEval, однако они не гарантируют качество в конкретном приложении. По сведениям README, модель не проходила этап RLHF для согласования безопасных ответов и может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия репозитория — Apache 2.0.

1430июнь 2024ctx2K
textapache-2.0hugging-face
marrodion
minilm-l12-v2-simple

marrodion/minilm-l12-v2-simple — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2, разработанная автором репозитория marrodion. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией векторов. Метаданные указывают размер около 40 млн параметров и нативный контекст до 512 токенов; в README указан максимальный размер последовательности 128 токенов. Обучение описано на парах предложений с оценками сходства, а в README приведена оценка на наборе SemEval-15-dev. Модель рассчитана на текст на английском языке, как и базовая all-MiniLM-L12-v2. Она выдаёт эмбеддинги, а не готовые ответы; качество зависит от предметной области и данных, а длинные последовательности ограничены указанным размером. В метаданных лицензия не приведена. Для использования требуется библиотека Sentence Transformers.

680май 2024ctx512
textembeddinghugging-face
avsolatorio
MixEmbed-base-20240113172018-latest

MixEmbed-base-20240113172018-latest — компактная модель эмбеддингов предложений на архитектуре BERT, опубликованная avsolatorio. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения текстов. В README модель названа bge-micro и указано, что она дистиллирована из BAAI/bge-small-en-v1.5; число параметров — 18,8 млн, контекст — до 512 токенов. Модель предназначена для английского текста и даёт компактные эмбеддинги с производительностью, сопоставимой с all-MiniLM-L6-v2, согласно README. Для использования через Transformers требуется корректно применить операцию pooling к контекстным представлениям токенов. Репозиторий содержит веса Safetensors. Лицензия в предоставленных данных не указана.

1310янв. 2024ctx512
textembeddinghugging-face
iara-project
ModBERTBr-matryoshka-sts-pt

Это sentence-transformers-модель iara-project, дообученная на базе wallacelw/ModBERTBr для получения векторных представлений предложений и абзацев. Она предназначена для сравнения семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста. Модель построена на ModernBERT с усреднённым пулингом токенов, содержит 135,5 млн параметров и создаёт плотные векторы размерности 768. Поддерживает бразильский португальский язык, принимает последовательности длиной до 512 токенов и использует косинусное сходство; обучение проводилось на наборах NLI и семантического сходства, включая ASSIN, IRIS STS и SICK-BR. README приводит оценки сходства на португалоязычных тестовых наборах и варианты усечения вектора до 512, 256, 128 и 64 измерений. Модель рассчитана на получение текстовых эмбеддингов, а не на генерацию ответов. Сведения о лицензии в предоставленных данных отсутствуют.

1210апр. 2026ctx512
textembeddinghugging-face
lightonai
modernbert-embed-large-unsupervised

ModernBERT-embed-large-unsupervised — англоязычная модель LightOn AI для построения эмбеддингов текста. Это плотный двунаправленный энкодер ModernBERT-large с 394,7 млн параметров и контекстом до 8192 токенов, дообученный Contrastors в течение одной эпохи на 235 млн слабонаблюдаемых контрастивных пар из набора Nomic Embed. Модель предназначена для поиска и сравнения текстов; в README приведены результаты на задачах классификации, кластеризации, поиска, переранжирования и семантического сходства. Репозиторий содержит веса в формате Safetensors и поддерживает извлечение признаков и оценку сходства предложений. Модель рассчитана прежде всего на английский язык. Для использования эмбеддингов в поисковых системах или других приложениях обычно требуется отдельная система индексации и поиска. Лицензия — Apache-2.0.

3970янв. 2025ctx8.2K
textembeddingapache-2.0hugging-face
CocoRoF
ModernBERT-SimCSE-multitask_v03-retry

CocoRoF/ModernBERT-SimCSE-multitask_v03-retry — дообученная на основе CocoRoF/mobert_retry_SimCSE_test модель Sentence Transformer, разработанная CocoRoF. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для сравнения семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура — ModernBERT; модель содержит 183,8 млн параметров и принимает текстовые последовательности длиной до 8192 токенов по метаданным. README указывает максимальную длину 2048 токенов, поэтому фактический предел может зависеть от конфигурации используемого пайплайна. Для оценки сходства применяется косинусная мера; в README приведены результаты на sts_dev: 0,789 по Spearman и 0,7886 по Pearson. Примеры обучающих и оценочных данных — корейские предложения, но поддержка других языков явно не заявлена. Модель сохраняет веса в формате safetensors и может применяться через библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

1100февр. 2025ctx8.2K
textembeddinghugging-face
abideen
MonarchCoder-7B

MonarchCoder-7B — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная abideen слиянием методом SLERP моделей Tess-Coder-7B-Mistral-v1.0 и AlphaMonarch-7B с помощью LazyMergekit. Модель предназначена для генерации кода, диалога и рассуждений; автор сообщает об улучшенных результатах на бенчмарках OpenLLM, Nous и HumanEval по сравнению с исходными моделями в описанных задачах. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и рассчитана прежде всего на английский язык. Доступны веса в формате safetensors для Transformers. Лицензия — Apache-2.0. Заявления о сравнительных результатах основаны на оценках автора; конкретные значения в доступном тексте карточки опущены.

701февр. 2024ctx32.8K
textapache-2.0hugging-face
luiz-and-robert-thesis
mpnet-frozen-last-4-newtriplets-v2-lr-2e-6-m-1-e-3

luiz-and-robert-thesis разработали модель эмбеддингов на базе MPNet для представления предложений и абзацев в виде плотных векторов размерности 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучали с TripletLoss и косинусной метрикой расстояния; доступна в формате safetensors и рассчитана на контекст до 514 токенов. Для использования предусмотрена библиотека Sentence-Transformers. Лицензия в предоставленных данных не указана.

940апр. 2024ctx514
textembeddinghugging-face
marianodo
MultipleNegativesRankingLoss

marianodo/MultipleNegativesRankingLoss — модель Sentence Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерностью 768. Она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством и предназначена для сравнения смысловой близости текстов. Модель подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch. Лицензия в предоставленных данных не указана.

690май 2023ctx514
textembeddinghugging-face
swardiantara
MultiSource-full-cdk0-m0.5-e5-b128-L6

Карточка модели swardiantara/MultiSource-full-cdk0-m0.5-e5-b128-L6 на Hugging Face совпадает с карточкой swardiantara/one-cdk0-m0.5-e5-b128-L6, поэтому описание составлено по ней. swardiantara/one-cdk0-m0.5-e5-b128-L6 — модель Sentence-Transformers на базе BERT, разработанная пользователем swardiantara. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 25,9 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Модель подходит для построения эмбеддингов и поиска семантически близких фрагментов; README не приводит результаты оценки качества. Лицензия в предоставленных данных не указана.

940нояб. 2025ctx512
textembeddinghugging-face
mixedbread-ai
mxbai-embed-2d-large-v1

mxbai-embed-2d-large-v1 — модель эмбеддингов предложений от Mixedbread AI на архитектуре BERT, реализованная как плотный энкодер. Она содержит около 433,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель создаёт векторные представления предложений и поддерживает адаптивный выбор глубины трансформера и размера эмбеддинга; для этой версии авторы рекомендуют использовать 20–24 слоя. Модель предназначена для поиска по смыслу, сравнения предложений и других сценариев, где текст нужно представить в виде эмбеддингов. По заявлению авторов, уменьшение модели примерно вдвое сохраняет до 85% исходной производительности без дополнительного обучения; также можно уменьшать размер эмбеддингов. Доступны веса Safetensors и формат ONNX, а для вывода подходят Sentence Transformers и Transformers.js. Модель поддерживает английский язык. Лицензия — Apache-2.0. README рекомендует адаптивную конфигурацию слоёв, но не приводит детальных результатов оценки или ограничений качества на отдельных наборах данных.

174K43март 2024ctx512
textembeddingapache-2.0hugging-face
mlx-community
mxbai-embed-large-v1

Это версия mxbai-embed-large-v1 в формате MLX, преобразованная сообществом mlx-community из модели mixedbread-ai/mxbai-embed-large-v1 с помощью mlx-lm. Модель на архитектуре BERT предназначена для получения плотных текстовых эмбеддингов, семантического поиска и сравнения предложений; библиотека карточки — sentence-transformers. Модель содержит 433,9 млн параметров, принимает текст и имеет контекстное окно 512 токенов. В карточке указан английский язык. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0. README указывает на использование через пакет mlx-embeddings.

3434июль 2025ctx512
textembeddingapache-2.0hugging-face
gavinqiangli
my-awesome-bi-encoder

gavinqiangli/my-awesome-bi-encoder — дообученная модель Sentence Transformers на базе google-bert/bert-base-uncased. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для сравнения векторов используется косинусное сходство; архитектура включает BERT и mean pooling. Метаданные указывают контекст до 512 токенов, тогда как в README максимальная длина последовательности указана как 128 токенов. Модель обучена на 103 663 примерах с MultipleNegativesRankingLoss. В README приведены результаты оценки бинарной классификации сходства, включая точность cosine_accuracy 0,7644 и F1 0,6959. Базовая модель англоязычная, а обучающие примеры также написаны на английском. Репозиторий содержит веса в формате safetensors. Условия лицензирования в предоставленных данных не описаны.

900нояб. 2024ctx512
textembeddinghugging-face
zSQ2WSA
MyAwesomeModel-TestRepo

MyAwesomeModel — модель из репозитория zSQ2WSA/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers и распространяемая по лицензии MIT. В метаданных она обозначена как модель для извлечения признаков и связана с архитектурой BERT, PyTorch и Transformers. Это позволяет использовать её для получения векторных представлений текста и последующей обработки в задачах машинного обучения.

2360сент. 2026
textembeddingmithugging-face
microsoft
NextCoder-14B

NextCoder-14B — языковая модель для редактирования и генерации кода, разработанная Microsoft на базе Qwen2.5-Coder-14B-Instruct. Модель дообучена методом SeleKT и предназначена для внесения разнообразных изменений в код, анализа запросов разработчика и диалоговой помощи при работе с программами. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM, размером около 14 млрд параметров и контекстом до 32 768 токенов. Она поддерживает чат и интерфейс вызова инструментов; опубликованные веса представлены в формате safetensors. В карточке указана поддержка английского языка. Модель ориентирована на задачи редактирования кода и сохраняет возможности базовой инструкционной модели для генерации и анализа кода. Она может быть восприимчива к вредоносным запросам и генерировать опасный код; результаты следует проверять и выполнять в изолированной среде. Лицензия — MIT.

25923май 2025ctx32.8K
textmithugging-face
Mungert
NextCoder-14B-GGUF

Mungert/NextCoder-14B-GGUF — это GGUF-версия кодовой языковой модели NextCoder-14B, разработанной Microsoft на базе Qwen2.5-Coder-14B-Instruct. Модель предназначена для генерации и редактирования программного кода, включая исправление функций, работу с разнообразными изменениями в коде и чатовые сценарии. Она обучалась с применением метода SeleKT (Selective Knowledge Transfer), ориентированного на адаптацию моделей к задачам редактирования кода, без потери общей применимости. Модель является авторегрессионной causal language model с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и GQA с 40 головами для запросов и 8 для ключей и значений. Она содержит около 14,7 млрд параметров, из которых 13,1 млрд — без учёта embedding, и 48 слоёв. Заявлена поддержка контекста до 32K токенов; в карточке указан английский язык. GGUF-файлы созданы с помощью llama.cpp и используют экспериментальный подход с повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантования, но увеличивает размер файла. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантования; конкретный вариант квантования в карточке не указан. Модель распространяется по лицензии MIT.

8312июль 2025
textmithugging-face
microsoft
NextCoder-7B

NextCoder-7B — языковая модель для работы с программным кодом, разработанная Microsoft на основе Qwen2.5-Coder-7B-Instruct и дообученная методом SeleKT. Это причинная плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; в метаданных указано 7,1 млрд параметров, а в README — 7,61 млрд. Контекст — до 32 768 токенов. Модель предназначена прежде всего для редактирования кода: она может предлагать правки и исправления в диалоговом режиме, сохраняя возможности генерации кода базовой модели. Подходит для интеграции в инструменты разработчика и сценарии работы с длинными фрагментами кода. Выпущена под лицензией MIT. В README отмечена уязвимость базовых моделей семейства QwenCoder к вредоносным запросам и возможность генерации потенциально опасного кода; авторы рекомендуют проверять результаты и запускать код в изолированной среде. Для загрузки требуется актуальная версия Transformers с поддержкой Qwen2.

57241май 2025ctx32.8K
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей