/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
17 551–17 580 из 23 488
batiai
Qwen3-VL-Embedding-8B-GGUF

Qwen3-VL-Embedding-8B-GGUF — мультимодальная модель для создания векторных представлений текста и изображений в общем embedding-пространстве. Она основана на Qwen/Qwen3-VL-Embedding-8B и была квантована BatiAI из исходных BF16 safetensors для локального использования, в частности в on-device RAG-системах и BatiFlow. Архитектура включает Qwen3-VL с pooling head, текстовую часть на 8 млрд параметров и vision tower. Модель предназначена для семантического поиска и мультимодального retrieval: поиска изображений по текстовому запросу, поиска текстов по изображению, а также совместной индексации PDF, заметок и изображений в одной векторной базе данных. Заявлена поддержка английского, корейского, японского и китайского языков. Для текстовых входов модель возвращает векторы размерностью 3584. Доступны квантования Q6_K размером около 5,8 ГБ и Q8_0 размером около 7,5 ГБ; Q6_K указано как минимально рекомендуемое из-за чувствительности embedding-моделей к низкобитному квантованию. Сильные стороны модели — мультимодальность, единое пространство для текста и изображений, многоязычность и ориентация на локальный запуск. В README модель характеризуется как одна из наиболее качественных многоязычных embedding-моделей и позиционируется для сценариев, где важнее качество поиска, чем минимальная задержка. При этом собственные прямые измерения качества retrieval, например MTEB, в карточке не приведены, а работа с изображениями требует мультимодальной сборки llama.cpp с поддержкой mtmd. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

7247апр. 2026
textapache-2.0hugging-face
jegormeister
robbert-v2-dutch-base-mqa-finetuned

jegormeister/robbert-v2-dutch-base-mqa-finetuned — модель эмбеддингов предложений на базе RobBERT v2, дообученная для нидерландского языка на 1 000 000 парах вопросов и ответов из датасета clips/mqa. Она преобразует предложения и абзацы в плотные векторы размерности 768; архитектура — RoBERTa с 144 млн параметров, максимальная длина контекста — 514 токенов. Модель предназначена для семантического поиска, сравнения сходства и кластеризации текстов, особенно в сценариях поиска по FAQ. Для получения векторов можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling. Модель принимает текст и выдаёт векторы, а не готовые ответы на вопросы. Лицензия в предоставленных данных не указана.

1015апр. 2022ctx514
textembeddinghugging-face
Fulcrum-AI
Ryze-Embed-3

Fulcrum-AI/Ryze-Embed-3 — объединённая методом passthrough модель на архитектуре Qwen2, созданная с помощью mergekit на основе Alibaba-NLP/gte-Qwen2-1.5B-instruct. Веса доступны в формате safetensors; размер модели — 2,7 млрд параметров, максимальный контекст — 131 072 токена. В метаданных модель обозначена как text-generation и conversational. Базовая модель предназначена для преобразования текстов в эмбеддинги для семантического поиска, сравнения и ранжирования; карточка этой модели не уточняет, сохраняет ли объединённая версия эти возможности и как её применять. Лицензия в предоставленных данных не указана.

130авг. 2024ctx131.1K
texthugging-face
Sakalti
Saba2.1-Preview

Saba2.1-Preview — языковая модель Sakalti с архитектурой Qwen2 и 1,5 млрд параметров, дообученная на основе Sakalti/Saba2-Preview. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 200 000 токенов и ориентирована на английский язык. Весовые файлы опубликованы в формате safetensors. Модель доступна по лицензии Apache-2.0. README указывает на обучение с Unsloth и библиотекой TRL.

190дек. 2024ctx200K
textapache-2.0hugging-face
Lajavaness
sentence-camembert-base

Lajavaness/sentence-camembert-base — модель для получения векторных представлений французских предложений, разработанная Lajavaness на основе dangvantuan/sentence-camembert-base. Модель CamemBERT с 137,8 млн параметров дообучена методом Augmented SBERT на данных STSB с использованием стратегий подбора пар и двух моделей CrossEncoder-camembert-large и dangvantuan/sentence-camembert-large. Модель предназначена для оценки семантического сходства и построения систем поиска по смыслу на французском языке. В README приведены результаты на STS-бенчмарках, измеренные корреляцией Пирсона и Спирмена. Максимальная длина контекста — 514 токенов. Распространяется по лицензии Apache-2.0.

4596окт. 2023ctx514
textembeddingapache-2.0hugging-face
Muennighoff
SGPT-125M-lasttoken-msmarco-specb

Muennighoff/SGPT-125M-lasttoken-msmarco-specb — модель для получения эмбеддингов предложений на базе GPT-Neo, разработанная для семантического поиска и сравнения текстов. В ней около 137,7 млн параметров; модель обучена с функцией MultipleNegativesRankingLoss на парах для ранжирования по косинусному сходству. Репозиторий содержит веса PyTorch, максимальная длина контекста — 2048 токенов. Модель подходит для поиска документов и фрагментов по смыслу, сопоставления запросов с текстами и вычисления семантического сходства. Она выдаёт векторные представления текста. Данные подтверждают обучение на MS MARCO, но не дают оснований утверждать поддержку конкретных языков или наличие мультиязычной настройки. Лицензия в предоставленных материалах не указана.

680март 2022ctx2K
textembeddinghugging-face
tomaarsen
splade-modernbert-base-miriad

tomaarsen/splade-modernbert-base-miriad — это разреженный SPLADE-энкодер, дообученный на парах «вопрос–фрагмент текста» из набора MIRIAD с помощью библиотеки Sentence Transformers. В основе лежит encoder-only ModernBERT-base на 149 млн параметров; модель преобразует предложения и абзацы в разреженные векторы размерностью 50 368, сопоставляемые скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения релевантных текстов, в том числе для поиска фрагментов по запросу. Она поддерживает последовательности до 8 192 токенов и обучена для английского языка. Распространяется по лицензии Apache-2.0.

1801июнь 2025ctx8.2K
textembeddingapache-2.0hugging-face
stabilityai
stablelm-2-12b

Stable LM 2 12B — базовая авторегрессионная языковая модель, разработанная Stability AI. Это плотный трансформер-декодер с 11,6 млрд параметров по метаданным (в README указано 12,1 млрд), обученный на 2 трлн токенов текстовых и программных данных. Модель предназначена для дальнейшей тонкой настройки под прикладные задачи. Модель генерирует продолжение текста по текстовому запросу. В архитектуре используются Rotary Position Embeddings, групповые запросы внимания и токенизатор Arcade100k; максимальная длина контекста — 4096 токенов. В обучающих данных есть несколько европейских языков и код, однако в README основным языком назван английский. Это базовая модель, поэтому её поведение и пригодность для конкретной задачи требуют оценки и, как правило, дообучения. Она может выдавать ненадёжный, небезопасный или нежелательный текст, включая отражение предвзятостей обучающих данных. Указана Stability AI Community License; условия коммерческого использования следует проверять по лицензии модели.

959121март 2024ctx4.1K
textotherhugging-face
duyntnet
Starling-LM-7B-beta-imatrix-GGUF

duyntnet/Starling-LM-7B-beta-imatrix-GGUF — набор imatrix-квантизаций языковой модели Starling-LM-7B-beta, разработанной Nexusflow и опубликованной в формате GGUF. Модель предназначена для генерации текста, диалоговых сценариев и задач программирования; поддерживается английский язык. Это текстовая модель без заявленной поддержки других модальностей. Размер исходной модели — 7 млрд параметров, однако точный размер и тип каждой квантизации в README не указаны; сведения о длине контекста и базовой архитектуре отсутствуют. Модель рассчитана на одно- и многоходовые диалоги с использованием шаблона, совместимого с Openchat-3.5-0106, а также на режим программирования с отдельным шаблоном Code User/Code Assistant. Точное соблюдение шаблона важно для качества работы. Модель доступна для тестирования через LMSYS Chatbot Arena и может запускаться с использованием Transformers или совместимых инструментов для GGUF. К сильным сторонам относятся поддержка диалогов и генерации кода, а также наличие оптимизированных квантизированных вариантов для локального запуска. Ограничения включают возможную избыточную многословность в отдельных случаях и снижение качества при неправильном формате промпта; для уменьшения многословности рекомендуется temperature=0. Лицензия указана как other, без дополнительных условий в README, поэтому точные права и ограничения использования следует уточнять по источнику модели.

7780апр. 2024
textotherhugging-face
peculiar-ragdoll
Tiel-Coder-35B-A3B-GGUF-MTP

Tiel-Coder-35B-A3B-GGUF-MTP — локальная модель для агентного программирования, разработанная peculiar-ragdoll на основе Ornith-1.5-35B-A3B. Это динамически переквантованная версия с собственной imatrix и шаблоном диалогов Sharp, встроенными в формат GGUF. Модель предназначена для запуска через llama.cpp и поддерживает MTP для speculative decoding. Основной сценарий применения — исправление реальных проблем в кодовых базах и поддержание длительных многошаговых диалогов. По данным README, модель особенно сильна в SWE-задачах и многоходовом взаимодействии, но заметно слабее подходит для викторин, экзаменационных вопросов и задач, требующих широких знаний или сложного рассуждения. В SWE-bench-Live она решила 12 из 25 задач, а в Claw-Eval получила результат 67,2; на MMLU-Pro показала 73,7. Модель имеет архитектуру MoE и обозначение 35B-A3B; доступны GGUF-квантизации от 2 до 8 бит размером примерно от 12,7 до 38,8 ГБ. Заявлена поддержка английского и китайского языков, а также контекста до 262 тысяч токенов. Благодаря MoE она рассчитана на высокую скорость, включая запуск с частичным offload на небольших GPU. Для агентного программирования рекомендуется использовать контекст 131–262 тысячи токенов и KV-кэш не ниже q8_0, если хватает совокупной RAM и VRAM. README также указывает теги vision и image-text-to-text, однако подробности мультимодальных возможностей не приведены. Модель распространяется по лицензии MIT. Ограничения включают существенное падение качества на самых низких уровнях квантизации, а также более слабые результаты в знаниях и рассуждении по сравнению с рядом альтернатив. Для запуска требуется подобрать вариант GGUF с учётом доступной совокупной памяти и желаемого размера контекста.

1.9M286авг. 2026
textimagemithugging-face
facebook
wav2vec2-base-10k-voxpopuli-ft-de

facebook/wav2vec2-base-10k-voxpopuli-ft-de — модель распознавания речи на базе Wav2Vec2 от Facebook AI. Сначала её предварительно обучили на 10 тысячах часов неразмеченной речи из VoxPopuli, затем дообучили на расшифрованных немецкоязычных данных из этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель принимает аудио и преобразует немецкую речь в текст. Она предназначена для автоматической транскрибации немецкой речи, включая обработку записей и аудиоданных в приложениях распознавания речи. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

3401март 2022
textaudiocc-by-nc-4.0hugging-face
RASMUS
wav2vec2-xlsr-1b-ru

RASMUS разработал wav2vec2-xlsr-1b-ru — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученную на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует русскую речь в текст и подходит для автоматической расшифровки аудиозаписей. На оценочной выборке указаны Loss 0,1352 и WER 0,0971. Модель содержит 1,3 млрд параметров и распространяется в формате PyTorch. Лицензия в доступных данных не указана.

122март 2022
textaudiohugging-face
lodrick-the-lafted
Winged-Lagomorph-2x13B

Winged-Lagomorph-2x13B — языковая модель для генерации текста, созданная слиянием WhiteRabbitNeo-13B-v1 и NexusRaven-V2-13B с помощью mergekit. Для обычных задач с кодом в карточке рекомендуется шаблон WhiteRabbitNeo, а для вызова функций — шаблон NR. Модель имеет архитектуру MixtralForCausalLM типа MoE, содержит 12,9 млрд параметров и поддерживает контекст до 16 384 токенов. В карточке приведён пример генерации скрипта на pwntools для переполнения буфера. Модель предназначена для генерации текста и кода, а метаданные также указывают поддержку классификации текста. Используется лицензия Llama 2.

243янв. 2024ctx16.4K
textllama2hugging-face
openbmb
AgentCPM-Explore

AgentCPM-Explore — агентная языковая модель с 3,7 млрд параметров, разработанная OpenBMB и построенная на архитектуре Qwen3. Она дообучена на Qwen/Qwen3-4B-Thinking-2507 и предназначена для продолжительных задач, требующих рассуждений, поиска и взаимодействия с инструментами и средой. Модель поддерживает контекст до 262 144 токенов и представлена в формате Safetensors для Transformers. По данным разработчиков, AgentCPM-Explore рассчитана на многошаговое исследование: она может поддерживать более 100 раундов взаимодействия, сопоставлять сведения из нескольких источников, менять стратегию поиска и проверять актуальные данные. Разработчики сообщают о результатах на восьми бенчмарках длительных агентных задач, включая GAIA, HLE и BrowserComp, и позиционируют модель как компактную основу для агентов, в том числе на устройствах с ограниченными ресурсами. Для практического применения генерация текста модели может служить основой агентного контура с поиском и инструментами; сама модель не гарантирует доступ к вебу или выполнение действий без соответствующей инфраструктуры. Модель распространяется по лицензии Apache-2.0.

635418янв. 2026ctx262.1K
textapache-2.0hugging-face
jangedoo
all-miniLM-L6-v4-nepali

jangedoo разработал компактную модель Sentence Transformers на основе jangedoo/all-MiniLM-L6-v3-nepali, дообучив её на наборах данных для поиска, сопоставления предложений и кросс-языковых задач. Модель использует архитектуру BERT с усреднённым пулингом и нормализацией, преобразует текст в плотные векторы размерности 384 и сравнивает их по косинусному сходству. В метаданных указано 25,9 млн параметров; README задаёт максимум 256 токенов на последовательность, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и извлечения релевантных документов, сопоставления похожих предложений и поиска между английским и непальским языками. Её можно применять в поиске по новостям, вопросно-ответных корпусах и каталогах товаров. Поддерживаются текст на непальском и английском языках. Качество зависит от языка и предметной области: приведённые в карточке метрики для непальского на задаче сходства ниже, чем для английского; длина входа ограничена. Лицензия в предоставленных данных не указана.

640июль 2026ctx512
textembeddinghugging-face
omarelshehy
Arabic-Retrieval-v1.0

Arabic-Retrieval-v1.0 — модель эмбеддингов предложений, опубликованная пользователем omarelshehy и построенная на sentence-transformers с архитектурой BERT. Она дообучена на базе aubmindlab/bert-base-arabertv02 для поиска и сопоставления арабоязычных запросов и текстов. Модель выдаёт векторы размерности 768; для оценки сходства используется косинусная близость. Максимальная длина входной последовательности — 512 токенов. Модель предназначена для семантического поиска, информационного поиска и извлечения релевантных фрагментов, в том числе в системах вопросов и ответов и RAG. В README приведено сравнение на трёх наборах данных по NDCG@10: результаты близки к multilingual-e5-large и multilingual-e5-base, однако заявленные показатели относятся к указанным наборам и не гарантируют качество на других данных. Автор также заявляет об экономии памяти относительно крупных мультиязычных моделей, но подробности замеров не приводятся. Модель рассчитана на арабский язык, включая его диалектные особенности. Лицензия — Apache-2.0. Вход — текст, выход — векторные представления для сравнения и ранжирования; контекст ограничен 512 токенами.

4.0K6дек. 2024ctx512
textembeddingapache-2.0hugging-face
Metric-AI
armenian-text-embeddings-2-large

Armenian-Text-Embeddings-2-large — модель Metric-AI для создания плотных векторных представлений армянских текстов. Она дообучена на базе intfloat/multilingual-e5-large, использует архитектуру XLM-RoBERTa и содержит около 658,7 млн параметров. Модель принимает текст и выдаёт эмбеддинги размерностью 1024; максимальная длина последовательности — 514 токенов. Модель предназначена для семантического поиска на армянском языке, задач RAG, сравнения документов, информационного поиска, классификации и кластеризации текстов. В карточке также заявлена обработка транслитерированных запросов и поддержка межъязыкового понимания. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Качество может снижаться на узкоспециализированной терминологии; модель может недостаточно учитывать культурный контекст армянского языка. На результаты также могут влиять качество обучающих данных и предвзятость текстов Reddit.

1.3K7март 2026ctx514
textembeddingmithugging-face
Hemg
biology-english-pancasila-2

Hemg/biology-english-pancasila-2 — модель Sentence Transformers на базе BERT для преобразования предложений и абзацев в плотные векторы размерностью 384. Её можно использовать для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. По метаданным, она содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Название указывает на тематику биологии и английский язык, однако README и метаданные не подтверждают специализацию или набор языков обучения. Для использования требуется библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

1030авг. 2024ctx512
textembeddinghugging-face
bowdpr
bowdpr_wiki_triviaft

bowdpr/bowdpr_wiki_triviaft — дообученный плотный ретривер для поиска ответов на вопросы, созданный на основе bowdpr/bowdpr_wiki. Модель использует архитектуру BERT с 136,7 млн параметров и кодирует предложения и абзацы в плотные векторы размерности 768. Для поиска по TriviaQA модель дообучали в два этапа с негативными примерами BM25 и примерами, найденными на первом этапе; дистилляция не применялась. Модель предназначена для семантического поиска и извлечения релевантных фрагментов по запросам, в том числе в QA-сценариях. Она принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 512 токенов. В карточке не приведены сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

990янв. 2024ctx512
textembeddinghugging-face
lightonai
ColBERT-Zero-noprompts

ColBERT-Zero-noprompts — модель LightOn, созданная для поиска и ранжирования документов по запросу. Это вариант семейства ColBERT на архитектуре ModernBERT с 149 млн параметров, реализованный в PyLate. Модель формирует многовекторные представления текста размерности 128 и сравнивает запросы и документы с помощью MaxSim; для запросов предусмотрена длина до 32 токенов, для документов — до 512 токенов. Метаданные также указывают контекст до 8192 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и переранжирования результатов первой поисковой системы. Она обучена с дистилляцией на открытых данных; в README семейство ColBERT-Zero демонстрирует 55,43 nDCG@10 на BEIR, однако это значение не подтверждено отдельно именно для варианта noprompts. Для использования рекомендуется передавать prompt_name="query" и prompt_name="document" соответственно: пропуск или несоответствие подсказок может снизить качество. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.

1402февр. 2026ctx8.2K
textapache-2.0hugging-face
JANGQ-AI
dots3-note-prev-NVFP4

JANGQ-AI выпустила NVFP4-квантизированную версию dots-studio/dots3-note-prev для видеокарт NVIDIA Blackwell, включая RTX 50 и DGX Spark. Модель семейства dots3-note использует архитектуру MoE: в README указаны 280 млрд общих и 16 млрд активных параметров, 256 маршрутизируемых экспертов и один общий эксперт. Метаданные Hugging Face указывают 15,4 млрд параметров; размер модели поэтому приводится по README, а значение из метаданных не совпадает с ним. Модель предназначена для диалогов, программирования, рассуждений и агентных сценариев с вызовом инструментов. Она принимает текст, изображения, видео и аудио; видео обрабатывается вместе с аудиодорожкой. Контекст по метаданным — до 524 288 токенов. Квантизация затрагивает экспертные слои, тогда как компоненты внимания, общие эксперты, мультимодальные энкодеры и ряд других слоёв оставлены в BF16. README сообщает о проверенном vLLM-рантайме для двух узлов DGX Spark с tensor parallelism 2. Модель распространяется с открытыми весами по лицензии Apache-2.0. Её применение рассчитано на совместимое оборудование NVIDIA Blackwell и требует ресурсоёмкой конфигурации: README указывает около 174 ГБ на диске и запуск на двух узлах DGX Spark. Характеристики и ограничения качества независимыми оценками в предоставленных материалах не подтверждены.

1133авг. 2026ctx524.3K
textapache-2.0hugging-face
antoinelouis
dpr-xm

DPR-XM — мультиязычная плотная двухбашенная bi-encoder-модель для поиска абзацев по запросам, разработанная Antoine Louis и соавторами. Она кодирует запросы и passages в отдельные векторы размерностью 768 и предназначена для семантического поиска и ранжирования найденных документов по близости векторных представлений. Модель построена на X-MOD и дообучена на английской части MS MARCO passage ranking с трудными негативными примерами; обучение проводилось на 25,6 млн троек «запрос, релевантный абзац, нерелевантный абзац». Благодаря языковым адаптерам X-MOD модель поддерживает перенос поиска на другие языки без отдельного обучения на каждом из них. Контекст модели — 514 токенов, максимальная длина запросов и абзацев при обучении составляла 128 токенов. Модель рассчитана на текстовый ввод и выдаёт векторные представления; доступны веса PyTorch и Safetensors для Sentence-Transformers и Transformers. DPR-XM подходит для мультиязычного поиска по коллекциям документов, в том числе для межъязыкового поиска. Оценка проводилась на mMARCO, включая русский язык. Лицензия и её условия в предоставленных данных не указаны.

356февр. 2024ctx514
textembeddinghugging-face
clips
e5-base-v2-t2t-nl

clips/e5-base-v2-t2t-nl — дообученная командой CLIPS версия модели clips/e5-base-v2-t2t для работы с нидерландским текстом. Она создаёт плотные векторные представления предложений и предназначена для семантического поиска, сравнения предложений и ранжирования текстов; в карточке приведён пример кодирования запросов и фрагментов MS MARCO. Модель построена на архитектуре BERT и содержит 136,3 млн параметров. Она использует библиотеку Sentence Transformers, распространяется в формате Safetensors и имеет лицензию MIT. Модель рассчитана на нидерландский язык, обучена с использованием наборов данных BEIR для mMARCO, HotpotQA и FEVER. Длина контекста составляет 512 токенов. Эти характеристики делают её подходящей для поиска и сопоставления нидерландских текстов; README ссылается на оценку в бенчмарке MTEB-NL, но предоставленный фрагмент таблицы не содержит результатов этой модели.

1070сент. 2025ctx512
textembeddingmithugging-face
Haon-Chen
e5-omni-7B

e5-omni-7B — мультимодальная модель эмбеддингов от Haon-Chen, созданная дообучением Qwen/Qwen2.5-Omni-7B. Она кодирует текст, изображения, аудио и видео в единое векторное пространство, чтобы находить соответствующие материалы между модальностями и выполнять мультимодальный поиск. Для получения эмбеддингов доступны интеграции с Sentence Transformers и Transformers; в README заявлены результаты на MMEB-V2 и AudioCaps. Модель подходит для поиска по видео и аудио, поиска изображений, диаграмм и документов, а также многоязычного текстового поиска. Репозиторий содержит веса Safetensors, основная задача по карточке — visual-document-retrieval, а каталог также отмечает извлечение признаков и сходство предложений. Лицензия — MIT.

25511янв. 2026ctx32.8K
textembeddingmithugging-face
Xenova
e5-small-v2

Xenova/e5-small-v2 — веб-совместимая версия модели intfloat/e5-small-v2, подготовленная с ONNX-весами для работы через библиотеку Transformers.js. По представленным данным, исходная модель разработана командой или организацией intfloat, а Xenova предоставляет адаптированный репозиторий для использования в JavaScript-окружениях. Модель предназначена для извлечения признаков из текста и может применяться в сценариях, где требуется получить векторное представление текстового ввода, например для семантического поиска или сравнения текстов. Архитектура, число параметров, поддерживаемые языки, размер контекста и точные характеристики выходных векторов в README не указаны. Ключевое преимущество — совместимость с Transformers.js и возможность использования ONNX-весов в веб-ориентированных приложениях. Лицензия и условия коммерческого или иного использования в представленном описании не указаны.

29K4июнь 2023ctx512
textembeddinghugging-face
ayushexel
emb-all-MiniLM-L6-v2-gooaq-5-epochs

Это англоязычный энкодер предложений ayushexel, дообученный на базе sentence-transformers/all-MiniLM-L6-v2 на наборе вопросов и ответов GooAQ. Модель преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384; для сравнения векторов используется косинусное сходство. Архитектура основана на BERT с усреднением токенных представлений и нормализацией. В метаданных указан контекст до 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Её можно использовать, например, для поиска ответов по английским вопросам или группировки похожих вопросов и ответов. Обучение на GooAQ ориентирует её на пары «вопрос—ответ»; на GooAQ dev указана точность по косинусному сходству 0,6034. Это модель представлений, а не генератор текста; заявленные задачи и характеристики относятся к английскому языку. Лицензия в предоставленных данных не указана.

1310апр. 2025ctx512
textembeddinghugging-face
thanhpham1
Finetuned-all-mpnet-base-v2-with-technical-docs

Это англоязычная модель Sentence Transformers, дообученная thanhpham1 на базе sentence-transformers/all-mpnet-base-v2 на 5 146 парах технических текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска и сравнения текстов; близость оценивается косинусным сходством. Архитектура включает MPNet, усреднение токенных представлений и нормализацию векторов. Обучение Matryoshka позволяет использовать укороченные представления размерностью 512, 256, 128 или 64 с компромиссом между размером вектора и качеством поиска. Модель подходит для поиска ответов и фрагментов в технической документации, сопоставления технических вопросов с релевантными пояснениями, поиска перефразировок и кластеризации технических текстов. README приводит метрики поиска на нескольких размерностях, однако подробности тестового набора ограничены. Максимальная длина последовательности в README указана как 384 токена, а метаданные указывают контекст до 514 токенов. Лицензия Apache-2.0.

1130июнь 2025ctx514
textembeddingapache-2.0hugging-face
AISE-TUDelft
java-rational-classifier

AISE-TUDelft/java-rational-classifier — модель на базе MPNet, созданная командой AISE-TUDelft и представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости; модель также подходит для семантического поиска и кластеризации текстов. Число параметров — 136,7 млн, длина контекста — 514 токенов. Модель поставляется в формате PyTorch и обучалась с функцией потерь CosineSimilarityLoss. Название указывает на специализацию на классификации Java-кода по рациональным свойствам, но README описывает применение только как модели эмбеддингов и не раскрывает детали этой специализации. Лицензия в предоставленных сведениях не указана.

1110янв. 2023ctx514
textembeddinghugging-face
Xenova
jina-embeddings-v2-base-en

Xenova/jina-embeddings-v2-base-en — это версия модели jinaai/jina-embeddings-v2-base-en с весами в формате ONNX, адаптированная для работы с библиотекой Transformers.js. Модель предназначена для извлечения признаков и создания векторных представлений англоязычных текстов, которые можно использовать для семантического поиска, сравнения текстов и других задач, основанных на сходстве эмбеддингов. Для получения эмбеддингов используется pipeline feature-extraction в Transformers.js с усредняющим pooling; сходство векторов можно оценивать, например, с помощью косинусной близости. Доступны варианты вычислений fp32, fp16, q8 и q4, что позволяет выбирать между точностью и требованиями к ресурсам. В README не указаны архитектура, размер модели, размерность эмбеддингов, максимальная длина контекста и точный перечень языков, поэтому эти характеристики нельзя достоверно описать. К сильным сторонам относятся совместимость с JavaScript-экосистемой Transformers.js и наличие ONNX-весов, пригодных для запуска в поддерживаемых средах, включая потенциальные веб-сценарии. К ограничениям относятся англоязычная специализация исходной модели и возможное снижение качества при квантовании. Лицензия в README не указана.

4.6K10окт. 2023ctx8.2K
texthugging-face
NGA-KR
ko-embed-v0

NGA-KR/ko-embed-v0 — корейская плотная модель эмбеддингов текста от NGA-KR, дообученная на базе skt/A.X-Encoder-base. Она построена на архитектуре ModernBERT, содержит 148,7 млн параметров и обрабатывает контекст до 16 384 токенов. Модель предназначена для создания векторных представлений запросов и документов, поиска по сходству и семантического поиска; для запросов и документов в конфигурации предусмотрены подсказки «query: » и «passage: ». Модель проверялась на 20 задачах MTEB(kor, v2), при этом обучение проводилось только на открытых англоязычных наборах данных для поиска, без обучающих разделов корейских бенчмарков, поэтому оценка на MTEB(kor, v1/v2) является zero-shot. Доступна по лицензии Apache-2.0.

1570сент. 2026ctx16.4K
textembeddingapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей