/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
12 961–12 990 из 23 488
KRLabsOrg
verbatim-rag-modern-bert-v1

Verbatim RAG Extractor Model — дообученная KRLabsOrg модель на базе ModernBERT-base для отбора предложений, релевантных вопросу, в системе Verbatim RAG. Она кодирует вопрос и предложения документа в одной последовательности и применяет линейную классификационную голову, присваивая каждому предложению один из двух классов: релевантное или нерелевантное. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Модель предназначена для извлечения подходящих фрагментов из найденных документов перед формированием ответа на вопрос. Порог уверенности по умолчанию равен 0,5; его можно менять, чтобы балансировать точность и полноту отбора. В карточке указана англоязычная поддержка. Лицензия — MIT. Для интеграции README рекомендует пакет verbatim-rag; заявлены зависимости от PyTorch и Transformers.

4215июль 2025ctx8.2K
textmithugging-face
burakaydinofficial
whisper-base-24lang

burakaydinofficial/whisper-base-24lang — мультиязычная модель распознавания речи, созданная дообучением OpenAI Whisper Base. Она предназначена для транскрибирования аудио на 24 языках; карточка описывает её как контрольный вариант со стандартной архитектурой Whisper, сопоставимый с вариантом, преобразованным из MHA в MLA. Модель содержит 51,7 млн параметров и загружается через Transformers без пользовательского кода. Модель дообучали 15 000 шагов на корпусе Whispered, с замороженным энкодером и режимом чтения речи. В карточке приведены восстановленные оценки для части языков на CommonVoice-17; авторы предупреждают, что они получены вычитанием измеренной стоимости преобразования из результатов связанной MLA-модели, а не отдельным тестированием этого чекпойнта. Лицензия — Apache-2.0.

80июль 2026ctx1K
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-large-v3-mla-cv11

Whisper-Large-v3-MLA — модель распознавания речи, разработанная Burak Aydın на основе OpenAI Whisper large-v3. Декодерная self-attention преобразована из MHA в MLA, что сокращает KV-кэш декодирования на 62,5%; после преобразования модель дообучена на корпусе Whispered для восстановления качества. Модель содержит 905,2 млн параметров и предназначена для транскрибации речи в текст на 11 языках. На тестах CommonVoice-17 авторы сообщают, что цена преобразования по качеству статистически незначима для 9 из 11 языков; заметные различия указаны для арабского и китайского. Сокращение относится к KV-кэшу self-attention декодера: память энкодера и cross-attention не сжата, поэтому выгода для одной короткой последовательности ограничена и заметнее при длинной генерации и высокой параллельности. Модель ориентирована на чистую речь, записанную потребительскими микрофонами; качество может снижаться для незнакомых письменностей, а для грузинского автор отмечает слабые результаты. Для загрузки требуются Transformers 4.46.x и trust_remote_code=True; модель не поддерживает whisper.cpp, faster-whisper и CTranslate2. Лицензия — Apache-2.0.

110июль 2026
textaudioapache-2.0hugging-face
OpenVINO
whisper-large-v3-turbo-int4-ov

Это мультиязычная модель распознавания речи Whisper large-v3-turbo, представленная Intel в формате OpenVINO IR с весами, сжатыми до INT4. Она преобразует аудио в текст и подходит для локального инференса через OpenVINO и Optimum Intel; совместимость заявлена с OpenVINO 2026.1.0 и новее и Optimum Intel 1.27.0 и новее. Модель основана на OpenAI/whisper-large-v3-turbo и содержит около 905,2 млн параметров. В исходной архитектуре Whisper large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание с небольшим снижением качества; дополнительное сжатие весов выполнено в режиме INT4_ASYM с размером группы 128. Поддерживаются многие языки, включая русский и английский. Модель распространяется по лицензии MIT.

6921май 2026
textaudiomithugging-face
lier007
xiaobu-embedding-v2

xiaobu-embedding-v2 — модель эмбеддингов предложений, разработанная на основе piccolo-embedding. В версии v2 синтетические данные заменены данными, накопленными для xiaobu-embedding-v1; обучение объединяет шесть типов задач CMTEB с использованием circle loss и позволяет учитывать несколько положительных примеров из исходных наборов данных. Модель предназначена для создания векторных представлений текста и вычисления сходства между предложениями, например для семантического поиска и поиска похожих фраз. Это плотная модель архитектуры BERT с 424,3 млн параметров и контекстом до 512 токенов; доступна в форматах PyTorch, Safetensors и ONNX, используется через Sentence-Transformers. README указывает на задачи CMTEB, но не сообщает конкретные языки поддержки. Условия лицензии в предоставленных данных не приведены.

77561июнь 2024ctx512
textembeddinghugging-face
yulan-team
YuLan-Mini-Instruct

YuLan-Mini-Instruct — компактная языковая модель, разработанная командой YuLan и предназначенная для диалогов и выполнения инструкций. Это дообученная версия YuLan-Mini: авторы применили supervised fine-tuning, preference fine-tuning и обучение с подкреплением. Модель семейства Llama имеет плотную архитектуру и около 2,2 млрд параметров по метаданным; в README указано 2,4 млрд. Контекст составляет около 28 тысяч токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, решения математических задач и написания кода. В обучении использовались открытые и синтетические данные, в том числе материалы по математике, науке и китайским бытовым знаниям. Метаданные указывают поддержку английского и китайского языков и возможности чата и генерации кода. Авторы отмечают конкурентные результаты на задачах рассуждения, математики и программирования, но указывают на слабые результаты в тестах, требующих обширных знаний, например MMLU. Модель распространяется по лицензии MIT.

869февр. 2025ctx28.7K
textmithugging-face
cassador
2bs16lr2

cassador/2bs16lr2 — модель Sentence Transformers, дообученная на afaji/indonli от базовой indobenchmark/indobert-base-p2. Она кодирует предложения и абзацы на индонезийском языке в плотные векторы размерности 768 для сравнения смысловой близости; архитектура включает BERT и усреднение токенных представлений. Для сравнения используется косинусное сходство, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска перефразировок и кластеризации текстов; полученные векторы также можно использовать в классификационных системах. В README приведены оценки на наборах sts-dev и sts-test, причём результаты на sts-test заметно ниже, поэтому качество на конкретных данных следует проверять отдельно. Лицензия в предоставленных сведениях не указана.

950июнь 2024ctx512
textembeddinghugging-face
hiyouga
Baichuan-7B-sft

hiyouga/Baichuan-7B-sft — двуязычная instruction-tuned LoRA-модель на архитектуре Baichuan, предназначенная для генерации текста в ответ на инструкции и вопросы. При дообучении использовались наборы Alpaca, Alpaca-ZH и CodeAlpaca, поэтому модель подходит для диалоговых запросов, следования инструкциям и задач по коду на китайском и английском языках. Модель содержит 6,7 млрд параметров, принимает текст и выдаёт текст; нативная длина контекста — 4096 токенов. Репозиторий содержит веса PyTorch, а для работы требуется базовая модель Baichuan-7B. Модель опубликована hiyouga в июне 2023 года и распространяется по лицензии Apache-2.0, хотя README также предписывает соблюдать лицензию Baichuan-7B; перед использованием следует проверить применимые условия обеих лицензий.

12177июнь 2023ctx4.1K
textapache-2.0hugging-face
google-bert
bert-base-multilingual-uncased

google-bert/bert-base-multilingual-uncased — базовая многоязычная модель BERT, разработанная командой Google. Это плотная трансформерная архитектура BertForMaskedLM с 194,6 млн параметров, обученная на текстах Википедии для 102 языков с помощью masked language modeling и предсказания следующего предложения. Модель приводит текст к нижнему регистру, использует общую WordPiece-лексиконную таблицу размером 110 000 токенов и поддерживает контекст до 512 токенов. Модель предназначена для восстановления замаскированных слов и получения контекстных представлений текста, которые можно использовать при дообучении для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Она принимает текст и в задаче fill-mask выдаёт вероятные подстановки для пропущенных токенов. Это энкодерная модель, поэтому она не предназначена для свободной генерации текста. Нижний регистр стирает различия между прописными и строчными буквами; предсказания могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

1.8M170март 2022ctx512
textapache-2.0hugging-face
CompendiumLabs
bge-large-zh-v1.5-gguf

bge-large-zh-v1.5-gguf — набор моделей для получения текстовых эмбеддингов в формате GGUF, подготовленный Compendium Labs на основе исходной модели BAAI/bge-large-zh-v1.5. Модели предназначены для работы через llama.cpp, llama-cpp-python и интеграцию LangChain, а также для сценариев семантического поиска, сравнения текстов, кластеризации и других задач, использующих векторные представления текста. Доступны варианты F32 размером 1,3 ГБ, F16 размером 620 МБ, Q8_0 размером 332 МБ и Q4_K_M размером 193 МБ. Квантизация может обеспечить ускорение на CPU до 30% при минимальной потере точности; для GPU преимущество заявлено как умеренное. Модель ориентирована на китайскоязычные тексты, однако другие характеристики, включая архитектуру, размерность эмбеддингов и максимальную длину контекста, в README не указаны. Сильные стороны — поддержка llama.cpp, несколько вариантов точности и возможность эффективного запуска на CPU. Ограничения связаны с тем, что это модель эмбеддингов, а не генеративная языковая модель, и что в представленных данных отсутствуют подробности о качестве на конкретных наборах данных и поддерживаемых языках помимо указания zh в названии. Распространение осуществляется по лицензии MIT.

65415февр. 2024
textmithugging-face
juyoungml
bge-m3-ko-v1.1

juyoungml разработал эту модель Sentence Transformers как дообучение BAAI/bge-m3 на корейском наборе ko-triplet-v1.0. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализует их и предназначена для сравнения по косинусному сходству, семантического поиска и поиска перефразировок. Также в README указаны кластеризация и классификация текстов как возможные сценарии применения. Модель основана на XLM-RoBERTa и принимает текст длиной до 8192 токенов. Она ориентирована на корейский язык; репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана. README сообщает точность cosine_accuracy 0,99 на TripletEvaluator, однако это значение относится к указанной оценке и не гарантирует такое качество на других данных.

720дек. 2024ctx8.2K
textembeddinghugging-face
swulling
bge-reranker-large-onnx-o4

Это ONNX-конверсия BAAI/bge-reranker-large, подготовленная для запуска на GPU с оптимизациями уровня O4 через Optimum. Модель на архитектуре XLM-RoBERTa с 658,7 млн параметров предназначена для оценки релевантности пары текста и ранжирования результатов поиска. Модель принимает текстовые пары и выдаёт оценку, которую можно использовать для сортировки документов или ответов по релевантности запросу. Указанное в метаданных ограничение контекста — 514 токенов. Репозиторий содержит ONNX-формат; лицензия — MIT.

1418нояб. 2023ctx514
textmithugging-face
rozgo
bge-reranker-v2-m3

Это экспортированная в формат ONNX модель BAAI/bge-reranker-v2-m3, опубликованная пользователем rozgo. Она предназначена для оценки релевантности пар «запрос — документ» и ранжирования найденных текстов, например в поиске и системах RAG. В основе лежит архитектура XLM-RoBERTa с классификационной головой; размер составляет 658,7 млн параметров, заявленный контекст — до 8194 токенов. README подтверждает экспорт оптимизированной модели через Optimum в ONNX с opset 13. Модель подходит для повторной сортировки результатов текстового поиска после первичного извлечения кандидатов. Метаданные указывают на языковое семейство XLM-RoBERTa, но конкретный перечень поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

3.2K2сент. 2024ctx8.2K
texthugging-face
soichisumi
bge-reranker-v2-m3-mlx-affine8

soichisumi публикует версию BAAI/bge-reranker-v2-m3, преобразованную для MLX и квантованную до 8 бит методом affine с размером группы 64. Модель основана на XLM-RoBERTa с архитектурой классификатора последовательностей и содержит 658,7 млн параметров; указанный в карточке объём файлов — 607 МБ. Она оценивает релевантность пары «запрос — фрагмент» и подходит для переранжирования результатов поиска. Модель многоязычная, с контекстом до 8194 токенов. В README приведена проверка на 30 запросах и 897 парах из набора mteb/scidocs-reranking: Kendall τ составила 0,9797, а изменение nDCG@10 — −0,0002; автор характеризует результат как практически без потерь. Это ограниченная оценка на одном наборе данных, поэтому она не гарантирует аналогичное качество на других доменах и языках. Лицензия — Apache-2.0.

2542апр. 2026ctx8.2K
textapache-2.0hugging-face
Qdrant
bm25

Qdrant/bm25 — модель на основе алгоритма BM25 (Best Matching 25), предназначенная для поиска и ранжирования текстовых документов по их релевантности поисковому запросу. Она распространяется через FastEmbed и рассчитана на использование с векторной базой Qdrant. Модель преобразует тексты в разреженные представления с индексами и весами токенов, которые можно использовать для лексического поиска. Для корректной работы в Qdrant необходимо настроить векторы с модификатором Modifier.IDF. Такой подход подходит для полнотекстового поиска, сопоставления запросов с документами и гибридных поисковых систем, где важна точная лексическая связь между запросом и содержимым. В карточке указана поддержка английского, арабского, нидерландского, датского, финского, французского, немецкого, греческого, венгерского, итальянского, норвежского, португальского, румынского, русского, испанского, шведского, тамильского и турецкого языков. Архитектура, число параметров, размер контекста и дополнительные модальности не указаны; модель предназначена для работы с текстом. Лицензия — Apache-2.0. Ограничение подхода состоит в том, что BM25 опирается преимущественно на совпадение лексики и статистику терминов, поэтому он может хуже учитывать смысловые перефразирования по сравнению с плотными семантическими моделями.

934K48июнь 2024
textapache-2.0hugging-face
badtheorylabs
BTL-3-Compact

BTL-3 Compact — компактная локальная текстовая модель Bad Theory Labs для программирования, рассуждений и работы с инструментами. Она основана на Qwen3.6-27B и выпущена в виде файла GGUF размером 8,39 ГБ с архитектурой из 64 слоёв и сжатым представлением AVQ2/UniSVQ, дополненным точечными более точными тензорами и коррекциями поведения. Модель предназначена для локального запуска через llama.cpp, включая сценарии с агентами, репозиториями и OpenAI-совместимым сервером. Карточка сообщает о поддержке структурированного и многошагового вызова инструментов и приводит внутреннюю оценку сохранения 62 из 63 проверенных вариантов поведения; это не публичный бенчмарк. Рекомендованный режим — без включённого рассуждения: экспериментальный режим с ним может зацикливаться или не завершать ответ, а проверка для задач программирования в этом режиме не пройдена. Контекст зависит от памяти устройства, KV-кэша и ресурсов среды выполнения. Проверена работа на macOS arm64 с Metal; поддержка Linux arm64 и CUDA обозначена как предварительная. Лицензия — Apache-2.0.

9743июль 2026
textapache-2.0hugging-face
meta-llama
CodeLlama-34b-hf

Code Llama 34B — базовая авторегрессионная языковая модель Meta для генерации и понимания кода. Это версия на 34 млрд параметров в формате Transformers с весами PyTorch и Safetensors; архитектура основана на оптимизированном трансформере. Модель принимает текст и генерирует текст, включая завершение кода. Она предназначена для коммерческого и исследовательского использования с английским языком и языками программирования. Модель подходит для автодополнения кода и адаптации под задачи синтеза и анализа программ. Эта базовая версия не предназначена специально для диалогового следования инструкциям или для Python: для таких сценариев в семействе есть отдельные варианты Instruct и Python. Модель обучена на данных Llama 2 с изменёнными весами; её ответы могут быть неточными или нежелательными, поэтому перед внедрением требуется оценка в конкретном приложении. Использование регулируется лицензией Meta Llama 2.

3.6K19март 2024
textllama2hugging-face
TheBloke
CodeNinja-1.0-OpenChat-7B-GGUF

CodeNinja 1.0 Openchat 7B — это языковая модель для генерации текста и кода, разработанная beowulf на базе архитектуры Mistral. Представленная версия выпущена TheBloke в формате GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения и библиотеки. Модель содержит около 7 миллиардов параметров и ориентирована прежде всего на англоязычные задачи программирования: генерацию кода, работу с инструкциями и сценарии ассистирования разработчикам. Для обучения указаны наборы данных glaive-code-assistant-v2 и code_instructions_122k_alpaca_style. Поддерживается текстовая модальность; максимальная длина контекста в README не указана. Для работы следует использовать шаблон OpenChat-Correct. Формат GGUF поддерживает варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством генерации, включая запуск на CPU и GPU. При этом квантование может снижать точность по сравнению с исходной моделью в формате FP16, а качество и производительность зависят от выбранного варианта и программного окружения. Модель распространяется по лицензии MIT.

2.8K34дек. 2023
textmithugging-face
lightonai
colbertv2.0

Это версия ColBERTv2, подготовленная для совместимости с библиотекой PyLate; исходную модель разработали авторы ColBERTv2, а право на публикацию этой версии предоставил Омар Хаттаб. Модель использует архитектуру BERT и представляет запросы и документы как последовательности плотных 128-мерных векторов. Сходство оценивается оператором MaxSim; модель подходит для многовекторного поиска и ранжирования текстовых фрагментов, а также семантического сравнения предложений. Модель принимает текст, работает с последовательностями длиной до 512 токенов и ориентирована на английский язык. Её можно применять как retriever с поздним взаимодействием в Sentence Transformers или PyLate. Чекпойнт содержит 136,7 млн параметров и распространяется в формате safetensors. Лицензия — MIT.

7.6K5авг. 2024ctx512
textembeddingmithugging-face
Vir007
continual-ai-2b

Continual AI 2.0B (Reasoning Infused v2) — языковая модель с открытыми весами от Continual AI Research, построенная на архитектуре Mistral. Репозиторий содержит около 1,7 млрд параметров в формате safetensors; README указывает 1,83 млрд параметров, 28 слоёв, Grouped-Query Attention и SwiGLU. Контекст модели составляет 8192 токена. Модель предназначена для генерации текста в диалогах, многошаговых рассуждений, решения математических и логических задач, а также генерации кода. В карточке заявлены механизмы непрерывного обучения, включая индексируемую память и адаптеры пластичности; README также заявляет снижение катастрофического забывания, но не приводит независимых подтверждений этих свойств. Метаданные отмечают возможности чата и работы с кодом. Указан английский язык. Модель можно загружать через Transformers как причинную языковую модель. Лицензия — Apache-2.0. Заявленные в README результаты на математических, логических и алгоритмических задачах описаны без достаточных деталей о методике оценки, поэтому их следует считать заявлениями авторов, а не независимой оценкой качества.

8712сент. 2026ctx8.2K
textapache-2.0hugging-face
SinclairSchneider
dbrx-instruct-quantization-fixed

SinclairSchneider/dbrx-instruct-quantization-fixed — исправленная копия DBRX Instruct от Databricks. Изменение позволяет загружать модель в 4- и 8-битном режиме, чтобы снизить требования к памяти; в метаданных репозитория указан формат safetensors. Это трансформерная авторегрессионная языковая модель с архитектурой fine-grained mixture-of-experts: всего 132 млрд параметров, из которых для одного входа активны 36 млрд. Модель использует 16 экспертов, выбирая 4, и контекст до 32 768 токенов. Модель предназначена для коротких диалогов, ответов на вопросы на английском языке и задач с кодом. Она принимает и генерирует только текст. В обучении использовались текст и код, преимущественно на английском; модель не тестировалась на других языках и не поддерживает мультимодальность, встроенное исполнение кода или вызов функций. Лицензия — Databricks Open Model License; применяются также условия Acceptable Use Policy Databricks.

319март 2024
textotherhugging-face
vllm-sr
Decision-2.0-Kai-0.6B

Decision-2.0-Kai-0.6B — плотная модель с 0,6 млрд параметров из семейства Decision 2.0, разработанная для vLLM Semantic Router и дообученная на базе Qwen/Qwen3-0.6B-Base. Она принимает текст или JSON и за один проход отвечает на вопросы выбора из нескольких вариантов, даёт ответ «да/нет» или оценку по шкале. Для каждого возможного ответа возвращается вероятность; модель предназначена для классификации без генерации текста. Контекст составляет 8 192 токена. В карточке сообщается о результатах на JevArena и наборе из 15 задач с разметкой людьми, а также о возможности одновременно обрабатывать несколько вопросов к одному входу. Для одного вопроса указана медианная задержка 4,9 мс на одном GPU; это результат карточки, а не гарантия производительности в других конфигурациях. Модель распространяется в формате safetensors по лицензии Apache-2.0.

2.2K43сент. 2026ctx131.1K
textapache-2.0hugging-face
deepseek-ai
deepseek-vl2-small

DeepSeek-VL2-Small — мультимодальная модель семейства DeepSeek-VL2, разработанная командой DeepSeek. Это модель типа Mixture-of-Experts, построенная на DeepSeekMoE-16B; в серии Small активируется 2,8 млрд параметров. Карточка указывает архитектуру DeepSeek-VL2 и библиотеку Transformers, а веса опубликованы в формате safetensors. Модель предназначена для диалога по изображениям и визуального понимания: она отвечает на вопросы об изображениях, распознаёт текст, разбирает документы, таблицы и диаграммы, а также находит и описывает визуальные объекты. В README упоминается подача изображений с размером 384×384 без разбиения на фрагменты. Среди ограничений карточка рекомендует температуру T=0 для изображений. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.

4.7K191дек. 2024ctx100M
textimageotherhugging-face
upskyy
e5-small-korean

upskyy/e5-small-korean — модель Sentence Transformer, созданная дообучением intfloat/multilingual-e5-small на наборах korsts и kornli. Она использует архитектуру BERT с усреднением токенных представлений и формирует плотные эмбеддинги размерности 384; сходство текстов оценивается косинусной близостью. Максимальная длина последовательности — 512 токенов. Модель предназначена для сравнения предложений и абзацев, семантического поиска, поиска перефразирований, кластеризации и классификации текста. В README приведена оценка на sts-dev: Spearman 0,8467 и Pearson 0,848 для косинусного сходства. Лицензия — MIT.

1472авг. 2024ctx512
textembeddingmithugging-face
guillaumekln
faster-whisper-small

Это конверсия модели OpenAI Whisper small в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для автоматического распознавания речи и используется через CTranslate2 или проекты на его основе, например faster-whisper. Репозиторий содержит веса FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на множестве языков, включая русский и английский. Лицензия — MIT.

3.8K29март 2023
textaudiomithugging-face
deutsche-telekom
gbert-large-paraphrase-euclidean

deutsche-telekom/gbert-large-paraphrase-euclidean — модель Sentence Transformers от Deutsche Telekom, дообученная на базе deepset/gbert-large для построения эмбеддингов немецких предложений и абзацев. Она преобразует текст в плотные векторы размерностью 1024 и рассчитана на применение с SetFit для классификации немецкого текста в условиях малого числа примеров. Модель использует архитектуру BERT и обучалась с BatchHardSoftMarginTripletLoss с евклидовой метрикой на отфильтрованном наборе парафраз немецких предложений. Контекст ограничен 512 токенами; объём модели — 434,5 млн параметров. В README авторы сообщают о лучших результатах среди сравнивавшихся вариантов в сценарии немецкой классификации с малым числом примеров. Лицензия — MIT.

7.4K12янв. 2023ctx512
textembeddingmithugging-face
alibaba-nlp-community
gte-multilingual-mlm-base

gte-multilingual-mlm-base — многоязычный текстовый энкодер, разработанный Institute for Intelligent Computing группы Alibaba. Это версия для Transformers исходной модели Alibaba-NLP/gte-multilingual-mlm-base: веса сохранены без изменений, а конфигурация преобразована для загрузки без trust_remote_code. Модель содержит 305,3 млн параметров и принимает последовательности длиной до 8192 токенов. Энкодер построен на архитектуре transformer++ на основе BERT с RoPE и GLU и использует словарь XLM-R. Он обучен методом masked language modeling на многоязычных текстовых данных и предназначен для представления текста; в карточке также заявлены результаты на GLUE и XTREME-R, превосходящие XLM-R-base того же размера. Модель поддерживает 75 языков, включая русский, и подходит для задач, которым нужны контекстуальные представления текста и заполнение маски. Лицензия — Apache-2.0.

1140сент. 2026ctx8.2K
textapache-2.0hugging-face
M4-ai
Hercules-5.0-Qwen2-1.5B

Hercules-5.0-Qwen2-1.5B — дообученная компанией M4-ai плотная языковая модель на 1,5 млрд параметров на базе Qwen2-1.5B. Она предназначена для общего ассистентского общения и поддерживает формат запросов ChatML; заявленные области применения включают ответы на вопросы, математику, программирование и написание текстов. Модель работает с текстом и имеет контекст до 131 072 токенов. Для обучения использован набор данных Locutusque/hercules-v5.0. Модель опубликована в формате safetensors под лицензией Apache-2.0. В карточке не приведены результаты оценки качества; разработчики также отмечают, что сведения о рисках, смещениях и ограничениях требуют уточнения.

4313июнь 2024ctx131.1K
textapache-2.0hugging-face
zigwangles
Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated

Карточка модели zigwangles/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated на Hugging Face совпадает с карточкой huihui-ai/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated, поэтому описание составлено по ней. Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated — версия Qwen3-Coder-30B-A3B-Instruct, созданная huihui-ai методом abliteration для снижения числа отказов модели. Это инструктивная языковая модель с архитектурой Qwen3 MoE; в метаданных указано 2,4 млрд параметров и контекст до 262 144 токенов. Модель рассчитана на генерацию текста в диалоговом формате, в том числе для задач программирования и агентных сценариев, характерных для базовой модели. Модель принимает текст и выдаёт текст. В карточке указан английский язык; более подробные языковые характеристики не заявлены. README описывает abliteration как грубую реализацию для проверки концепции и предупреждает о существенно ослабленной фильтрации безопасности, из-за которой возможны чувствительные, спорные или неподходящие ответы. Репозиторий распространяется по лицензии Apache-2.0.

1620сент. 2026ctx262.1K
textapache-2.0hugging-face
HydroEmbed
HydroEmbed-MCQTF-MiniLM-MNRL

HydroEmbed/HydroEmbed-MCQTF-MiniLM-MNRL — дообученный разработчиком HydroEmbed энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель построена на архитектуре BERT и Sentence Transformers: среднее объединение токенов с последующей нормализацией даёт плотный вектор размерности 384. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; в README указан максимальный размер последовательности 256 токенов, поэтому фактический предел зависит от используемой конфигурации. Модель обучена с MultipleNegativesRankingLoss на 2542 парах предложений. Она предназначена для кодирования текста и сравнения смысловой близости, семантического поиска, выявления перефразировок, кластеризации и подготовки признаков для классификации. Примеры обучающих пар относятся к гидрологии и вопросам с вариантами ответа, но карточка не подтверждает специализацию на этой предметной области. Язык обучения или перечень поддерживаемых языков в предоставленных данных не указан; базовая модель ориентирована на английский. Для применения нужны входные тексты; на выходе модель выдаёт векторы, пригодные для сравнения по косинусному сходству. Это компактная модель для задач сходства предложений, но качество для других языков и предметных областей может отличаться и отдельно не подтверждено. Лицензия в предоставленных данных отсутствует.

1260май 2025ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей