/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
10 621–10 650 из 23 488
Jinstudio
Qwen3-ASR-1.7B

Карточка модели Jinstudio/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

130июль 2026ctx131.1K
textaudioapache-2.0hugging-face
Tirth2109
qwen-indic-v1

Tirth2109 разработал qwen-indic-v1 — дообученную с помощью LoRA модель Qwen3-Embedding-8B для создания текстовых эмбеддингов на индийских языках. Модель использует pooling по последнему токену и L2-нормализацию векторов; размер — 7,6 млрд параметров, контекст — до 40 960 токенов. Модель предназначена для получения эмбеддингов, семантического поиска и сравнения сходства предложений. README сообщает о 22 индийских языках в расписании обучения, а метаданные карточки перечисляют хинди, бенгальский, тамильский и урду. Обучение проводилось на обучающих частях данных с очисткой от пересечений с тестовыми наборами MTEB. Модель распространяется в формате safetensors по лицензии Apache-2.0. Известные ограничения: подробности качества по отдельным языкам и результаты оценивания в карточке не приведены.

940июль 2026ctx41K
textembeddingapache-2.0hugging-face
HA-Siala
RefactoringPy-full-v0.1

HA-Siala/RefactoringPy-full-v0.1 — дообученная модель семейства Mistral для анализа Python-кода: она выявляет недостатки кода и предлагает его рефакторинг. Это плотная авторегрессионная языковая модель с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель принимает текст с кодом и выдаёт текст с предложенной переработанной версией. Карточка не раскрывает базовую модель, обучающие данные и метрики качества. Для безопасного использования следует проверять предложения модели: они могут содержать ошибки или менять поведение программы. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

80июнь 2026ctx32.8K
textapache-2.0hugging-face
merve
rfdetr-docvqa-media3-trainval-agree2-medium

merve/rfdetr-docvqa-media3-trainval-agree2-medium — дообученная модель обнаружения объектов на базе Roboflow/rf-detr-medium. Она принимает изображения и находит объекты, возвращая их категории и локализацию. По метрикам README модель оценивалась на категориях Chart, Image и Signature; качество различается между категориями, а показатели для малых объектов приведены как −1.0, поэтому применение к ним не подтверждено. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0.

130июнь 2026
imageapache-2.0hugging-face
surrey-nlp
roberta-large-finetuned-abbr-filtered-plod

Модель Surrey NLP — дообученная версия RoBERTa-large для обнаружения сокращений и соответствующих им полных форм в тексте. Она выполняет разметку токенов и предназначена для извлечения сокращений и их расшифровок из англоязычных документов. На тестовом наборе PLODv2 filtered модель получила F1 0,9208 для сокращений и 0,9108 для полных форм. Модель содержит 454,1 млн параметров, использует формат PyTorch и принимает контекст до 514 токенов. Опубликована вместе с работой для LREC-COLING 2024; лицензия — CC BY-SA 4.0.

171февр. 2023ctx514
textcc-by-sa-4.0hugging-face
cl-nagoya
ruri-v3-pt-70m

Ruri v3 PT 70M — японская модель для получения эмбеддингов текста, разработанная cl-nagoya на основе ModernBERT-Ja от SB Intuitions. Она предназначена для представления предложений и текстов в виде векторов, пригодных для сравнения семантической близости и поиска похожих фрагментов. Модель содержит 70 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Это предварительно обученная версия Ruri v3; карточка рекомендует для готового применения дообученный вариант cl-nagoya/ruri-v3-70m. Модель ориентирована на японский язык. Распространяется по лицензии Apache-2.0.

1670март 2025ctx8.2K
textapache-2.0hugging-face
Veritone
siglip2-base-patch16-256-vision

Veritone/siglip2-base-patch16-256-vision — отдельная копия визуальной башни SigLIP 2 Base, разработанной Google и размещённой Veritone. Она кодирует изображения и видеокадры в общее пространство эмбеддингов; текстовая башня для сопоставления находится в отдельном репозитории Veritone/siglip2-base-patch16-256-text. Модель предназначена для классификации изображений по текстовым меткам без дообучения, поиска по изображениям и использования в качестве визуального энкодера для мультимодальных моделей. SigLIP 2 развивает метод предварительного обучения SigLIP и ориентирован на семантическое понимание, локализацию и получение плотных визуальных признаков. Для работы с моделью указаны библиотека Transformers и формат safetensors; обучение проводилось на наборе WebLI. Лицензия — Apache-2.0. README описывает только визуальную башню, поэтому сопоставление изображения с текстом требует соответствующей текстовой башни или другого совместимого текстового энкодера.

80июнь 2026ctx64
textimageapache-2.0hugging-face
cstr
siglip-base-GGUF

cstr распространяет модель google/siglip-base-patch16-384 в формате GGUF для использования с CrispEmbed. Это визуальный энкодер SigLIP ViT-B/16: 12 слоёв, 12 голов внимания и размерность представления 768. Он кодирует изображения размером 384×384, разбитые на 576 патчей 16×16, и выдаёт L2-нормированные эмбеддинги изображения размерностью 768 с усреднением по патчам. Модель предназначена для извлечения признаков и эмбеддингов изображений, например, для поиска похожих изображений и мультимодального поиска по изображениям и тексту в системах на базе SigLIP. В README указана близкая к исходной численная близость для варианта F32: среднее косинусное сходство с версией Hugging Face составляет 0,996. Это визуальный энкодер, поэтому он сам по себе не генерирует текст и не описывает изображения. Репозиторий содержит конверсию в GGUF и/или квантизованные веса без дообучения, слияния или изменения архитектуры; доступна лицензия Apache-2.0 на условиях исходной модели. Размер входного изображения — 384×384; другие размеры и поведение при их обработке в карточке не описаны.

1982май 2026
textembeddingapache-2.0hugging-face
kornwtp
simcse-model-m-bert-thai-cased

kornwtp разработал модель эмбеддингов на основе многоязычного BERT (mBERT), обученную методом SimCSE на тайской Википедии. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель подходит для семантического поиска и сравнения предложений на тайском языке; её контекст ограничен 512 токенами, размер составляет 205,1 млн параметров, формат весов — PyTorch. Лицензия Apache-2.0.

971дек. 2023ctx512
textembeddingapache-2.0hugging-face
SpanBERT
spanbert-base-cased

SpanBERT/spanbert-base-cased — англоязычная предварительно обученная модель-кодировщик семейства BERT, разработанная исследователями, опубликовавшими проект SpanBERT. Она использует конфигурацию BERT base: 12 слоёв, скрытый размер 768 и 12 голов внимания; карточка указывает 135,5 млн параметров и контекст до 512 токенов. Особенность предобучения — маскирование и обучение на уровне текстовых фрагментов, чтобы лучше представлять и предсказывать spans. Модель предназначена для дообучения под задачи понимания текста, включая извлечение ответов из контекста, разрешение кореференции, извлечение отношений и классификацию. Она принимает текст и выдаёт контекстные представления токенов, а конкретные ответы или метки обычно формируются дообученной task-specific моделью. Доступны веса PyTorch и Flax. Авторы сообщают о результатах на SQuAD, кореференции и TACRED; эти результаты относятся к их оценкам и не гарантируют качество на других данных. Для предварительно обученных весов указана лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование. Архив проекта также отмечает, что лицензия распространяется на предобученные модели.

2.6K7март 2022ctx512
texthugging-face
utahnlp
tevatron-elastic-bert-retriever-mrl

Это англоязычный ретривер на базе BERT, дообученный Utah NLP с помощью Tevatron-Elastic для поиска релевантных документов по запросу. Модель формирует векторные представления запросов и текстовых фрагментов; в запросах и документах используются префиксы `query:` и `passage:`. Чекпойнт поддерживает эластичную ширину эмбеддинга по принципу Matryoshka Representation Learning (MRL): из одной модели можно получать представления разных размерностей, выбирая рабочую точку через Tevatron-Elastic. Модель содержит 136,7 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. В тесте BEIR-15 для полной размерности указано значение nDCG@10 0,445. Это ресурс для воспроизводимости экспериментов и построения систем поиска; авторы не заявляют о превосходстве над современными моделями. Лицензия — Apache-2.0.

90июль 2026ctx512
textembeddingapache-2.0hugging-face
laion
tt-x10-fsdp2-fa2-117-30B

Это экспериментальный чекпойнт модели Qwen3-Coder-30B-A3B-Instruct, дообученный командой TaskTrove методом GRPO в эксперименте X10b. Обучение проводилось на датасете DCAgent/exp_rpt_multifile с использованием SkyRL и Terminus-2; конфигурация включала FSDP2 и FlashAttention 2. Из заявленных характеристик базовой модели следует поддержка контекста до 262 144 токенов. Чекпойнт предназначен для генерации текста в диалоговом формате, прежде всего для задач программирования и агентных сценариев, унаследованных от базовой модели. Обучение остановили на шаге 131 из 400 после выхода награды на плато; авторы отмечают исчерпание исследования и отсутствие дальнейшего роста метрик. Репозиторий распространяется под лицензией Apache 2.0.

1470авг. 2026ctx262.1K
textapache-2.0hugging-face
UraionLabs
Uraion-Agent-Small

Uraion-Agent-Small — компактная языковая модель компании Uraion Labs, дообученная на базе Qwen/Qwen3.5-2B. Она предназначена прежде всего для агентных сценариев, вызова инструментов и функций, многошагового взаимодействия с API и построения локальных циклов автоматизации. Модель обучалась методом QLoRA на наборах данных для function calling и instruction following, включая NousResearch/hermes-function-calling-v1, Salesforce/APIGen-MT-5k и mlabonne/FineTome-100k. Модель содержит около 1,9 млрд параметров, из которых при обучении через LoRA использовалось 21,8 млн обучаемых параметров. Она основана на гибридной архитектуре Qwen3.5: 24 слоя включают 18 слоёв Gated DeltaNet с линейным вниманием и 6 слоёв полного внимания. Нативная длина контекста составляет 262 144 токена. Доступны веса в формате GGUF и Transformers NF4; заявлены 4-битное NF4-квантование и поддержка английского языка. Для структурированных вызовов инструментов используется парсер qwen3_coder. Сильными сторонами модели являются небольшой размер, возможность локального развертывания и специализация на структурированном tool calling, что делает её подходящей для локальных агентов, API-композиции и запуска на потребительском оборудовании. При этом GGUF-файлы в репозитории имеют известную проблему с формами некоторых тензоров и могут не загружаться в llama.cpp без дополнительной конвертации. Для архитектуры qwen35 требуется свежая версия llama.cpp, а NF4-веса медленно работают на CPU, поэтому для них предпочтительно GPU-развертывание. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen3.5.

3182июнь 2026
textapache-2.0hugging-face
dangvantuan
vietnamese-embedding

dangvantuan/vietnamese-embedding — модель эмбеддингов предложений для вьетнамского языка, разработанная на основе PhoBERT с архитектурой RoBERTa. Она преобразует текст векторы размерности 768 и предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Модель построена на Sentence Transformers: использует среднее объединение токенных представлений и поддерживает последовательности до 512 токенов согласно README; метаданные каталога указывают контекст 258 токенов. Веса содержат 162,4 млн параметров. Обучение включало SimCSE с контрастивным обучением, а также дообучение на наборах XNLI-vn и STSB-vn. В карточке приведены результаты оценки корреляции на наборах семантического сходства для вьетнамского языка. Модель подходит для поиска семантически близких фраз и группировки вьетнамских текстов по смыслу. Она принимает текст и возвращает векторные представления; результаты для других языков карточкой не подтверждены. Распространяется по лицензии Apache-2.0.

6.4K56апр. 2024ctx258
textembeddingapache-2.0hugging-face
thanhtantran
Vietnamese_Embedding_v2

Карточка модели thanhtantran/Vietnamese_Embedding_v2 на Hugging Face совпадает с карточкой AITeamVN/Vietnamese_Embedding_v2, поэтому описание составлено по ней. Vietnamese_Embedding_v2 — модель эмбеддингов на базе Sentence Transformers, дообученная AITeamVN на BAAI/bge-m3 для улучшения поиска по текстам на вьетнамском языке. Обучение проводилось на примерно 1,1 млн троек из запросов, релевантных и нерелевантных документов. Архитектура — XLM-RoBERTa с плотными векторами размерности 1024; модель оценивает сходство скалярным произведением. Метаданные указывают контекст до 8194 токенов, а README сообщает о максимальной длине последовательности 2048 токенов для документов и 256 для запросов. Модель предназначена для построения векторного поиска и извлечения релевантных документов по вьетнамским запросам. В оценке на наборе Legal Zalo 2021 она показала Accuracy@10 0,9578 и MRR@10 0,8149; README отмечает, что модель не обучалась на этом наборе. Результат на юридических данных несколько ниже, чем у базовой фазы, но авторы указывают, что более крупные данные обучения могут быть полезны для других областей. Лицензия — Apache 2.0.

950май 2025ctx8.2K
textembeddingapache-2.0hugging-face
timm
vit_large_patch14_clip_224.laion400m_e31

Модель timm/vit_large_patch14_clip_224.laion400m_e31 — модель CLIP с архитектурой Vision Transformer, разработанная для использования через open_clip и timm. В OpenCLIP она обозначена как ViT-L-14; при обучении использовался датасет LAION-400M. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты классов словами, а модель сопоставляет их с изображением без отдельного дообучения на этих классах. Она принимает изображения и текстовые описания и формирует оценки сходства для выбора подходящего описания. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT.

4050окт. 2024ctx77
textimagemithugging-face
timm
vit_large_patch16_siglip_gap_384.webli

Это визуальный энкодер SigLIP из библиотеки timm с архитектурой ViT-Large, патчами 16×16 и входным разрешением 384 пикселя. Модель преобразует изображение в признаки для последующего сравнения, поиска или использования в других системах машинного обучения; применяется глобальное усреднение признаков (global average pooling). Веса доступны в форматах PyTorch и Safetensors. Модель предназначена для извлечения визуальных признаков, а не для генерации текста или изображений. Карточка не сообщает о поддерживаемых естественных языках или специализированных предметных областях. Лицензия Apache-2.0 разрешает использование и модификацию на её условиях.

1790дек. 2024
imageembeddingapache-2.0hugging-face
alokmatta
wav2vec2-large-xlsr-53-sw

alokmatta/wav2vec2-large-xlsr-53-sw — модель распознавания речи на суахили, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасетах ALFFA, Gamayun и IWSLT. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; входные записи должны иметь частоту дискретизации 16 кГц. Она предназначена для автоматического распознавания речи на суахили. Доступны версии весов PyTorch и Flax. Модель выпущена под лицензией Apache-2.0. Карточка указывает использование датасетов для дообучения, но не приводит оценок качества или известных проблем распознавания.

3802март 2022
textaudioapache-2.0hugging-face
AndrewMcDowell
wav2vec2-xls-r-300m-german-de

Andrew McDowell дообучил модель facebook/wav2vec2-xls-r-300m для автоматического распознавания немецкой речи на датасете Mozilla Common Voice 7.0 (немецкая конфигурация). Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC; в метаданных указано около 402,8 млн параметров. Она принимает аудио и выдаёт распознанный текст на немецком языке. На оценочной выборке автор сообщает значение WER 0,2016 и loss 0,1768. Модель распространяется по лицензии Apache-2.0.

752март 2022
textaudioapache-2.0hugging-face
dianavdavidson
whisper-medium_vaani_62419_ratio_alldata_lr_1e-4_lgid_en_epochs_100_FT

Это дообученная модель OpenAI Whisper Medium с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты на наборе оценки: loss 0,5381 и глобальный WER 13,3026; обучающий набор данных не описан. Модель принимает аудио и выдаёт текст; семейство Whisper также поддерживает многоязычную транскрибацию и перевод речи, однако язык и режимы, проверенные именно для этой версии, в карточке не уточнены. Модель распространяется в формате safetensors по лицензии Apache-2.0.

120сент. 2026ctx1K
textaudioapache-2.0hugging-face
sanchit-gandhi
whisper-small-dv

Whisper Small Dv — модель распознавания речи, созданная Sanchit Gandhi путём дообучения мультиязычной openai/whisper-small на наборе Common Voice 13. Она принимает аудио и преобразует речь в текст; модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В оценке на тестовом наборе указаны WER 14,0661 и орфографический WER 63,8972, однако README не уточняет условия и язык этой оценки. Модель подходит для транскрибирования записей речи, в том числе для экспериментов с данными Common Voice. Базовая Whisper также поддерживает распознавание речи и перевод аудио на английский, но карточка этой производной модели подтверждает только задачу распознавания речи. Модель распространяется по лицензии Apache-2.0.

351июнь 2023ctx1K
textaudioapache-2.0hugging-face
facebook
xlm-roberta-xxl

XLM-RoBERTa-XL (xxlarge) — крупная многоязычная модель семейства RoBERTa, разработанная командой Facebook/Meta и впервые опубликованная в репозитории Facebook. Модель с 13,9 млрд параметров предварительно обучена на 2,5 ТБ отфильтрованных данных CommonCrawl на 100 языках; её архитектура — XLM-RoBERTa-XL с двунаправленным кодировщиком и контекстом до 514 токенов. Репозиторий содержит веса PyTorch, лицензия — MIT. Основная задача модели — предсказание замаскированных токенов в тексте. Полученные представления также подходят как основа для дообучения классификаторов последовательностей и токенов, а также систем ответов на вопросы. Модель рассчитана на работу с многоязычным текстом и извлечение контекстных признаков; для генерации связного текста авторы рекомендуют использовать авторегрессионные модели. Для практических задач классификации и разметки потребуется дообучение на целевых данных.

5.0K19март 2022ctx514
textmithugging-face
qihoo360
360Zhinao-7B-Base

360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

1715апр. 2024ctx4.1K
textapache-2.0hugging-face
Agnuxo
Agente-GPT-Qwen-2.5-3B-Spanish_English_GGUF_32bit

Agnuxo публикует локальную чат-модель Agente-GPT на базе семейства Qwen 2.5 с 3 млрд параметров. Репозиторий содержит веса в формате GGUF F32; модель предназначена для запуска, в частности, через Ollama и для генерации текста в диалоговом режиме. Автор позиционирует её как автономного агента для декомпозиции задач, координации агентов и помощи с генерацией кода, включая научные вычисления и машинное обучение. В карточке заявлена работа на испанском и английском языках, а лицензия указана как Apache 2.0. Данных о длине контекста и независимых оценках качества в предоставленных источниках нет. Заявленные агентные навыки не подтверждают сами по себе совместимость с конкретными инструментами или протоколами вызова функций.

1840сент. 2024
textapache-2.0hugging-face
bartowski
AlchemistCoder-DS-6.7B-GGUF

AlchemistCoder-DS-6.7B-GGUF — набор GGUF-квантизаций модели AlchemistCoder-DS-6.7B, первоначально разработанной командой InternLM. Квантизации подготовлены пользователем bartowski с помощью llama.cpp релиза b3024 и метода imatrix. Модель предназначена прежде всего для генерации и обработки программного кода, включая сценарии локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о поддерживаемых языках программирования и естественных языках. В набор входят варианты с разной точностью и размером: от Q8_0 объёмом 7,16 ГБ до IQ2_XS объёмом 2,03 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как низкие требуют меньше RAM или VRAM, но сильнее теряют в качестве; в README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Архитектура, размер контекста, модальности и другие параметры исходной модели не указаны. Распространение заявлено по лицензии Apache-2.0. Для работы необходимо учитывать формат промпта, приведённый в README, и выбирать файл с учётом доступной памяти. Ограничения включают зависимость качества от уровня квантизации и отсутствие в доступных данных подробных характеристик, результатов оценки и описания исходного обучения.

8013май 2024
textapache-2.0hugging-face
textattack
bert-base-uncased-STS-B

textattack/bert-base-uncased-STS-B — англоязычная модель классификации текста, опубликованная TextAttack. Это BERT-base uncased с архитектурой BertForSequenceClassification, дообученный для оценки семантического сходства пар предложений на датасете STS-B. Модель принимает текстовые пары и предсказывает оценку сходства; в каталоге Hugging Face для неё указан pipeline text-classification. Размер — 136,7 млн параметров, максимальная длина последовательности — 512 токенов. Модель подходит для сравнения смысловой близости предложений и экспериментов с оценкой семантического сходства. Она рассчитана на английский текст: вариант uncased не различает регистр. Ограничения включают предел контекста в 512 токенов и узкую настройку под STS-B; карточка Hugging Face не содержит подробных сведений о лицензии.

24K1март 2022ctx512
texthugging-face
google
bert_uncased_L-4_H-768_A-12

google/bert_uncased_L-4_H-768_A-12 — компактная англоязычная модель BERT, выпущенная Google в составе набора BERT Miniatures и описанная в исследовании о предварительном обучении компактных моделей. Это плотный Transformer-энкодер с 4 слоями, скрытым размером 768 и 12 головами внимания; в модели около 61,2 млн параметров, она принимает последовательности длиной до 512 токенов. Модель обучена для английского языка без учёта регистра с WordPiece-маскированием и доступна в форматах PyTorch и Flax. Она предназначена для задач понимания текста и дообучения под конкретные задачи, например классификацию предложений и оценку сходства. По сравнению с крупными вариантами BERT она требует меньше вычислительных ресурсов; авторы отмечают, что особенно эффективна при дистилляции с метками от более крупной модели-учителя. Это базовый энкодер, поэтому для прикладной задачи обычно требуется подходящая голова и дообучение. Лицензия — Apache-2.0.

2.4K2март 2022ctx512
textapache-2.0hugging-face
onnx-community
bge-small-en-v1.5-ONNX

onnx-community/bge-small-en-v1.5-ONNX — модель для создания векторных представлений текста (эмбеддингов), разработанная сообществом onnx-community на основе BAAI/bge-small-en-v1.5. Она распространяется с весами в формате ONNX и предназначена для использования в JavaScript-библиотеке Transformers.js, включая браузерные и другие web-ориентированные сценарии. Модель поддерживает задачу извлечения признаков текста и формирует эмбеддинги размерностью 384. В примерах используется pooling по CLS-токену и нормализация векторов. Модель подходит для семантического поиска и retrieval-сценариев: тексты документов и поисковые запросы преобразуются в эмбеддинги, после чего сравниваются, например, по косинусной близости. Для запросов рекомендуется добавлять инструкцию «Represent this sentence for searching relevant passages:». README не указывает архитектуру, максимальную длину контекста, перечень поддерживаемых языков, размер модели или точные ограничения качества. К сильным сторонам относятся компактный формат ONNX, совместимость с Transformers.js и возможность выполнять вычисление эмбеддингов в JavaScript-среде. Ограничения включают отсутствие в README сведений о лицензии, языковой поддержке и характеристиках производительности; по базовому идентификатору и приведённым примерам модель ориентирована на англоязычные тексты. Условия лицензирования в предоставленных данных не указаны.

3.2K0окт. 2025ctx512
textembeddinghugging-face
antoinelouis
biencoder-distilcamembert-mmarcoFR

antoinelouis/biencoder-distilcamembert-mmarcoFR — франкоязычный плотный bi-encoder, дообученный Antoine Louis на базе cmarkea/distilcamembert-base для семантического поиска и извлечения релевантных passages. Модель кодирует запросы и документы в векторы размерности 768; косинусное сходство между ними служит оценкой релевантности. Архитектура основана на CamemBERT, содержит 81,2 млн параметров и поддерживает последовательности длиной до 514 токенов; в описанном обучении длина запросов и passages ограничивалась 128 токенами. Модель обучена на французской части mMARCO с hard negatives, полученными от плотных ретриверов. В README приведена оценка на dev-наборе mMARCO-fr с 6 980 запросами и корпусом из 8,8 млн passages. Она подходит для построения семантического поиска на французском языке, где запросы и документы кодируются отдельно, а кандидаты ранжируются по сходству векторов. Лицензия — MIT.

1462май 2023ctx514
textembeddingmithugging-face
AmberYifan
capsd-marin-8b-base-code_cap_b16000_s0

AmberYifan/capsd-marin-8b-base-code_cap_b16000_s0 — дообученная модель семейства Llama на базе marin-community/marin-8b-base. По карточке, обучение проводилось на наборе capsd_marin-8b-base-n80000-opc__mix_code_cap_b16000_s0, что указывает на адаптацию для генерации текста и кода. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM, формат safetensors и библиотеку Transformers; максимальный контекст — 4096 токенов. Модель подходит для генерации и продолжения текста, включая сценарии с кодом и диалоговым интерфейсом. Базовая модель описана как англоязычная, однако README не уточняет языковые возможности именно этой версии. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория и базовой модели. README не содержит результатов оценки или подробных рекомендаций по применению.

150авг. 2026ctx4.1K
textotherhugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей