/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
8 761–8 790 из 23 488
deepseek-ai
DeepSeek-R1-Zero

DeepSeek-R1-Zero — языковая reasoning-модель первого поколения, разработанная DeepSeek. Она обучена с применением крупномасштабного reinforcement learning непосредственно на базовой модели, без предварительного supervised fine-tuning. Такой подход предназначен для развития способностей к решению сложных задач и исследует возможность стимулировать рассуждение LLM исключительно с помощью RL. Модель ориентирована на задачи, требующие многошагового анализа, включая математику, программирование и общее логическое рассуждение. В процессе обучения у неё естественным образом сформировались возможности самопроверки, рефлексии и генерации длинных цепочек рассуждений. При этом README не содержит достоверных сведений о размере модели, конкретной архитектуре, длине контекста и поддерживаемых языках. К ограничениям относятся склонность к бесконечным повторениям, низкая читаемость ответов и смешение языков. DeepSeek-R1-Zero опубликована с лицензией MIT, что допускает её использование в соответствии с условиями этой лицензии.

5.7K978янв. 2025ctx163.8K
textmithugging-face
SenseTime
deformable-detr-with-box-refine

Это модель Deformable DETR с backbone ResNet-50 и уточнением ограничивающих рамок, разработанная авторами статьи Deformable DETR и опубликованная в репозитории SenseTime. Архитектура сочетает свёрточный backbone с энкодером и декодером Transformer; запросы объектов используются для предсказания классов и координат рамок. Модель обучена сквозным образом для обнаружения объектов на COCO 2017, содержащем 118 тысяч размеченных обучающих изображений. Модель предназначена для обнаружения объектов на изображениях и выдаёт классы объектов и ограничивающие рамки. Она использует 100 запросов объектов для обработки сцены. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Качество и охват классов связаны с обучением на COCO, поэтому модель может хуже работать на изображениях и категориях, отличающихся от этого набора данных. Карточка не сообщает оценок качества или дополнительных ограничений применения.

3454март 2022ctx1K
imageapache-2.0hugging-face
Xenova
distilbert-base-multilingual-cased-sentiments-student

Xenova/distilbert-base-multilingual-cased-sentiments-student — модель для классификации тональности текста, разработанная на основе lxyuan/distilbert-base-multilingual-cased-sentiments-student. Репозиторий Xenova содержит веса в формате ONNX, адаптированные для использования с библиотекой Transformers.js и запуска в JavaScript-средах, включая веб-приложения. Модель предназначена для определения тональности пользовательских текстов и может применяться в анализе отзывов, мониторинге обратной связи и других сценариях текстовой классификации. В качестве базовой архитектуры используется мультиязычная регрессионная версия DistilBERT с поддержкой регистра. Точный размер модели, перечень языков, объём контекста и набор меток тональности в README не указаны. Ключевое преимущество модели — возможность выполнять классификацию через Transformers.js с ONNX-весами, что упрощает интеграцию в JavaScript-проекты. Ограничения, показатели качества, условия лицензирования и область обучающих данных в представленном описании не указаны, поэтому их следует уточнить в карточке исходной модели lxyuan/distilbert-base-multilingual-cased-sentiments-student.

4.0K2март 2024ctx512
texthugging-face
jonfd
electra-small-nordic

Nordic ELECTRA-Small — компактная модель семейства ELECTRA, предварительно обученная jonfd на корпусах исландского, норвежского, шведского и датского языков. Она содержит 37,2 млн параметров, использует архитектуру ElectraForPreTraining и токенизатор WordPiece со словарём из 96 105 токенов; длина контекста составляет 512 токенов. Веса доступны в форматах PyTorch и TensorFlow. Модель предназначена как предварительно обученная основа для задач понимания текста на четырёх скандинавских языках, например классификации и извлечения признаков после адаптации под конкретную задачу. Для обучения использовались корпус Icelandic Gigaword, Icelandic Common Crawl, Icelandic Crawled Corpus и mC4; совокупный объём после фильтрации и удаления дубликатов составил 14,82 млрд токенов, поровну для каждого языка. Это чекпойнт предварительного обучения, а не готовая разговорная модель или генератор связного текста: архитектура ElectraForPreTraining ориентирована на предобучение и требует подходящей донастройки для прикладных задач. Лицензия — CC BY 4.0.

15K4март 2022ctx512
textcc-by-4.0hugging-face
timm
eva02_tiny_patch14_336.mim_in22k_ft_in1k

EVA02 Tiny — компактная модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная авторами в семействе timm. Она основана на Vision Transformer с усреднением признаков и обрабатывает изображения размером 336 × 336 пикселей; число параметров — около 5,8 млн. Модель предварительно обучена на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя, затем дообучена авторами статьи на ImageNet-1k. Модель подходит для распознавания объектов и категорий на изображениях, а также для получения эмбеддингов как визуальных признаков в прикладных системах. Веса репозитория timm представлены в формате PyTorch и safetensors и сохранены в float32. Лицензия — MIT.

7.1K4март 2023
imagemithugging-face
SVECTOR-CORPORATION
FAL

FAL (Framework for Automated Labeling of Videos) — модель классификации видео от SVECTOR. Она дообучена на наборе данных FAL-500 и относит видео к одному из 500 классов. Модель использует архитектуру TimeSformer и принимает видеокадры: для описанной конфигурации это 8 кадров RGB размером 224×224 с предварительной обработкой и нормализацией. Число параметров — 113,2 млн. Модель предназначена для автоматической разметки и классификации видеоконтента. Она может быть полезна для категоризации видео и экспериментов по пониманию видеосцен. Лучше всего применять её к данным, похожим на FAL-500: на видео из других предметных областей качество может снижаться. Для использования требуется подготовить кадры в соответствии с ожидаемым размером и нормализацией. Лицензия — MIT.

729дек. 2024
videomithugging-face
gorilla-llm
gorilla-openfunctions-v1

Gorilla OpenFunctions v1 — языковая модель семейства Llama, разработанная проектом Gorilla при UC Berkeley. Она преобразует инструкции на естественном языке и контекст доступных API в структурированные вызовы функций: выбирает подходящую функцию и формирует аргументы в JSON. Версия v1 поддерживает выбор между несколькими функциями и параллельные вызовы. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, имеет контекст длиной 4096 токенов и представлена в формате PyTorch. Она предназначена для интеграции с API и помощниками, которым нужно выполнять действия через вызовы функций. В карточке не описаны поддерживаемые языки и специальные ограничения качества. Модель и данные для её обучения выпущены под лицензией Apache 2.0.

4192нояб. 2023ctx4.1K
textapache-2.0hugging-face
futo-org
gravel-ctc-440m

futo-org разработала Gravel CTC 440M — англоязычную модель автоматического распознавания речи на архитектуре Conformer. Она использует 440-миллионный аудиоэнкодер, выделенный из ibm-granite/granite-speech-4.1-2b-nar, и отдельную CTC-голову с BPE-256; адаптация LoRA объединена с весами модели. На вход подаётся необработанный аудиосигнал PCM с частотой 16 кГц. Модель предназначена для транскрибации английской речи и используется как учитель для дистилляции потоковых ASR-моделей FUTO. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Для загрузки в README указан trust_remote_code=True.

100июль 2026
textaudioapache-2.0hugging-face
facebook
hiera-huge-224-in1k-hf

facebook/hiera-huge-224-in1k-hf — модель компьютерного зрения на архитектуре Hiera, разработанной исследовательской командой, представившей работу «Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles». Чекпойнт содержит 234,9 млн параметров и дообучен для классификации изображений ImageNet-1K; он предназначен для присвоения изображению метки класса. Hiera использует иерархический Vision Transformer, который постепенно сокращает пространственное разрешение и увеличивает число признаков; в карточке архитектура описана как простая и эффективная. Модель принимает изображения и выдаёт классы. Карточка также описывает семейство Hiera как применимое к извлечению признаков и masked image modeling, однако этот чекпойнт предназначен именно для классификации изображений. Поддерживается английский язык меток ImageNet-1K. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией и ограничением на коммерческое применение.

152май 2024
imagecc-by-nc-4.0hugging-face
stojchet
jk3

jk3 — дообученная модель для генерации текста на базе deepseek-ai/deepseek-coder-1.3b-base. Она содержит 1,3 млрд параметров, использует плотную архитектуру семейства Llama и принимает контекст длиной до 16 384 токенов. Модель сохранена в формате safetensors. В карточке приведены метрики оценки, включая loss 0,4190 и разницу оценок выбранных и отклонённых ответов 9,0528. Датасет указан как None, а сведения о назначении, обучающих данных и ограничениях не раскрыты. Лицензия в доступных данных не указана.

170июль 2024ctx16.4K
texthugging-face
smilegate-ai
kor_unsmile

smilegate-ai/kor_unsmile — модель классификации текста, опубликованная Smilegate AI и реализованная на архитектуре BERT. Она предназначена для анализа корейских высказываний и выявления ненавистнической речи, оскорблений и чистых высказываний; для категорий ненависти предусмотрена многометочная классификация. Модель содержит 136,3 млн параметров и рассчитана на контекст до 300 токенов. Её можно применять для первичной модерации комментариев и разметки корейского текста по категориям оскорбительной речи. Точность не гарантируется: разработчики датасета отмечают, что разметка может содержать ошибки, а качество классификации различается между категориями. Базовая модель и лицензия отдельно для весов в карточке модели не указаны. В материалах разработчика baseline-модель UnSmile опубликована под Apache 2.0; лицензия датасета CC-BY-NC-ND 4.0 относится именно к датасету.

6.5K10март 2022ctx300
texthugging-face
Kronumos
Kronumos-Kairos-v2

Kronumos 2 Kairos — модель Tokenectomy Labs для автоматического исправления ошибок в коде. Это дообученная на базе Qwen2.5-Coder-7B-Instruct плотная причинная языковая модель семейства Qwen2 с 7,1 млрд параметров, контекстом 32 768 токенов и архитектурой Qwen2ForCausalLM. В README также описан детерминированный Rust-компонент для проверки и исправления структуры кода; заявлено использование модели для однопроходного ремонта программных ошибок и приводится оценка на SWE-bench Verified. Модель предназначена для генерации исправлений по описанию ошибки и фрагментам кода, в том числе для локального запуска и интеграции в CI/CD. Заявлены чатовый интерфейс и интерфейс вызова инструментов. Основной язык карточки — английский; модель специализируется на программном коде, а README описывает примеры ремонта Python-проектов. Лицензия — Apache-2.0. В README указаны результаты бенчмарка и характеристики вспомогательного Rust-компонента, однако это заявления авторов карточки, а не независимая проверка. Объявленный в разработке Right Brain ещё не входит в опубликованные веса.

2.0K3сент. 2026ctx32.8K
textapache-2.0hugging-face
umitaksoylu
lsda-3b-turkish-dev

LSDA-3B-Turkish-Dev — языковая модель на 3,1 млрд параметров, разработанная umitaksoylu на базе Qwen2.5-3B и дообученная для задач современной full-stack разработки. Она предназначена для генерации кода и технических объяснений, особенно для C# и .NET, SQL и React; заявлены примеры совместной работы backend API и frontend-компонентов, генерации запросов по схемам, LINQ и современных шаблонов .NET, а также React Hooks и Context. Модель использует плотную архитектуру Qwen2ForCausalLM, принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Карточка заявляет двуязычную работу на английском и турецком языках и рекомендует использовать именно их. Веса опубликованы в формате Safetensors; лицензия — Apache-2.0. Качество и надёжность результатов зависят от запроса, а заявленная специализация не гарантирует корректность кода или SQL.

5093март 2026ctx32.8K
textapache-2.0hugging-face
yaful
MAGE

MAGE — модель семейства Longformer для классификации текста, предназначенная для выявления машинно-сгенерированных текстов в реальных условиях. Она разработана для задачи определения происхождения текста и представлена в виде модели классификации последовательностей на базе Transformers и PyTorch. Модель содержит 151,8 млн параметров и поддерживает контекст до 4098 токенов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка называет задачу обнаружения машинно-сгенерированного текста, но не приводит подробностей об обучающих данных, перечне языков и точности. Классификатор может ошибаться на текстах, отличающихся от тех, на которых его обучали.

5374янв. 2024ctx4.1K
textapache-2.0hugging-face
SetFit
MiniLM-L12-H384-uncased__sst2__all-train

MiniLM-L12-H384-uncased__sst2__all-train — модель классификации текста на базе Microsoft MiniLM-L12-H384-uncased, дообученная для задачи определения тональности отзывов SST-2. Архитектура — BERT-классификатор с примерно 40 млн параметров и контекстом до 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Модель предназначена для классификации текста, в частности для отнесения отзывов к положительной или отрицательной тональности. В карточке указаны точность 0,9055 и значение loss 0,2632 на оценочном наборе. Сведения о составе обучающего набора и других сценариях применения не приведены.

310март 2022ctx512
textmithugging-face
EuroEval
mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-fi

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-fi — модель для token classification на базе Transformers, связанная с ModernBERT и имеющая около 140,5 млн параметров. По названию репозитория она ориентирована на анализ синтетических галлюцинаций в задачах вопросов и ответов по нескольким wiki-источникам с использованием сценариев RAGTruth; суффикс fi указывает на финскую языковую версию или набор данных. Модель поддерживает контекст до 8192 токенов и предназначена для интеграции в конвейеры Hugging Face Transformers. Её можно применять для токенового или последовательностного выявления фрагментов, связанных с галлюцинациями и качеством ответов RAG-систем, если формат выходных меток соответствует используемому сценарию. Подробные сведения о разработчике, лицензии, обучающих данных, метриках и точной схеме меток в карточке отсутствуют.

4820авг. 2026ctx8.2K
texthugging-face
EuroEval
mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-pl

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-pl — модель на базе архитектуры ModernBERT для token classification, предназначенная для разметки отдельных токенов в текстах. По идентификатору модели она ориентирована на выявление синтетических галлюцинаций в ответах на вопросы с использованием сценариев retrieval-augmented generation и данных RAGTruth для польского языка. Модель содержит 140,5 млн параметров и поддерживает контекст до 8192 токенов. Её можно применять для анализа ответов QA-систем, поиска фрагментов с потенциально недостоверным содержанием и построения компонентов контроля качества RAG. Это не генеративная модель и не предназначена для самостоятельного создания ответов. README не содержит сведений о разработчике, лицензии, точных языках обучения, метриках или результатах оценки.

3400авг. 2026ctx8.2K
texthugging-face
pixai-labs
pixai-tagger-v1.0

PixAI Tagger v1.0 — модель PixAI Labs для автоматической многометочной разметки аниме-изображений. Она предсказывает теги персонажей, одежды, поз, объектов, композиции, стиля, авторских прав и рейтинга из словаря на 30 877 меток. Модель использует дообученную основу SAM3 с архитектурой ViTDetCls и содержит 486,3 млн параметров. Модель принимает изображения, приводит их к разрешению 1008 × 1008 с сохранением пропорций и дополнением полей, а затем выдаёт оценки тегов по категориям. Пороговые значения можно настраивать отдельно для каждой категории. Она предназначена для каталогизации аниме-иллюстраций, подготовки наборов данных и создания подписей. В сравнительном тесте на общих метках модель показала высокие результаты для общих и стилевых тегов; для тегов персонажей она заняла второе место по micro F1 среди сравнивавшихся моделей. Модель лучше всего подходит для аниме-иллюстраций; качество на других типах изображений не измерялось. Словарь ограничен метками, известными на май 2026 года, поэтому новые персонажи, франшизы и стили могут отсутствовать, а предсказания могут быть пропущенными или ошибочными. Теггер не следует использовать как единственное средство модерации, для юридических решений или проверки возраста. Лицензия — Apache-2.0.

23K116сент. 2026
imageapache-2.0hugging-face
nvidia
PS3-4K-SigLIP2

PS3-4K-SigLIP2 — разработанный NVIDIA визуальный энкодер на основе SigLIP2 для извлечения признаков из изображений высокого разрешения. Он принимает RGB-изображения размером до 3780 × 3780 пикселей и возвращает тензор визуальных эмбеддингов для последующей обработки другими моделями. Модель использует Vision Transformer и кодирует изображения на нескольких масштабах — от 378 до 3780 пикселей. Она поддерживает выбор информативных участков изображения по визуальной значимости или текстовому запросу; в полном режиме выход объединяет признаки до 88 209 патч-токенов. Модель рассчитана на исследования и разработку, а NVIDIA указывает оптимизацию для своих GPU-ускорителей. Для практического использования эмбеддингов требуется downstream-модель. В README не приведены условия лицензии, поэтому определить их по доступным материалам нельзя.

1132июль 2025
imageembeddinghugging-face
Jongbin-kr
qwen2.5-coder-7b_verireason-NO-reasoning_official-sft-1.0

Это дообученная Jongbin-kr модель семейства Qwen2.5-Coder: плотная авторегрессионная языковая модель с 7,1 млрд параметров на базе Qwen2ForCausalLM. Она предназначена для генерации текста в диалоговом формате; пример в карточке показывает ответ на общий вопрос, а название модели указывает на настройку без рассуждений. Модель обучена с помощью TRL и опубликована в формате safetensors; поддерживает контекст до 32 768 токенов. Модель можно применять для диалоговых ответов и генерации текста, включая сценарии, связанные с кодом, хотя карточка не содержит результатов оценки качества или подробного описания специализированных возможностей. Лицензия и явное указание поддерживаемых естественных языков в предоставленных данных отсутствуют.

360авг. 2026ctx32.8K
texthugging-face
skratos115
qwen2-7b-instruct-OpenDevin-merged_model

Модель skratos115/qwen2-7b-instruct-OpenDevin-merged_model — дообученная skratos115 при сотрудничестве с командой OpenDevin версия Qwen2-7B-Instruct. Она предназначена для работы с CodeAct и вызова инструментов, а также для генерации кода и ответов в диалоге. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. В README указано, что модель обучена на датасете opendevin-code-act с помощью Unsloth и опубликована по лицензии MIT. Репозиторий содержит объединённые веса; автор также упоминает варианты GGUF с разной точностью. Модель находится на ранней стадии разработки и, по словам автора, не предназначена для использования в production; качество работы с инструментами требует дальнейшей проверки.

210июнь 2024ctx32.8K
textmithugging-face
timm
resnext50_32x4d.a2_in1k

ResNeXt-50 32x4d A2 In1k — модель классификации изображений и извлечения признаков из семейства ResNeXt, предоставленная авторами timm. Она обучена на ImageNet-1k с рецептом ResNet Strikes Back A2. Архитектура использует групповые свёртки 3×3 в bottleneck-блоках, активации ReLU, начальную свёртку 7×7 с пулингом и остаточные соединения с проекцией 1×1. Модель содержит около 25 млн параметров и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Для обучения указано разрешение 224×224, для тестирования — 288×288. Модель принимает изображения и выдаёт метки классов либо признаки, в зависимости от используемого сценария. В карточке приведены результаты сравнения на ImageNet, но они не гарантируют качество на других наборах данных. Для специализированных классов может потребоваться дообучение. Распространяется по лицензии Apache-2.0.

940апр. 2023
imageapache-2.0hugging-face
stevenbucaille
rf-detr-medium

RF-DETR Medium — модель сквозного обнаружения объектов из семейства RF-DETR, представленного в работе Robinson и соавторов и перенесённого в Transformers участником stevenbucaille. Она предназначена для обнаружения объектов на изображениях; контрольные точки этого семейства обучаются распознавать 80 категорий COCO 2017. Архитектура сочетает визуальный трансформер ViT в стиле DINOv2 with registers с чередованием оконного и полного внимания, многоуровневый проектор признаков и декодер Deformable DETR с объектными запросами. Семейство RF-DETR рассчитано на компромисс между точностью и задержкой; в описании для этой конкретной версии не приведены её размер и разрешение входа. Модель принимает изображения и выдаёт обнаруженные объекты с рамками и классами. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0.

1340сент. 2025
imageapache-2.0hugging-face
thu-coai
roberta-base-cold

Модель thu-coai/roberta-base-cold — дообученная для выявления оскорбительной речи версия hfl/chinese-roberta-wwm-ext. Она классифицирует китайские тексты по наличию оскорбительного содержания и предназначена для автоматической модерации и исследований по обнаружению токсичной речи. Модель построена на архитектуре BERT, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. В README указаны результаты на тестовой выборке COLDataset: точность 82,75% и macro-F1 82,39%. Модель опубликована авторами thu-coai; условия лицензии в доступных данных не приведены.

22345нояб. 2022ctx512
texthugging-face
alexandrainst
scandi-nli-large

ScandiNLI-large — модель естественного языкового вывода (NLI), разработанная для датского, норвежского букмола и шведского языков. Это дообученная для NLI версия NbAiLab/nb-bert-large на базе архитектуры BERT; число параметров в метаданных — 453,9 млн, длина контекста — до 512 токенов. Модель поддерживает классификацию без примеров с заранее обученными метками: она оценивает связь между посылкой и гипотезой, что позволяет применять её для классификации текста по пользовательским категориям. В README приведены оценки на датских, шведских и норвежских наборах данных; авторы отмечают, что оценки для шведского и норвежского получены на машинно переведённой версии MultiNLI, а не на эталонных наборах этих языков. Модель распространяется под лицензией Apache-2.0.

3.2K11нояб. 2022ctx512
textapache-2.0hugging-face
Veritone
siglip2-large-patch16-512-text

Это текстовая башня SigLIP 2 Large, подготовленная Veritone как облегчённая копия google/siglip2-large-patch16-512. Она преобразует текстовые запросы и метки в общее пространство эмбеддингов с изображениями; отдельно загружается для этапа поиска, а парная зрительная башня размещена в Veritone/siglip2-large-patch16-512-vision. Модель предназначена для классификации изображений по заданным текстовым меткам без специального дообучения и для поиска изображений по текстовому запросу в связке с соответствующей зрительной башней. Архитектура — SigLIP 2 Large; модель использует только текстовую башню, поддерживает английский текст и контекст длиной 64 токена. Для загрузки указана библиотека Transformers, веса доступны в формате safetensors. Лицензия — Apache-2.0. Поскольку в этой копии отсутствует зрительная башня, сама по себе она не обрабатывает изображения: для сопоставления с изображениями нужна совместимая зрительная башня. README не приводит отдельных результатов оценки именно этой копии.

100июнь 2026ctx64
textimageapache-2.0hugging-face
Zigeng
SlimSAM-uniform-50

SlimSAM-uniform-50 — компактная версия Segment Anything Model, разработанная Zigeng Chen, Gongfan Fang, Xinyin Ma и Xinchao Wang из Learning and Vision Lab Национального университета Сингапура. Модель предназначена для генерации масок и сегментации объектов на изображениях. SlimSAM получена сжатием предварительно обученной SAM с помощью чередующегося прореживания и дистилляции. В варианте SlimSAM-50 около 5,7 млн параметров и 21 млрд MACs — соответственно 0,9% и 0,8% от показателей SAM-H. Для обучения метода использовано 10 тыс. примеров, или 0,1% от объёма, указанного для сравнения с исходной SAM-H. Авторы сообщают о близкой к исходной модели производительности при существенно меньшем размере. Модель принимает изображения и выдаёт сегментационные маски. В метаданных указаны архитектура SAM и класс SamModel; файлы представлены в формате safetensors. Лицензия — Apache-2.0. README не сообщает о поддержке текстовых запросов или конкретных языков; результаты и производительность могут зависеть от изображений и сценария сегментации.

1.7K15янв. 2024
imageapache-2.0hugging-face
prithivida
Splade_PP_en_v1

prithivida/Splade_PP_en_v1 — англоязычный разреженный поисковый энкодер семейства SPLADE++, разработанный Donkey Stereotype. Это независимая реализация для поиска по документам: модель преобразует текст в разреженное представление по словарю BERT и расширяет его контекстуально предсказанными токенами. В основе лежит bert-base-uncased; модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и ONNX. Энкодер предназначен для представления документов в системах информационного поиска и семантического поиска, где важны совпадения терминов, расширение запроса и разреженный индекс. В карточке описаны настройки с ограниченным бюджетом токенов и FLOPS, ориентированные на эффективность извлечения; для запросов автор предполагает отдельную модель, которая в этой карточке не представлена. Указаны результаты на MS MARCO и сравнительные показатели поиска, однако они зависят от настройки и не гарантируют качество на других корпусах. Модель работает с текстом на английском языке. Лицензия — Apache-2.0. В README отмечено, что к ней применимы ограничения и смещения базовой BERT-модели.

22K33февр. 2024ctx512
textembeddingapache-2.0hugging-face
kashif
stack-llama-2

Stack-Llama-2 — языковая модель Kashif на архитектуре Llama 2, дообученная методом DPO на данных Stack Exchange. Модель с 6,6 млрд параметров и контекстом до 4096 токенов предназначена для развёрнутых ответов на вопросы по программированию, математике, физике и другим темам Stack Exchange; также подходит для демонстрации генерации ответов в стиле сообщества Stack Exchange. Поддерживает английский язык. Модель может выдавать неверные или вводящие в заблуждение ответы, воспроизводить фрагменты обучающих данных и наследует смещения Llama и Stack Exchange. Ответы следует проверять по внешним источникам; модель не предназначена для замены экспертной оценки. Лицензия — bigscience-openrail-m.

8815авг. 2023ctx4.1K
textbigscience-openrai…hugging-face
junnyu
structbert-large-zh

junnyu/structbert-large-zh — неофициальная копия китайской модели StructBERT-large. StructBERT разработана командой Alibaba AliceMind и расширяет BERT дополнительными задачами предобучения, учитывающими порядок слов и предложений. В карточке указано, что копия не создана командой AliceMind. Модель на базе архитектуры BERT предназначена для извлечения признаков из китайского текста и может служить основой для дообучения задач понимания языка. Исходная китайская версия описана как BERT-large; метаданные этой копии указывают 424,3 млн параметров и контекст до 512 токенов. В README приведены результаты исходной версии на китайском бенчмарке CLUE. Карточка не сообщает лицензию для этой копии, поэтому условия её использования следует уточнить в репозитории. Для практического применения потребуется задача или классификационная голова, обученная поверх извлекаемых признаков.

308май 2022ctx512
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей