/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
5 881–5 910 из 23 488
RogerB
xlm-roberta-base-finetuned-kinyarwanda-kinre-finetuned-kinre-tweet-finetuned

Это дообученная модель XLM-RoBERTa для задачи предсказания замаскированных слов в тексте. Она содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa и формат PyTorch; базовая модель уже была дообучена для работы с киньяруанда.

80окт. 2023ctx514
texthugging-face
morsetechlab
yolov11-license-plate-detection

morsetechlab/yolov11-license-plate-detection — дообученная модель компьютерного зрения семейства YOLOv11 для обнаружения автомобильных номерных знаков. Она предназначена для сценариев автоматического распознавания номеров (ALPR) как этап перед OCR, а также для систем парковки, контроля доступа и платных дорог, дорожного наблюдения и контроля. Модель принимает изображения и возвращает рамки обнаруженных номеров с метками классов. В карточке указаны варианты PyTorch и ONNX; метаданные подтверждают формат ONNX, библиотеку Ultralytics и задачу object-detection. Обучение проводилось на наборе Roboflow license-plate-recognition-rxg4e; модель ориентирована преимущественно на автомобильные номера. Оценочные метрики в README основаны на тестовом разбиении с утечкой изображений между обучающей и тестовой выборками, поэтому они, вероятно, завышены и не отражают обобщение на новых данных. При стандартном размере изображения 640×640 мелкие или удалённые номера могут пропускаться; производительность для мотоциклетных номеров, нелатинских символов и необычных форматов не гарантируется. Лицензия — AGPL-3.0.

72K45май 2025
imageagpl-3.0hugging-face
keremberke
yolov8n-painting-classification

keremberke/yolov8n-painting-classification — модель компьютерного зрения на базе YOLOv8, опубликованная пользователем keremberke и предназначенная для классификации изображений картин по художественному стилю. Она различает 27 классов, включая импрессионизм, кубизм, барокко, поп-арт, минимализм и укиё-э. Модель использует библиотеку Ultralytics и доступна в формате PyTorch. Модель подходит для автоматической сортировки коллекций изображений, предварительной разметки картин и поиска произведений по стилю. В карточке указано, что для использования требуется ultralyticsplus. Сведения о лицензии и количественных показателях качества в предоставленных данных отсутствуют.

6640янв. 2023
imagehugging-face
DCAgent
a1-exercism_python

DCAgent/a1-exercism_python — дообученная версия Qwen/Qwen3-8B, разработанная DCAgent. Модель предназначена для генерации текста и диалоговой работы; название репозитория и тренировочного набора указывают на специализацию на задачах Python из Exercism. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и использует контекст длиной до 40 960 токенов. В карточке указано дообучение на наборе exp_rpt_exercism-python_10k_glm_4.7_traces_jupiter; формат весов — safetensors. Данных о результатах оценки и подтверждённых языках нет. Лицензия в метаданных обозначена как other, конкретные условия использования не приведены. Карточка не описывает ограничения модели и её качество; ответы с кодом следует проверять.

290март 2026ctx41K
textotherhugging-face
onlplab
alephbert-base

AlephBERT-base — базовая языковая модель для иврита, разработанная Onlplab на основе архитектуры BERT Google. Она обучена на корпусах OSCAR, Википедии на иврите и сообщениях Twitter и предназначена для заполнения пропусков в тексте: модель предсказывает замаскированные токены с учётом окружающего контекста. Модель использует архитектуру BERT для masked language modeling, содержит около 153,2 млн параметров и принимает последовательности длиной до 512 токенов. Репозиторий предоставляет веса в форматах PyTorch, TensorFlow и Flax. Модель ориентирована на иврит; лицензия — Apache-2.0. AlephBERT подходит для восстановления пропущенных слов и как языковая основа для задач NLP на иврите. Карточка не описывает ограничения качества или специальные гарантии; как и другие языковые модели, она может давать неверные предсказания и отражать смещения обучающих корпусов.

23K21март 2022ctx512
textapache-2.0hugging-face
toonist
AnuLM-Coder-400M

AnuLM-Coder-400M — компактная авторская модель для генерации Python-кода, разработанная Toonist. Это декодерная модель с разреженной смесью экспертов: 398 млн параметров всего, 174 млн активны на токен; используется архитектура AnuLM с группированным запросом внимания и 24 маршрутизируемыми экспертами. Модель обучена с нуля на корпусе объёмом 2,78 млрд токенов, преимущественно на Python-коде, а затем дообучена на примерах «задача — решение». Контекст — 512 токенов. Модель предназначена для генерации коротких распространённых функций Python по текстовому описанию: например, простых вычислений, фильтрации списков и манипуляций со строками. В README указаны результаты MBPP 12,5% pass@1 для режима вопроса и ответа и HumanEval 4,9% для продолжения сигнатуры базовой моделью; после дообучения HumanEval в этом режиме составляет 3,0%. Это узкоспециализированный генератор кода, а не универсальный ассистент. Модель часто выдаёт синтаксически корректный код, но может ошибаться в граничных случаях, использовать несуществующие методы и продолжать генерацию за пределами функции. В обучающих данных были Python-код и задания, английский текст, а также небольшая доля хинди; модель может продолжать текст на английском и хинди, но не настроена на ответы на вопросы или перевод. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Сгенерированный код следует проверять и запускать в изолированной среде.

1500сент. 2026ctx512
textcc-by-nc-sa-4.0hugging-face
unslothai
aws

unslothai/aws — модель или репозиторий на Hugging Face, опубликованный аккаунтом Unsloth Backup Account, связанным с разработчиком Unsloth. В карточке модель классифицирована как Feature Extraction и предназначена для извлечения признаковых представлений из входного текста с использованием библиотеки Transformers. Для загрузки указаны AutoTokenizer и AutoModel, а также pipeline с задачей feature-extraction. Ключевые характеристики ограниченно документированы: указаны форматы Safetensors и F32, теги Transformers и llama, однако размер модели отображается как 0 параметров. Архитектура, поддерживаемые языки, максимальная длина контекста и модальности не описаны. Модель не развернута у доступных Inference Providers, поэтому практическая доступность готового inference-сервиса ограничена. Лицензия и условия использования в карточке модели не указаны. Из-за отсутствия подробной model card нельзя надежно оценить качество, сильные стороны, ограничения или пригодность для конкретных прикладных сценариев.

85K1март 2024
textembeddinghugging-face
shah-bakhsh
balochi-pos-tagger

Balochi POS Tagger — модель разметки частей речи для текстов на балочском языке, записанных арабским письмом. Её разработал shahbakhsh; модель дообучена на датасете Balochi CoNLL-U от distilbert-base-multilingual-cased и использует архитектуру DistilBERT для классификации токенов. Модель присваивает токенам грамматические метки: например, определяет существительные, глаголы, прилагательные, местоимения, союзы и пунктуацию. Она предназначена для лингвистического анализа и построения NLP-процессов для балочского языка. Максимальная длина контекста — 512 токенов. В тестовой выборке указана точность 0,7002, полнота 0,5289 и precision 0,5994. Модель распространяется под лицензией Apache-2.0. Показатели тестирования указывают на возможные ошибки в разметке; перед использованием в критичных задачах результаты следует проверять на целевых данных.

91июль 2026ctx512
textapache-2.0hugging-face
tohoku-nlp
bert-base-japanese-char-whole-word-masking

Это базовая японская модель BERT, разработанная группой Tohoku NLP и предварительно обученная на текстах японской Википедии. Она использует плотную архитектуру BERT base с 12 слоями, размерностью скрытого состояния 768 и 12 головами внимания; всего около 116,3 млн параметров. Контекст — до 512 токенов. Текст сначала разбирается MeCab с IPA-словарём, затем токенизируется на уровне символов; размер словаря составляет 4000. При обучении задачи masked language modeling применяется whole word masking: маскируются все символы, соответствующие одному слову. Модель предназначена для заполнения пропусков в японском тексте и может служить основой для дальнейшей адаптации к задачам обработки японского языка. Доступны веса PyTorch, TensorFlow и Flax. Лицензия — CC BY-SA 4.0.

1.3K4март 2022ctx512
textcc-by-sa-4.0hugging-face
izumi-lab
bert-small-japanese

izumi-lab/bert-small-japanese — компактная японская модель BERT, предварительно обученная на японской Википедии. Архитектура соответствует BERT small из оригинальной статьи ELECTRA: 12 слоёв, размер скрытого состояния 256 и 4 головы внимания; модель содержит 21 млн параметров и рассчитана на контекст до 128 токенов. Модель подходит для предсказания пропущенных токенов в японском тексте и как компактная основа для задач обработки японского языка. При токенизации используется MeCab с IPA-словарём, затем WordPiece; размер словаря — 32 768 токенов. Модель распространяется в формате PyTorch по лицензии CC BY-SA 4.0.

5616март 2022ctx128
textcc-by-sa-4.0hugging-face
uaritm
bge-m3-cardio-ua

uaritm разработал BGE-M3 Cardio UA — дообученную модель эмбеддингов для поиска текстов по кардиологической тематике, прежде всего на украинском языке. Она основана на BAAI/bge-m3 и предназначена для сравнения семантической близости запросов и документов в медицинских поисковых и RAG-системах. Модель использует архитектуру XLM-RoBERTa с плотным представлением; в README также описаны CLS pooling и дополнительный полносвязный слой размерности 1024. Для обучения применялись Triplet Loss и косинусная близость. Размер модели — 658,7 млн параметров, контекст — до 8194 токенов. Указаны украинский и английский языки; лицензия — MIT. Модель специализируется на различении близких кардиологических диагнозов, симптомов и протоколов лечения. README предупреждает о снижении точности за пределами кардиологии и кардиохирургии. Упоминание в карточке возможностей генерации рекомендаций и MedGemma выглядит несогласованным с метаданными и основным назначением модели-эмбеддера; это описание не подтверждено для данного чекпойнта.

960дек. 2025ctx8.2K
textmithugging-face
Mardiyyah
CeLLaTe-tapt-pubmedbert-tokenizer-original_v2

CeLLaTe-tapt-pubmedbert-tokenizer-original_v2 — англоязычная BERT-модель Mardiyyah, дообученная методом TAPT на наборе Mardiyyah/TAPT_CeLLaTe2.0. Она предназначена для предсказания пропущенных слов в биомедицинских текстах и может служить основой для адаптации к задачам NLP по медицинской литературе. Модель построена на microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. На указанном в карточке наборе оценки достигла loss 1,0433, accuracy 0,7695 и perplexity 2,8385. Распространяется по лицензии Apache-2.0.

370июль 2026ctx512
textapache-2.0hugging-face
Hello-SimpleAI
chatgpt-detector-roberta

Hello-SimpleAI разработала классификатор на базе RoBERTa для определения, был ли текст ответа создан ChatGPT. Модель дообучена на ответах из набора Hello-SimpleAI/HC3: использовались как полные тексты, так и отдельные предложения; обучение длилось одну эпоху. Модель содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Она предназначена для классификации англоязычных текстов и может применяться для анализа ответов и изучения различий между текстами, созданными ChatGPT и людьми. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

40K64янв. 2023ctx514
texthugging-face
Hello-SimpleAI
chatgpt-detector-roberta-chinese

Hello-SimpleAI разработала китайскоязычную модель классификации текста для определения, был ли ответ написан ChatGPT или человеком. Это дообученный классификатор на архитектуре BERT, основанный на чекпойнте hfl/chinese-roberta-wwm-ext; при обучении использовались полные ответы и отдельные предложения из набора Hello-SimpleAI/HC3-Chinese, обучение длилось два эпоха. Модель подходит для анализа китайских ответов и оценки их происхождения в задачах сравнения текстов, модерации или исследовательского анализа генерации ИИ. Она принимает текст и выдаёт метку классификации. Размер составляет 129,5 млн параметров, контекст — до 512 токенов. Модель обучена на всех данных HC3-Chinese без отложенной выборки, поэтому результаты могут хуже переноситься на другие источники текстов и жанры. Формат весов — PyTorch; сведения о лицензии в предоставленных материалах отсутствуют.

9.9K26янв. 2023ctx512
texthugging-face
Hayasuki
ChuckleNet-Ten

ChuckleNet-Ten — дообученная модель Hayasuki для обнаружения событий смеха в аудио стендап-комедии. Она использует замороженные речевые представления WavLM и просодические признаки; базовая модель — microsoft/wavlm-base. Модель предназначена для разметки моментов смеха и изучения того, как просодия помогает предсказывать реакцию аудитории без транскрипта. На отложенной выборке из 118 видео с комиками, не представленными в обучении, показатель IoU-F1@0.2 составляет 0,330, а Average Precision — 0,229. README предупреждает о заметном снижении качества при переносе на незнакомых комиков и указывает, что модель проверена только на англоязычном стендапе. Для загрузки требуется trust_remote_code=True, поскольку репозиторий содержит пользовательский код архитектуры ChuckleNetVerified. Лицензия — MIT.

780сент. 2026
audiomithugging-face
snowood1
ConfliBERT-cont-uncased

Карточка модели snowood1/ConfliBERT-cont-uncased на Hugging Face совпадает с карточкой snowood1/ConfliBERT-scr-uncased, поэтому описание составлено по ней. ConfliBERT-scr-uncased — предварительно обученная языковая модель семейства BERT для анализа политических конфликтов и насилия. Модель разработана авторами ConfliBERT; эта версия обучена с нуля с использованием собственного словаря без различения регистра. Модель предназначена для языковых задач в тематике политических конфликтов и насилия. Она реализована как BertForMaskedLM с 136,3 млн параметров и контекстом до 512 токенов; доступный формат весов — PyTorch. Основная задача по метаданным — заполнение пропусков в тексте. Модель не является чат-ассистентом и предназначена для предсказания замаскированных токенов, а не для свободной генерации ответов. README не сообщает языки обучающих данных или результаты оценки качества. Лицензия — GPL-3.0.

592апр. 2022ctx512
textgpl-3.0hugging-face
immanuelpeter
C-RADIOv4-H

Репозиторий immanuelpeter/C-RADIOv4-H содержит извлечённую из NVIDIA Nemotron 3 Nano Omni копию визуального энкодера C-RADIOv4-H вместе с Omni-проектором. Это не клон отдельного энкодера nvidia/C-RADIOv4-H: веса башни RADIO и проектора побитово совпадают с соответствующими компонентами указанной базовой модели. Архитектура включает башню с размерностью скрытого состояния 1280 и размером патча 16, сжатие токенов через pixel shuffle 2×2 и проектор mlp1 с выходной размерностью 2688. Модель предназначена для извлечения признаков изображений в составе визуального пути Nemotron 3 Nano Omni. Для загрузки требуется собрать RADIO из vision_config родительской модели и загрузить веса из репозитория; стандартный AutoModel.from_pretrained здесь не сработает. Веса предоставлены в формате safetensors, исходные тензоры сохранены в BF16. Лицензия указана как other; README сообщает о выпуске C-RADIOv4-H и Nemotron 3 Nano Omni компанией NVIDIA, но конкретные условия лицензии не уточняет.

110сент. 2026
imageembeddingotherhugging-face
KoichiYasuoka
deberta-base-japanese-juman-ud-goeswith

Японская модель DeBERTa V2 для разметки частей речи и синтаксического анализа зависимостей с обработкой составных слов и их фрагментов по схеме goeswith. Она дообучена на базе ku-nlp/deberta-v2-base-japanese на текстах японской Википедии, CC-100 и OSCAR; в README приведён пример запуска через Transformers для разбора японского предложения. Модель содержит 137,8 млн параметров, принимает последовательности длиной до 512 токенов и распространяется под лицензией CC BY-SA 4.0. Для токенизации требуется fugashi.

1310февр. 2023ctx512
textcc-by-sa-4.0hugging-face
tum-nlp
Deberta_Human_Value_Detector

Это дообученная модель DeBERTa, разработанная исследователями TUM NLP для обнаружения человеческих ценностей, выраженных в аргументах. Она классифицирует текст аргумента и предсказывает связанные с ним категории ценностей; модель участвовала в задаче SemEval-2023 Detecting Human Values in Arguments. Модель обучали и проверяли на наборе из 9 324 размеченных аргументов. Её F1-мера составила 0,55; ансамбль, в который она входила, показал F1-меру 0,56 в соревновании. Для преобразования выходов в метки в соревновании применяли порог 0,25. Для запуска требуется код модели, поэтому стандартный inference API Hugging Face напрямую не подходит. Модель предназначена для классификации текстовых аргументов на английском языке. Репозиторий распространяется по лицензии OpenRAIL++; README указывает, что доступен код для повторного обучения ансамбля.

3.2K5февр. 2023ctx512
textopenrail++hugging-face
DanGalt
distilhubert-finetuned-gtzan

DanGalt/distilhubert-finetuned-gtzan — модель классификации аудио на основе DistilHuBERT, дообученная на наборе GTZAN. Она предназначена для распознавания музыкальных жанров по аудиозаписям. В карточке указана точность 0,88 на оценочной выборке; архитектура — HubertForSequenceClassification, размер — 18,9 млн параметров. Модель принимает аудио и выдаёт метку класса. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не сообщает перечень жанров, длительность или формат ожидаемого аудио и дополнительные результаты оценки, поэтому качество на других данных не установлено.

90июль 2023
textapache-2.0hugging-face
dronefreak
exdark-yolo26s

dronefreak/exdark-yolo26s — модель обнаружения объектов YOLO26s, дообученная на наборе ExDark командой DetectionBench для оценки детекторов на изображениях при слабом освещении и в темноте. Она принимает изображения и предсказывает рамки и классы объектов; среди 12 классов — люди, автомобили, велосипеды, лодки, бутылки и животные. Модель распространяется в формате PyTorch через библиотеку Ultralytics. На тестовой выборке ExDark указаны mAP@50 74,0% и mAP@50–95 48,32%. Набор содержит 7 344 изображения, включая 734 тестовых, а изображения были предварительно масштабированы до 640×640. Результаты для редких классов следует трактовать с осторожностью из-за малого объёма данных и дисбаланса классов: на людей приходится около 46% размеченных объектов. Модель выпущена под лицензией AGPL-3.0. Авторы набора данных отдельно указывают ограничение на некоммерческое использование, которое, согласно README, распространяется и на обученные на нём модели.

141авг. 2026
imageagpl-3.0hugging-face
rnagabh
gemma4-audio-encoder

rnagabh/gemma4-audio-encoder — отдельная аудиокодирующая часть мультимодальной модели Gemma 4 от Google, извлечённая и опубликованная автором репозитория. Модель принимает аудиосигнал в виде 128-канальных мел-спектрограмм и преобразует его в последовательность признаков. В README указана архитектура USM-подобного Conformer с блоками Macaron-net и размер 304,8 млн параметров; метаданные каталога указывают 201,3 млн параметров и класс Gemma4AudioModel. Выход имеет размерность 1536 после четырёхкратного временного уменьшения и предназначен для подачи в языковой декодер; доступны также 1024-мерные признаки до проекции. Кодировщик подходит для извлечения признаков речи и аудио, в том числе как основа для классификации акустических событий. Он обучался для передачи аудиопризнаков декодеру Gemma 4, а не как универсальная аудиомодель. README приводит результат линейного пробника 72% на классификации Speech Commands из 35 классов. Для загрузки полных весов аудиобашни автор предупреждает об ошибке загрузки через AutoModel.from_pretrained для базовой модели и рекомендует AutoModelForMultimodalLM. Модель является дообученной/извлечённой аудиокомпонентой google/gemma-4-E2B-it, опубликованной в safetensors; лицензия Apache 2.0. README описывает причинное внимание без заглядывания вперёд, что ограничивает применение в сценариях, требующих двунаправленного контекста. Признаки показывают лишь умеренное разделение говорящих, поэтому модель не предназначена для надёжной верификации диктора.

1255апр. 2026
textembeddingapache-2.0hugging-face
rizvandwiki
gender-classification

rizvandwiki/gender-classification — классификатор изображений на базе Vision Transformer (ViT), опубликованный как автоматически созданная модель HuggingPics. Репозиторий содержит веса PyTorch в формате Safetensors; размер модели — 113,2 млн параметров. Модель предназначена для классификации изображений по категориям пола. Её можно применять в сценариях, где нужно автоматически присвоить изображению соответствующую метку. README не описывает набор классов, данные обучения и показатели качества, поэтому точность и границы применимости классификатора оценить по карточке нельзя. Лицензия в предоставленных сведениях не указана.

1.4M72дек. 2022
imagehugging-face
l3cube-pune
hing-mbert

HingMBERT — модель семейства BERT, разработанная L3Cube-Pune для обработки текстов на хинди и английском, смешанных в одном сообщении и записанных латиницей. Это mBERT, дообученная на корпусе L3Cube-HingCorpus. Модель предназначена для предсказания замаскированных токенов в смешанном хинди-английском тексте. Она основана на плотной архитектуре BERT с 205,1 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в форматах PyTorch и safetensors. Лицензия CC BY 4.0. Карточка не приводит отдельных оценок качества или сведений об ограничениях сверх области обучения модели; её специализация на латинской записи хинди-английских текстов может ограничивать применимость к другим языкам и письменностям.

1002март 2022ctx512
textcc-by-4.0hugging-face
mideind
IceBERT-large

IceBERT-large — языковая модель для исландского языка, разработанная Miðeind. Она обучена с помощью fairseq на архитектуре RoBERTa-large и предназначена для предсказания замаскированных слов в тексте. Обучающие данные включают Icelandic Gigaword Corpus, Icelandic Common Crawl Corpus и статьи Greynir News. Модель содержит 453,9 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Она подходит для заполнения пропусков и извлечения контекстных представлений исландского текста. Распространяется по лицензии CC BY 4.0.

8770июнь 2023ctx514
textcc-by-4.0hugging-face
ianmutai
iris-road-detection-v2

IRIS Road Intelligence Model v2 — модель обнаружения объектов на базе YOLOv8n, разработанная для распознавания дорожной инфраструктуры в Кении. Она предназначена для мобильного обнаружения повреждений и объектов дороги, чтобы поддерживать оценку состояния дорожного покрытия и планирование обслуживания. Среди указанных классов — выбоины, трещины и заплаты; всего модель распознаёт 15 классов. Модель обучена на 10 000 изображениях из RDD2022 и подмножестве COCO за 80 эпох. Она принимает RGB-изображения размером 320 × 320 и выдаёт тензор детекций. В репозитории представлены форматы PyTorch и TensorFlow Lite; README указывает на развёртывание TFLite на iOS и Android. Лицензия — CC BY-SA 4.0.

1140март 2026
imagecc-by-sa-4.0hugging-face
jhcodec
jhcodec_1.4m

JHCodec-1.4M — нейронный аудиокодек на основе декодера Transformer с остаточной векторной квантизацией (RVQ), разработанный авторами статьи, представленной на Interspeech 2026. Модель преобразует аудио в кодовое представление и восстанавливает аудио; она рассчитана на потоковую работу с нулевым упреждением и низкой задержкой. Для обучения используется функция потерь SSRR, направленная на восстановление самоконтролируемых представлений и повышение разборчивости речи. Модель принимает монофонический звук с частотой 16 кГц блоками по 320 отсчётов (20 мс); длина входа должна быть кратна размеру блока. Предусмотрены пакетная обработка целой записи и потоковый инференс по кадрам. Репозиторий содержит веса PyTorch, для запуска рекомендуется CUDA; при работе на CPU качество восстановления снижается. Лицензия — MIT.

440июль 2026
audiomithugging-face
Setpember
Jon_reward_stage1_epi_point1

Jonrewardstage1epipoint1 — дообученная модель на основе openai-community/gpt2 с архитектурой GPT-2 для классификации последовательностей. Карточка не раскрывает назначение классов или область применения, поэтому модель можно описать только как классификатор текста общего назначения. Модель распространяется в формате safetensors под лицензией MIT. Контекстное окно составляет 1024 токена. В README указано дообучение на датасете с названием None; сведения о данных, оценке качества и ограничениях не приведены.

80нояб. 2024ctx1K
textmithugging-face
KoichiYasuoka
karasu-1.1B-upos

Koichi Yasuoka разработал японскую модель разметки частей речи на основе karasu-1.1B. Она присваивает каждому короткому слову универсальную часть речи UPOS и грамматические признаки FEATS, что подходит для синтаксического анализа и подготовки японских текстов к лингвистической обработке. Модель построена на плотной архитектуре LLaMA, содержит около 1 млрд параметров и имеет контекст длиной 2048 токенов. Она принимает текст и выдаёт метки для его токенов. Модель распространяется по лицензии Apache-2.0.

230авг. 2024ctx2K
textapache-2.0hugging-face
GraphWiz
LLaMA2-7B-RFT

Карточка модели GraphWiz/LLaMA2-7B-RFT на Hugging Face совпадает с карточкой GraphWiz/LLaMA2-7B-DPO, поэтому описание составлено по ней. GraphWiz/LLaMA2-7B-DPO — инструктивная языковая модель проекта GraphWiz на архитектуре LLaMA, предназначенная для решения задач на графах. Модель преобразует текстовые описания графов и структур в явное рассуждение на естественном языке и ответ. В карточке указаны 6,6 млрд параметров, контекст до 4096 токенов и формат PyTorch. Модель обучалась в два этапа: смешанное обучение на нескольких типах задач и выравнивание предпочтений методом DPO. Она предназначена для задач о циклах, связности, двудольности, топологии, кратчайших путях, треугольниках, потоках, гамильтоновых циклах и подграфах. В качестве датасета указан GraphWiz/GraphInstruct-RFT-72K. Лицензия — Apache-2.0. Модель генерирует ответы на естественном языке, однако её результаты по задачам на графах могут быть ошибочными; README приводит сравнительные оценки, но доступный фрагмент не содержит полных результатов. Язык модели и результаты за пределами графовых задач в предоставленных данных не описаны.

291февр. 2024ctx4.1K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей