/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
1 501–1 530 из 23 488
google
tapas-base-finetuned-wikisql-supervised

TAPAS — модель на основе Transformer, разработанная Google и дообученная для ответов на вопросы по таблицам из WikiSQL. Она принимает вопрос на естественном языке вместе с таблицей и выбирает релевантные ячейки, при необходимости выполняя агрегирование. Модель предобучалась на английских текстах и таблицах Википедии, затем дообучалась на SQA и WikiSQL; архитектура включает BERT-подобный кодировщик, головку выбора ячеек и головку агрегирования. Размер — 136,7 млн параметров, максимальный контекст — 1024 токена. Модель подходит для извлечения значений из таблиц и ответов на вопросы, включая простые числовые рассуждения. Она рассчитана на английский язык и табличные данные; качество за пределами сценариев, похожих на WikiSQL, не подтверждено карточкой. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

27812март 2022ctx1K
textapache-2.0hugging-face
google
tapas-large

TAPAS large — предварительно обученная модель семейства BERT, разработанная Google для представления таблиц и связанного с ними текста. Модель содержит 433,9 млн параметров, поддерживает английский язык и принимает последовательности из текста вопроса или предложения и таблицы. Для извлечения признаков доступна длина контекста до 1024 токенов; в README описаны версии с относительными позиционными эмбеддингами (по умолчанию) и с абсолютными позиционными эмбеддингами. Модель обучена на англоязычных данных Википедии с помощью masked language modeling и дополнительного предварительного обучения на задаче проверки, подтверждается ли высказывание содержимым таблицы. Её можно использовать для получения скрытых представлений пар «таблица — вопрос» и дообучать для ответов на вопросы по таблицам или классификации текстов относительно таблиц. Это базовая модель для извлечения признаков, а не готовая модель генерации ответов; для специализированных задач может потребоваться дообучение с классификационной головой. Распространяется по лицензии Apache-2.0.

1573март 2022ctx1K
textembeddingapache-2.0hugging-face
microsoft
tapex-large

TAPEX large — модель Microsoft на архитектуре BART, разработанная для развития навыков рассуждения по таблицам с помощью предобучения на синтетических SQL-запросах. Чекпойнт содержит около 252,8 млн параметров и рассчитан на дообучение для последующих задач, включая ответы на вопросы по таблицам; сам по себе он не предназначен для выполнения SQL-запросов над таблицей. Модель принимает таблицу и текстовый вопрос и формирует ответ текстом. В метаданных указан английский язык и контекст до 1024 токенов. Для практического применения чекпойнт нужно дообучить на целевой задаче. Модель распространяется по лицензии MIT.

74316март 2022ctx1K
textmithugging-face
BeastxD
text2cypher_lora_v5

Карточка модели BeastxD/text2cypher_lora_v5 на Hugging Face совпадает с карточкой BeastxD/text2cypher_lora_v7, поэтому описание составлено по ней. BeastxD/text2cypher_lora_v7 — дообученная BeastxD модель семейства Qwen3 на базе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; метаданные указывают поддержку контекста до 262 144 токенов, чата и интерфейса вызова инструментов. Название репозитория указывает на генерацию Cypher-запросов, однако README не описывает эту специализацию и не приводит примеров, поэтому её качество и точные сценарии применения не подтверждены. Модель принимает текст и генерирует текст; в карточке указан английский язык. Она обучалась с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Специализация на Cypher следует только из названия модели; перед применением стоит проверить корректность запросов на своих данных.

160авг. 2026ctx262.1K
textapache-2.0hugging-face
Wiebke
trainer_output

Wiebke/trainer_output — дообученная немецкоязычная модель DistilBERT для классификации токенов. Она предназначена для задач разметки отдельных слов и фрагментов текста, например извлечения сущностей, если метки обученной задачи это поддерживают. Модель основана на distilbert/distilbert-base-german-cased, использует архитектуру DistilBertForTokenClassification и принимает текст с контекстом до 512 токенов. В README приведены результаты оценки: loss 0,3315, precision 0,4110, recall 0,4941 и F1 0,4487. Название датасета и схема меток не раскрыты, поэтому конкретный тип разметки подтвердить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0.

60июнь 2026ctx512
textapache-2.0hugging-face
AhmedBou
TuniBert

TuniBert — дообученная модель BERT от AhmedBou для классификации текстов на тунисском диалекте арабского языка. Она обучена на корпусе Tunisian-Dialect-Corpus и предназначена прежде всего для анализа тональности: относит текст к положительному, отрицательному или нейтральному классу. Модель также заявлена для задач классификации текста. Модель содержит 137,8 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch. Модель создана в рамках магистерской исследовательской работы и распространяется по лицензии Apache-2.0.

904март 2022ctx512
textapache-2.0hugging-face
bookbot
wav2vec2-adult-child-cls

Wav2Vec2 Adult/Child Speech Classifier — модель классификации аудио на основе архитектуры wav2vec 2.0, дообученная Wilson Wongso на закрытом наборе записей речи взрослых и детей. Она принимает аудиозапись и относит её к одному из этих классов. Модель содержит 113,3 млн параметров по метаданным Hugging Face; для обучения использовались PyTorch и вычисления на Tesla P100. В README указана точность 95,80% и F1 0,9618 на наборе Adult/Child Speech Classification. Модель может подойти для автоматической сортировки речевых записей по возрастной категории говорящего. Результаты могут зависеть от состава и условий записи данных; разработчик отдельно предупреждает о возможном влиянии смещений из предварительного обучения. Лицензия — Apache-2.0.

7375март 2022
textapache-2.0hugging-face
VARabic
whisper-medium-finetuned-sada-asr

Карточка модели VARabic/whisper-medium-finetuned-sada-asr на Hugging Face совпадает с карточкой wageehkhad/whisper-medium-finetuned-sada-asr, поэтому описание составлено по ней. Модель wageehkhad/whisper-medium-finetuned-sada-asr — версия Whisper Medium, дообученная на наборе SADA22 для автоматического распознавания саудовской арабской речи. Она преобразует аудиозаписи в текст и использовалась как компонент распознавания речи в экспериментах по оценке диалектности арабского языка: полученную расшифровку передавали текстовому классификатору диалектности. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров; опубликована в формате safetensors. Базовая модель — openai/whisper-medium. Основной сценарий — транскрибация саудовской арабской речи. Модель рассчитана на речевые сегменты длительностью до 30 секунд; более длинные записи можно обрабатывать с автоматическим разбиением на части в используемом pipeline. Дообучение ориентировано на саудовский диалект, поэтому качество на других арабских диалектах и передачах на литературном арабском может быть ниже. Лицензия — Apache-2.0.

390сент. 2026ctx1K
textaudioapache-2.0hugging-face
sercetexam9
xlm-roberta-base-chn-finetuned-augmentation-LUNAR

sercetexam9/xlm-roberta-base-chn-finetuned-augmentation-LUNAR — дообученная sercetexam9 модель FacebookAI/xlm-roberta-base для классификации текста. Она построена на архитектуре XLM-RoBERTa и содержит 305,2 млн параметров; принимает текст длиной до 514 токенов и возвращает результат классификации. В README приведены метрики на наборе оценки: F1 0,7723, ROC AUC 0,8558 и accuracy 0,6929. Назначение классов и область применения не описаны. Модель распространяется по лицензии MIT.

120янв. 2025ctx514
textmithugging-face
manuelhch
xlm-roberta-large-prostata-NER

xlm-roberta-large-prostata-NER — модель распознавания именованных сущностей, разработанная Мануэлем Уртадо Чунгой и Хоном Андерсоном Морено, магистрантами Univalle. Это дообученная версия XLM-RoBERTa-large для извлечения медицинских сущностей из испаноязычных клинических записей, связанных с раком предстательной железы. Модель находит симптомы, лекарства, возраст и анатомические упоминания; заявленный в карточке F1 равен 98,60%. Архитектура — XLM-RoBERTa для классификации токенов, размер — 658,7 млн параметров, длина контекста — 514 токенов. Подходит для извлечения клинической информации из структурированных и неструктурированных записей, в том числе как компонент поиска по электронным медицинским картам и аналитических систем. Модель создана для испанского языка и медицинской онкологии урологического профиля. Её лицензия — MIT. Карточка предупреждает, что качество может снижаться на текстах из других медицинских областей и на общих текстах; неоднозначные медицинские сокращения могут приводить к ошибкам. Результаты следует проверять специалистом, а модель не предназначена для самостоятельной постановки диагноза или прямых клинических решений.

60июнь 2026ctx514
texthugging-face
xpariz10
ast-finetuned-audioset-10-10-0.4593_ft_ESC-50_aug_0-1

Это модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанная как дообученная версия MIT/ast-finetuned-audioset-10-10-0.4593. Её дополнительно обучили на части набора ESC-50 с аугментациями звука: изменением громкости и скорости, добавлением шума, сдвигом высоты тона и маскированием фрагментов. Модель предназначена для распознавания классов звуковых событий по аудиозаписи, в том числе для сценариев, связанных с категориями ESC-50. В README указаны результаты оценки: accuracy 0,9286 и F1 0,9244. Архитектура содержит около 113,2 млн параметров; доступны веса PyTorch. Лицензия — BSD-3-Clause.

3530март 2023
audiobsd-3-clausehugging-face
dtorber
bert-base-spanish-wwm-cased

dtorber/bert-base-spanish-wwm-cased — дообученная модель классификации последовательностей на основе BETO, испаноязычной модели BERT от dccuchile. Она предназначена для классификации текста на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. В README приведены результаты оценки: F1 Macro 0,8879, F1 0,9207 и точность 0,8975. Назначение классов и обучающий набор данных не описаны, поэтому оценить применимость к конкретной предметной области нельзя. В метаданных указан формат safetensors; лицензия не приведена.

1150март 2024ctx512
texthugging-face
aajrami
bert-fc-medium

bert-fc-medium — языковая модель среднего размера на архитектуре RoBERTa, разработанная aajrami. Она предварительно обучена с задачей предсказания первого символа; подробности цели и гиперпараметров обучения приведены в упомянутой в карточке научной работе. Модель предназначена для извлечения признаков из текста и получения текстовых представлений. В модели 59,3 млн параметров, максимальная длина контекста — 514 токенов. Доступны веса в форматах PyTorch и safetensors. Карточка не уточняет поддерживаемые естественные языки и прикладные области. Лицензия — CC BY 4.0.

1060нояб. 2022ctx514
textembeddingcc-by-4.0hugging-face
aquif11
bert-finetuned-imdb

aquif11/bert-finetuned-imdb — дообученная модель BERT для классификации текста. В README указано, что она основана на bert-base-uncased; архитектура — BertForSequenceClassification, размер — 136,7 млн параметров. Модель рассчитана на классификацию текстовых последовательностей, вероятно, для анализа отзывов о фильмах по датасету IMDb, что следует из названия репозитория. Модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами. В README приведено значение loss 0,0011 на оценочной выборке, однако датасет и методика оценки не описаны, поэтому это число не позволяет надёжно судить о качестве на других данных. Использование регулируется лицензией Apache-2.0.

70сент. 2026ctx512
textapache-2.0hugging-face
ranaroy
bert-finetuned-imdb

Карточка модели ranaroy/bert-finetuned-imdb на Hugging Face совпадает с карточкой aquif11/bert-finetuned-imdb, поэтому описание составлено по ней. aquif11/bert-finetuned-imdb — дообученная модель BERT для классификации текста. В README указано, что она основана на bert-base-uncased; архитектура — BertForSequenceClassification, размер — 136,7 млн параметров. Модель рассчитана на классификацию текстовых последовательностей, вероятно, для анализа отзывов о фильмах по датасету IMDb, что следует из названия репозитория. Модель принимает текст и выдаёт метку класса. Контекст ограничен 512 токенами. В README приведено значение loss 0,0011 на оценочной выборке, однако датасет и методика оценки не описаны, поэтому это число не позволяет надёжно судить о качестве на других данных. Использование регулируется лицензией Apache-2.0.

70сент. 2026ctx512
textapache-2.0hugging-face
nisancoskun
bert-finnish-sentiment-analysis-v2

nisancoskun/bert-finnish-sentiment-analysis-v2 — модель классификации текста на основе BERT, дообученная на TurkuNLP/bert-base-finnish-uncased-v1 с использованием набора данных nisancoskun/finnish_sentiment_data. Она предназначена для определения тональности финскоязычных текстов. На оценочном наборе модель достигла точности 0,9578 при значении loss 0,2362. Модель содержит 151,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

370янв. 2024ctx512
texthugging-face
Helios9
BioMed_NER

BIOMed_NER — модель распознавания и классификации именованных сущностей в биомедицинском и клиническом тексте. Она разработана на основе DeBERTa-v3-base и дообучена для выделения заболеваний, процедур, лекарств, анатомических терминов и других медицинских сущностей. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa v2 для классификации токенов и принимает текстовые фрагменты длиной до 512 токенов. Модель подходит для извлечения структурированных медицинских сведений из клинических записей и подготовки данных для последующего анализа или биомедицинских исследований. Она возвращает найденные фрагменты, типы сущностей, оценки уверенности и позиции в исходном тексте. Карточка описывает работу с английским языком; конкретные метрики качества и лицензия не приведены.

558нояб. 2024ctx512
textunknownhugging-face
prithivMLmods
ChartVerse-2B-GGUF

ChartVerse-2B-GGUF — квантованные GGUF-версии компактной мультимодальной vision-language модели ChartVerse-2B, разработанной opendatalab и дообученной на базе Qwen3-VL-2B-Instruct. Модель предназначена для понимания изображений и текста, прежде всего для анализа сложных диаграмм и графиков, ответов на вопросы по визуальным данным и многошагового рассуждения. Указан английский язык, формат pipeline — image-text-to-text, а размер базовой модели составляет около 2 млрд параметров. Ключевые особенности — специализация на chart reasoning, поддержка Chain-of-Thought рассуждений, проверки ответов с опорой на выполнение кода и множество вариантов квантования GGUF с размерами файлов примерно от 618 МБ до 4,07 ГБ. По данным README, модель показала средний результат 54,3% на шести сложных бенчмарках, превзойдя указанные специализированные модели большего размера. Для работы заявлена интеграция с llama.cpp и Transformers; в Transformers используется класс Qwen3VLForConditionalGeneration, а максимальное число новых токенов указано как 16384. Основное ограничение — узкая специализация на анализе диаграмм и заявленная поддержка только английского языка; характеристики контекстного окна в README явно не указаны, хотя для обучения упоминается контекст 22k. Доступ предоставляется по лицензии Apache 2.0, что допускает использование и развертывание в соответствии с её условиями.

4792янв. 2026
textimageapache-2.0hugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-biid8

Это исследовательский контрольный чекпойнт языковой модели Qwen3-4B, дообученный командой, опубликовавшей репозиторий, методом обучения с подкреплением OpenRLHF GRPO. Обучение проводилось напрямую от Qwen/Qwen3-4B-Instruct-2507 без промежуточного SFT на задачах генерации кода; чекпойнт сохранён на шаге 60 и показал лучший результат по pass@8 в рамках этого запуска. Модель предназначена для генерации программ и решения задач на программирование, особенно задач, выбранных как трудные для исходной модели. Обучение использовало бинарную награду за прохождение тестов, восемь генераций на запрос и ограничение в 4096 новых токенов. Архитектура плотная Qwen3ForCausalLM, размер около 3,7 млрд параметров, формат весов safetensors; контекст — до 262 144 токенов. Карточка не приводит численные метрики качества на отложенной выборке, поэтому преимущество по pass@8 относится только к сравниваемым чекпойнтам этого запуска. Это ранний экспериментальный чекпойнт, а не подтверждённая универсальная модель для кода. Лицензия в предоставленных сведениях не указана.

2360сент. 2026ctx262.1K
texthugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-groot16

Это исследовательский чекпойнт Qwen3-4B-Instruct-2507, дообученный методом обучения с подкреплением GRPO без предварительного SFT-сеяния. Его разработчик обучал модель генерировать программы, проходящие тесты: сигнал вознаграждения бинарный и зависит от корректности кода. Чекпойнт сохранён на шаге 4; в этом экспериментальном запуске он показал лучший результат по pass@8, однако численные метрики оценки в журнале обучения отсутствуют. Модель предназначена для генерации кода и решения задач программирования, в частности задач, которые исходная модель решала редко. Обучение использовало до 4096 новых токенов на ответ; контекст модели — до 262 144 токенов. Архитектура — плотная Qwen3 с 3,7 млрд параметров, веса доступны в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.

170сент. 2026ctx262.1K
texthugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-iid16

Это экспериментальный чекпойнт Qwen3-4B-Instruct-2507, дообученный командой agurung методом GRPO с помощью OpenRLHF. Обучение с подкреплением применялось напрямую к базовой модели без предварительной SFT-инициализации; чекпойнт сохранён на глобальном шаге 4 и выбран как лучший по pass@8 в рамках этого запуска. Модель предназначена для генерации кода и решения задач программирования: по условию она создаёт программу, оцениваемую по прохождению тестов. Обучение охватывало сложные задачи из набора cobalt-train, а сигнал вознаграждения был бинарным — за корректное прохождение тестов. Архитектура — плотная Qwen3ForCausalLM на 3,7 млрд параметров; используется Transformers, веса сохранены в safetensors. Контекст составляет до 262 144 токенов. Это ранний экспериментальный чекпойнт: в README указано, что метрики оценки на этом шаге отсутствуют, поэтому преимущество по pass@8 относится только к сравнению чекпойнтов данного запуска и не подтверждает общее качество. Для обучения применялись штрафы за усечение генерации и чрезмерную длину ответа. Лицензия в предоставленных данных не указана.

140сент. 2026ctx262.1K
texthugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp10-mgroot16

Это экспериментальный чекпойнт языковой модели Qwen3-4B, дообученный методом обучения с подкреплением GRPO в OpenRLHF. Разработчик — agurung; в качестве исходной модели указана Qwen/Qwen3-4B-Instruct-2507. Чекпойнт сохранён на шаге 8 обучения и показал лучший результат pass@8 среди чекпойнтов этого запуска. Модель предназначена для генерации кода и решения задач программирования. Обучение проводилось на задачах, которые исходная модель решала редко, с бинарным вознаграждением за прохождение тестов. Используются архитектура Qwen3 с плотной причинной языковой моделью, 3,7 млрд параметров и контекст до 262 144 токенов; модель принимает и генерирует текст. В обучающем описании нет доступных метрик оценки этого чекпойнта, поэтому преимущество по pass@8 относится только к чекпойнтам данного запуска и не подтверждает качество на других наборах задач. Данные не сообщают лицензию.

1030сент. 2026ctx262.1K
texthugging-face
agurung
cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp20-groot30v11v

Это экспериментальный чекпойнт Qwen3-4B, обученный командой, опубликовавшей репозиторий agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp20-groot30v11v, методом обучения с подкреплением OpenRLHF GRPO. Обучение проведено непосредственно от Qwen/Qwen3-4B-Instruct-2507 без промежуточного SFT; в README указан глобальный шаг 40 и лучший результат в серии по pass@8. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и поддерживает контекст до 262 144 токенов. Модель предназначена прежде всего для генерации кода и решения задач программирования: обучение поощряло программы, проходящие тесты, а усечённые ответы получали штраф. В README описаны обучающая выборка из 1 833 и проверочная выборка из 112 сложных задач; численные метрики этого чекпойнта не приведены. Для загрузки указаны Transformers и формат safetensors. Лицензия в предоставленных сведениях не описана.

1420авг. 2026ctx262.1K
texthugging-face
modrill
code-think-q4b-20260908

code-think-q4b-20260908 — исследовательский чекпойнт на базе Qwen/Qwen3-4B-Base, созданный командой modrill. Модель дообучена методом LoRA SFT на смеси трасс рассуждений учителей, после чего адаптер объединён с базовыми весами. Это плотная причинная языковая модель семейства Qwen3 примерно с 3,7 млрд параметров и контекстом 32 768 токенов; для генерации в режиме рассуждений README рекомендует включать think mode без предварительной вставки токена режима. Модель предназначена для генерации кода и рассуждений при решении задач программирования. В карточке приведена оценка на 256 задачах dev-набора LiveCodeBench: 73 решения pass@1, но это результат одного запуска с фиксированным seed, а 136 генераций достигли лимита длины. Авторы прямо обозначают чекпойнт как исследовательский, а не продуктовый, поэтому результаты не следует считать подтверждённой оценкой качества или лидербордом. Репозиторий распространяется по лицензии Apache-2.0.

990сент. 2026ctx32.8K
textapache-2.0hugging-face
emilylearning
cond_ft_subreddit_on_reddit__prcnt_100__test_run_False__xlm-roberta-base

emilylearning/cond_ft_subreddit_on_reddit__prcnt_100__test_run_False__xlm-roberta-base — дообученная модель на базе XLM-RoBERTa для классификации токенов в текстах Reddit, с условием, связанным с subreddit. Разработчик чекпойнта — emilylearning; базовая архитектура XLM-RoBERTa разработана Facebook AI и представляет собой мультиязычный Transformer-энкодер семейства RoBERTa. Модель содержит около 305,2 млн параметров и поддерживает контекст до 514 токенов. Метаданные Hugging Face указывают задачу token classification, а базовая XLM-RoBERTa обучалась на данных примерно 100 языков и предназначена для последующей адаптации к задачам классификации и sequence labeling. Идентификатор модели указывает на использование данных Reddit и полного варианта набора (`prcnt_100`), но подробные схемы меток и целевые категории в доступных источниках не описаны. Модель подходит для разметки или классификации отдельных токенов в Reddit-текстах после проверки соответствия используемых меток. Лицензия именно этого дообученного чекпойнта в доступных данных не установлена; условия лицензии базовой модели нельзя автоматически считать лицензией производного чекпойнта.

340май 2022ctx514
texthugging-face
sercetexam9
cs221-xlnet-large-cased-finetuned

Модель sercetexam9/cs221-xlnet-large-cased-finetuned — дообученная версия xlnet/xlnet-large-cased для классификации текстов. Она построена на архитектуре XLNet и содержит 435,4 млн параметров; веса опубликованы в формате safetensors. Карточка сообщает о результате на оценочном наборе: loss и BCE loss составили 0,5884, но датасет указан как None, поэтому эти значения трудно интерпретировать. Модель распространяется по лицензии MIT.

270янв. 2025
textmithugging-face
syarulzaffi
date2format-v2

syarulzaffi/date2format-v2 — модель классификации текста на базе DistilBERT, дообученная с помощью AutoTrain на основе syarulzaffi/date2format. Она предназначена для классификации текстовых входов; название базовой модели указывает на задачу преобразования дат в форматы, но README не описывает метки классов и точный сценарий применения. Для версии опубликованы метрики валидации: accuracy 0,91 и macro F1 0,90. Контекст модели составляет 512 токенов. Модель принимает текст и выдаёт метку класса. Лицензия в предоставленных данных не указана.

1450дек. 2024ctx512
texthugging-face
obi
deid_roberta_i2b2

RoBERTa от разработчика obi, дообученная для удаления идентифицирующей информации из медицинских записей. Модель выполняет классификацию токенов: каждому токену присваивается метка «не PHI» или одна из 11 категорий защищённой медицинской информации, после чего предсказания объединяются в фрагменты с использованием разметки BILOU. Модель предназначена для поиска персональных и медицинских идентификаторов в клинических заметках и может помогать удалять их из исходного текста. Для работы с документом README рекомендует разбивать его на предложения, токенизировать и затем собирать предсказания на уровне заметки. Обучение проводилось на наборе I2B2 2014; основным языком карточки указан английский. Модель содержит 454,1 млн параметров, использует контекст длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT. Качество может зависеть от соответствия входных заметок данным и схеме разметки I2B2; модель выдаёт метки для токенов, а удаление PHI требует последующей обработки предсказанных фрагментов.

338K39март 2022ctx514
textmithugging-face
mahmad932
disaster-tweet-classifier

Модель Мухаммада Ахмада классифицирует текст сообщений в Twitter и определяет, относится ли сообщение к реальному стихийному бедствию. Это бинарный классификатор на базе DistilBERT, дообученный на наборе данных Kaggle Natural Language Processing with Disaster Tweets; метки означают «бедствие» и «не бедствие». Модель использует библиотеку Hugging Face Transformers и принимает текст длиной до 512 токенов. В карточке приведены accuracy, precision и recall по 82,52%. Модель предназначена для классификации твитов о бедствиях, в том числе в учебных и исследовательских проектах. Она может ошибаться на саркастичных и неоднозначных сообщениях, а точность зависит от качества входного текста. Лицензия в доступных данных не указана.

40июль 2026ctx512
texthugging-face
toastynews
electra-hongkongese-small-hkt-ws

toastynews разработала небольшую модель ELECTRA для сегментации слов в тексте. Модель дообучена на базе toastynews/electra-hongkongese-small-discriminator на корпусах HKCanCor, CityU и AS с BI-разметкой. Вариант hkt обучен на текстах из Гонконга и Тайваня; в этой линейке также есть варианты hk и модели другого размера. Модель предназначена для сегментации гонконгского кантонского и стандартного китайского текста из Гонконга. Для применения автор рекомендует библиотеку CKIP Transformers. Размер модели — 20,3 млн параметров, максимальный контекст — 512 токенов; доступны форматы PyTorch и TensorFlow. Модель хуже работает с текстами из других регионов и с английским языком. Распространяется по лицензии Apache-2.0.

1930март 2023ctx512
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей