/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
151–180 из 23 488
Jaykl2910
phobert-vietnamese-sentiment

Jaykl2910/phobert-vietnamese-sentiment — модель классификации текста, созданная дообучением PhoBERT-base-v2 от VinAI для анализа тональности вьетнамского текста. Она предназначена для определения тональности отдельных текстов; в README приведены результаты оценки: accuracy 0,9378 и macro-F1 0,8704, но набор данных и схема меток не описаны. Модель основана на архитектуре RoBERTa и содержит 162,4 млн параметров; длина контекста — 258 токенов. Доступна в формате safetensors для библиотеки Transformers. Лицензия — AGPL-3.0.

410июль 2026ctx258
textagpl-3.0hugging-face
te-sla
serbian-emotion-qwen3.5-9b

Это дообученная и объединённая с базовой моделью Qwen3.5-9B модель от te-sla для классификации эмоций в сербских публикациях и генерации структурированного результата. Она принимает текст и выдаёт JSON-массив с нулём, одной или двумя метками из фиксированного набора: гнев, ожидание, отвращение, страх, радость, грусть, удивление и доверие. Модель построена на Qwen3.5-9B; обучение выполнено адаптером LoRA, который затем объединён с базовыми весами. Репозиторий содержит BF16-веса для прямой загрузки через Transformers и распространяется по лицензии Apache-2.0. Модель предназначена для исследовательского анализа сербских публикаций в социальных сетях и формирования структурированных меток эмоций. В описанной оценке на 3000 примерах тестового набора macro-F1 составил 0,526, а все ответы прошли строгую проверку JSON; эти результаты внутренние, тестовый набор использовался в предыдущих этапах работы и не является независимой внешней проверкой. Модель требует памяти для запуска 9-миллиардной модели в 16-битном формате, выдаёт наборы меток без калиброванных вероятностей и проверялась на сербских текстах Reddit и Twitter. Не предназначена для клинических заключений, определения психического состояния автора или решений с серьёзными последствиями.

2500сент. 2026ctx262.1K
textapache-2.0hugging-face
joshuasundance
setfit-absa-all-MiniLM-L6-v2-laptops-aspect

Это англоязычная модель SetFit, разработанная joshuasundance для фильтрации кандидатов аспектов в системе анализа тональности по аспектам (ABSA) отзывов о ноутбуках. Она оценивает пары «кандидат аспекта — предложение» и относит их к классу «аспект» или «не аспект». Модель основана на дообученном энкодере предложений sentence-transformers/all-MiniLM-L6-v2 с классификационной головой LogisticRegression; содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов по метаданным (в README указан предел 256 токенов). Модель предназначена для этапа после выделения возможных фрагментов аспектов, например spaCy, и перед классификацией тональности аспектов. README приводит точность 0,824 на указанной метрике и описывает обучение SetFit с контрастивным дообучением и классификатором на малом количестве примеров. Лицензия в предоставленных данных не указана.

196янв. 2024ctx512
texthugging-face
google
tabfm-1.0.0-pytorch

TabFM 1.0.0 — табличная foundation-модель Google Research для классификации и регрессии на структурированных данных. Эта версия содержит веса PyTorch и использует библиотеку tabfm. Модель работает с числовыми и категориальными столбцами, принимает обучающие примеры как контекст и выдаёт прогноз за один проход без дообучения на конкретном наборе данных и подбора гиперпараметров. Архитектура сочетает внимание между столбцами и строками с 24-блочным причинным ICL-трансформером; в карточке также указана размерность эмбеддингов 256. TabFM предназначена для бинарной и многоклассовой классификации до 10 классов, а также регрессии. Данные можно передавать в виде pandas DataFrame или массивов NumPy. Модель обучалась на синтетических наборах, сгенерированных структурными причинными моделями; оценка на TabArena охватывала 51 набор данных. Лицензия указана как other, а README исключает коммерческое использование. Модель не предназначена для изображений, аудио, видео и текста; качество на конкретных предметных областях и редких распределениях не полностью охарактеризовано.

63K497июнь 2026
textotherhugging-face
Hassaanatif992
code-switching-codesaviours-si26-MuhammadHassaan

Модель разработана Muhammad Hassaan в рамках проекта Code Saviours SI-26 и представляет собой дообученную XLM-RoBERTa для пословной идентификации языка в текстах на Roman Urdu и английском с переключением языков. Для каждого слова она предсказывает одну из меток: URD (Roman Urdu), ENG (английский) или MIX (смешанный токен). Модель основана на xlm-roberta-base, содержит около 305,2 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для разметки языков в смешанных сообщениях и анализа переключения между Roman Urdu и английским. В README сообщается о macro F1 0,9906 и accuracy 0,9863, однако тестовая выборка состояла всего из 36 предложений, а примеров класса MIX в ней было мало, поэтому результаты требуют осторожной интерпретации. Авторы также отмечают малый размер датасета и изменчивость написания Roman Urdu. Лицензия в предоставленных данных не указана.

160авг. 2026ctx514
texthugging-face
Word2Li
Electricity-Meter-OCR-7B

Word2Li/Electricity-Meter-OCR-7B — дообученная командой Word2Li модель Qwen2.5-VL-7B-Instruct для автоматического считывания показаний электросчётчиков по изображению. Модель принимает целое изображение счётчика и генерирует показание текстом, например «8430.6», без отдельного этапа поиска и обрезки дисплея. В основе — визуальный энкодер ViT и авторегрессионный языковой декодер; модель содержит 7,1 млрд параметров, использует контекст до 128 000 токенов и распространяется в формате Safetensors. Модель предназначена для интеграции в системы автоматического учёта коммунальных ресурсов. Обучение проводилось на 841 вручную размеченном изображении электросчётчиков; целевые показания приведены к шестизначному формату с сохранением ведущих и конечных нулей. Качество может снижаться на изображениях с типами счётчиков, качеством съёмки или условиями освещения, заметно отличающимися от обучающих данных. Лицензия — MIT.

5.5K2июнь 2025ctx128K
textimagemithugging-face
Ant-Dlc
EuroBERT-SentimentAnalysis-French

EuroBERT-SentimentAnalysis-French — модель классификации тональности французских текстовых отзывов о категории «оснащение» в опросе об удовлетворённости ИТ. Она разработана на основе EuroBERT-210m и дообучена для отнесения текста к одному из трёх классов: NEGATIF, NEUTRE или POSITIF. Модель содержит 211,7 млн параметров, построена на архитектуре EuroBERT для классификации последовательностей и поддерживает контекст до 8192 токенов. Модель обучена на примерно 50 тысячах ответов из опроса; метки для обучающих данных были созданы с помощью Mistral Small 24B. Качество сравнивали с ручной разметкой 500 ответов. Возможны ошибки на субъективных или смешанных высказываниях: например, модель может переоценить локальные негативные замечания в целом положительном отзыве. Данные обучения несбалансированы по классам, а повторяющиеся ответы сохранены. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

296сент. 2025ctx8.2K
textcc-by-nc-4.0hugging-face
wajidlinux99
gibberish-text-detector

wajidlinux99/gibberish-text-detector — модель классификации текста, дообученная с помощью AutoNLP на задачу обнаружения бессмысленного или связного текста. Она принимает текст и относит его к одному из нескольких классов; конкретные названия классов в карточке не приведены. По метаданным, модель основана на DistilBERT и использует классификационную архитектуру DistilBertForSequenceClassification. Контекст ограничен 512 токенами, формат весов — PyTorch, основной язык карточки — английский. В README сообщается о точности 97,36% и macro F1 97,36% на валидационной выборке; эти показатели относятся к указанному набору данных и не гарантируют такое же качество на других текстах. Модель может применяться для фильтрации бессмысленных текстовых вводов и предварительной проверки качества текста. Репозиторий указывает на исходную модель AutoNLP madhurjindal/autonlp-Gibberish-Detector-492513457. Лицензия в предоставленных данных не указана.

17K6янв. 2023ctx512
texthugging-face
StanfordAIMI
stanford-deidentifier-with-radiology-reports-and-i2b2

Модель StanfordAIMI предназначена для автоматического выявления персональных идентификаторов в радиологических и биомедицинских документах с помощью разметки последовательности токенов. Она разработана Stanford AIMI и обучена на разных радиологических и биомедицинских текстах; авторы указывают, что целились в точность, подходящую для производственного применения. Модель построена на архитектуре BERT и содержит 136,7 млн параметров. Она принимает текст на английском языке, работает с контекстом до 512 токенов и возвращает метки для токенов, что позволяет находить фрагменты, подлежащие деидентификации. Модель можно применять в конвейерах обезличивания радиологических заключений и других биомедицинских документов перед их хранением, обменом или исследовательским анализом. Репозиторий использует формат PyTorch и лицензию MIT. README ссылается на сопутствующую публикацию, но не приводит метрики качества или подробности схемы меток.

3.9K14июнь 2022ctx512
textmithugging-face
bookbot
wav2vec2-xls-r-adult-child-cls

Wav2Vec2 XLS-R Adult/Child Speech Classifier — аудиомодель классификации речи, разработанная Wilson Wongso на основе XLS-R. Модель дообучена на wav2vec2-xls-r-300m для различения речи взрослых и детей. Она принимает аудио и выдаёт класс, определяющий, относится ли речь к взрослому или ребёнку. Модель содержит 402,7 млн параметров, использует архитектуру Wav2Vec2ForSequenceClassification и распространяется в форматах PyTorch и Safetensors. Для оценки автор приводит точность 94,69% и F1 0,9508 на наборе Adult/Child Speech Classification Dataset. Карточка указывает английский язык. Лицензия — Apache-2.0. Данные для обучения были частными, поэтому их состав и репрезентативность проверить нельзя. Автор предупреждает, что модель может наследовать смещения из данных предобучения; результаты классификации не следует считать безошибочным определением возраста говорящего.

2860март 2022
textapache-2.0hugging-face
jacktol
atc-pilot-speaker-role-classification-model

ATC-Pilot Speaker Role Classification Model — англоязычная модель классификации текста, разработанная Jack Toland для определения роли отправителя в отдельной фразе авиационного радиообмена: пилот или диспетчер воздушного движения (ATC). Это дообученная для классификации последовательностей модель DeBERTa-v3-large с 533,8 млн параметров; она принимает текст и возвращает метку класса. Метаданные указывают библиотеку Transformers, формат весов safetensors и контекст до 512 токенов; в описании обучения указана максимальная длина последовательности 256 токенов. Модель предназначена для разметки ролей в текстовых расшифровках авиационной связи, подготовки авиационных корпусов и предварительной обработки данных для мультимодальных систем. В README сообщается F1 96,65% на тестовом наборе, однако результат зависит от соответствия новых данных обучающему распределению. Лицензия — MIT. Классификатор использует только текст одной реплики и не учитывает историю диалога, аудио или метаданные связи. Поэтому краткие и неоднозначные фразы, например «ROGER» и «THANK YOU», могут классифицироваться неверно; для сложных случаев может понадобиться дополнительный контекст или аудио.

2532май 2025ctx512
textmithugging-face
YoichiTakenaka
deverta-v3-japanese-large-Joy

YoichiTakenaka/deverta-v3-japanese-large-Joy — модель на базе DeBERTa v2 для определения наличия радости в японском тексте. Это одна из восьми отдельных моделей пакета DeBERTa Emotion Predictor: каждая настроена на распознавание своей эмоции. Модель дообучена для классификации последовательностей и содержит 451,8 млн параметров; максимальная длина контекста — 512 токенов. Модель принимает отдельный текст или набор текстов и выдаёт метку наличия радости вместе с оценкой уверенности для положительного класса. Её можно использовать для анализа эмоциональной окраски японских сообщений и текстовых коллекций. README описывает пакетный интерфейс, принимающий также pandas Series и возвращающий DataFrame; для экономии памяти модели загружаются на GPU по мере необходимости. Модель предназначена для японского языка и не описана как многоязычная. README указывает, что для восьми эмоций загружаются отдельные модели, поэтому первый запуск может занимать много времени. Лицензия — CC BY-SA 4.0.

4.0K3февр. 2025ctx512
textcc-by-sa-4.0hugging-face
FIM4Science
fim-imp-pointwise-base

FIM4Science/fim-imp-pointwise-base — модель семейства FIMODE от организации FIM4Science для работы с точечными временными рядами. Карточка Hugging Face классифицирует её как feature-extraction и показывает архитектуру FIMImpPointBase; размер модели — около 20,2 млн параметров. Для загрузки через Transformers требуется доверенная пользовательская реализация модели. Модель предназначена для извлечения признаков из данных временных рядов, а не для генерации текста. По названию и архитектуре можно связать её с поточечной обработкой, однако точное описание входного формата, обучающих данных и поддерживаемых языков в карточке отсутствует. Лицензия и конкретные ограничения применения также не указаны.

1.9K0июль 2025
textembeddinghugging-face
hanzla
gemma-2b-datascience-instruct-v5

Карточка модели hanzla/gemma-2b-datascience-instruct-v5 на Hugging Face совпадает с карточкой hanzla/gemma-2b-datascience-instruct-v4.5, поэтому описание составлено по ней. hanzla/gemma-2b-datascience-instruct-v4.5 — дообученная модель hanzla на базе google/gemma-2b. Это плотная авторегрессионная языковая модель архитектуры Gemma с 2,5 млрд параметров, предназначенная для генерации текста; название указывает на ориентацию на инструкции и задачи анализа данных, однако карточка не описывает конкретные сценарии или результаты обучения. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно до 8192 токенов. В README указано, что при обучении использовались Unsloth и библиотека TRL. Лицензия — Apache-2.0.

180март 2024ctx32K
textapache-2.0hugging-face
autogluon
mitra-classifier

Mitra Classifier — табличная фундаментальная модель, разработанная проектом AutoGluon. Это 12-слойный Transformer с 72 млн параметров, предварительно обученный на синтетических наборах данных, сгенерированных на основе смеси случайных классификаторов. Модель использует обучение в контексте и предназначена для классификации табличных данных. Модель распространяется в формате safetensors по лицензии Apache-2.0 и подключается через компонент AutoGluon Tabular. Описание не уточняет поддерживаемые типы признаков, размер таблиц или метрики качества.

210K42июнь 2025
textapache-2.0hugging-face
hanzla
gemma-2b-datascience-instruct-v3.5

Карточка модели hanzla/gemma-2b-datascience-instruct-v3.5 на Hugging Face совпадает с карточкой hanzla/gemma-2b-datascience-instruct-v4.5, поэтому описание составлено по ней. hanzla/gemma-2b-datascience-instruct-v4.5 — дообученная модель hanzla на базе google/gemma-2b. Это плотная авторегрессионная языковая модель архитектуры Gemma с 2,5 млрд параметров, предназначенная для генерации текста; название указывает на ориентацию на инструкции и задачи анализа данных, однако карточка не описывает конкретные сценарии или результаты обучения. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно до 8192 токенов. В README указано, что при обучении использовались Unsloth и библиотека TRL. Лицензия — Apache-2.0.

190март 2024ctx8.2K
textapache-2.0hugging-face
yzhuang
MetaTree

MetaTree — трансформерная модель для классификации табличных данных, разработанная Zhuang и соавторами в 2024 году. Она реализует алгоритм дерева решений и обучается на примерах классических алгоритмов CART и GOSDT, чтобы лучше обобщать закономерности. Модель предназначена для построения деревьев решений по табличным данным. Для работы авторы предлагают библиотеку metatreelib. В репозитории указаны архитектура семейства Llama, 137,8 млн параметров, контекст 256 токенов и формат весов safetensors. Языковые характеристики не описаны, поэтому модель рассматривается как инструмент для числовых или категориальных таблиц, а не для работы с естественным языком. Модель распространяется по лицензии MIT. Карточка не сообщает результаты сравнительных оценок или подробности о поддерживаемых типах признаков и настройке; качество на конкретных наборах данных следует проверять отдельно.

8415февр. 2024ctx256
textmithugging-face
pysentimiento
robertuito-irony

robertuito-irony — испаноязычная модель классификации текста из проекта pysentimiento, дообученная на наборе IRosVA 2019 для выявления иронии в твитах. Она присваивает тексту один из двух классов: ирония или отсутствие иронии. Модель основана на RoBERTuito — архитектуре RoBERTa, предварительно обученной на испанских твитах. Это плотная модель для классификации последовательностей с 136,3 млн параметров и контекстом до 130 токенов. В оценке pysentimiento на задаче выявления иронии она показала Macro F1 0,739 ± 0,005. Подходит для анализа тональности и риторических особенностей коротких сообщений на испанском языке, например, для мониторинга социальных сетей. Карточка указывает формат PyTorch и библиотеку pysentimiento; сведения о лицензии в предоставленных данных отсутствуют.

15K3март 2022ctx130
texthugging-face
nahiar
spam-detection-xlm-roberta-v1

nahiar/spam-detection-xlm-roberta-v1 — модель классификации текста, разработанная на основе XLM-RoBERTa и дообученная для выявления спама в публикациях и комментариях социальных сетей. Она относит текст к одному из двух классов: Spam или Ham. Модель содержит 305,2 млн параметров, использует архитектуру XLM-RoBERTa для классификации последовательностей и принимает текст длиной до 514 токенов. Модель предназначена для фильтрации публикаций и комментариев в Twitter/X, Instagram, TikTok, Facebook и форумах, а также для предварительной модерации перед анализом тональности или тематики. В карточке заявлена поддержка индонезийского, английского, малайского и ряда региональных языков Индонезии. На сбалансированной отложенной выборке автор сообщает Accuracy 0,9451, Macro F1 0,9446 и Weighted F1 0,9500. Модель ограничена бинарной классификацией спама и обычных сообщений; автор отмечает, что она не оптимизирована для формальных текстов и может хуже работать на очень коротких или неоднозначных сообщениях. Распространяется по лицензии Apache-2.0.

380дек. 2025ctx514
textapache-2.0hugging-face
google
tapas-large-finetuned-wikisql-supervised

TAPAS large — модель семейства TAPAS от Google для ответов на вопросы по табличным данным. Она основана на BERT-подобном трансформере и дообучена последовательно на SQA и WikiSQL; размер модели составляет 433,9 млн параметров. Модель принимает вопрос и таблицу, представленную в виде последовательности текста, и выбирает ячейки таблицы с помощью специализированных классификационных голов, при необходимости выполняя агрегацию. Модель рассчитана на вопросы на английском языке о содержимом таблиц, включая запросы к таблицам в формате WikiSQL. Предварительное обучение включало маскированное языковое моделирование и промежуточное обучение на синтетических примерах для числового рассуждения. В README указана максимальная длина последовательности 512 токенов при дообучении; метаданные каталога указывают контекст в 1024 токена. Доступны версии с относительными позиционными встраиваниями, сбрасывающими позиции в каждой ячейке, и с абсолютными позициями. Модель распространяется по лицензии Apache-2.0. Она специализирована на табличных вопросах и обучена на англоязычных данных; результаты для других языков и форматов задач карточкой не подтверждены.

1216март 2022ctx1K
textapache-2.0hugging-face
AfriSpeech
afrispeech-gender-id

AfriSpeech Gender-ID — модель классификации аудио, разработанная AfriSpeech для определения метки «female» или «male» по короткому фрагменту речи на 16 кГц. Репозиторий содержит небольшую MLP-голову размером 512→64→2 в формате ONNX; она принимает 512-мерные эмбеддинги от 3D-Speaker CAM++ и выдаёт два класса. Для извлечения эмбеддингов требуется CAM++, поэтому одного файла модели из этого репозитория недостаточно для обработки исходного аудио. Голову обучили на 330 027 размеченных высказываниях из WaxalNLP с данными по 25 языковым конфигурациям; оценка проведена на 22 языках к югу от Сахары. В README приведены точность 93,58% и macro F1 93,47% на полном тестовом наборе. Отдельное сравнение на выборке из 2 215 записей сообщает 97,6% по обеим метрикам, поэтому показатели относятся к разным выборкам. Модель можно запускать на CPU через ONNX Runtime и sherpa-onnx. Лицензия — CC-BY-4.0.

300авг. 2026
audiocc-by-4.0hugging-face
vblagoje
bert-english-uncased-finetuned-pos

vblagoje/bert-english-uncased-finetuned-pos — модель на основе BERT, дообученная для разметки частей речи в английском тексте. Она присваивает словам грамматические теги, например существительное, глагол, прилагательное или предлог. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выполняет классификацию на уровне токенов. Модель подходит для автоматического синтаксического анализа, подготовки корпусов и языковых исследований, а также для добавления грамматических меток в текстовые конвейеры. Карточка перечисляет используемые теги частей речи и примеры. Доступны веса в форматах PyTorch, Flax и safetensors. Лицензия в предоставленных данных не указана.

41K42март 2022ctx512
texthugging-face
pysentimiento
bertweet-irony

pysentimiento/bertweet-irony — англоязычная модель для определения иронии в публикациях Twitter. Её разработали в рамках проекта pysentimiento, дообучив BERTweet на наборе SemEval 2018 Task 3. Архитектура — RoBERTa для классификации последовательностей, около 162,4 млн параметров; модель использует PyTorch и библиотеку pysentimiento. Контекст — до 130 токенов. Модель относит текст к одному из двух классов: ироничный или неироничный. Она предназначена для анализа англоязычных твитов и может применяться для разметки публикаций или исследования иронии в социальных сетях. В README приведён Macro F1 70,4 ± 2,9 для варианта RoBERTa в оценке irony проекта pysentimiento; это результат сравнительной оценки, а не гарантия качества на других данных. Карточка не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.

3.5K1февр. 2023ctx130
texthugging-face
vishinvents
distil-qwen3-0.6b-posthog-narrator

distil-qwen3-0.6b-posthog-narrator — специализированная языковая модель на 507,9 млн параметров, разработанная на платформе Distil Labs и предназначенная для анализа событий пользовательских сессий PostHog. На вход она получает поток событий с временными метками, а на выходе формирует ровно три предложения на английском языке в прошедшем времени, описывающие действия пользователя. Модель дообучена на базе Qwen/Qwen3-0.6B с помощью управляемого платформой fine-tuning. В обучении использованы 10 033 синтетических примера, созданных на основе 25 вручную подготовленных пар «сессия — описание»; gpt-oss-120b выступала учителем. Контекст составляет до 40 960 токенов. Модель ориентирована на конкретные события сессии и должна отмечать признаки затруднений, например повторные ошибки, rage clicks и уход пользователя, не добавляя неподтверждённых событий. В оценке на пяти отложенных примерах модель получила 100% по оценке LLM-судьи и 63,98% ROUGE; проверка формата на десяти сессиях дала 10 успешных результатов. Это небольшие выборки, поэтому они не гарантируют аналогичное качество на других данных. Доступны веса Safetensors и GGUF F16; лицензия — Apache-2.0.

1190авг. 2026ctx41K
textapache-2.0hugging-face
GeorgeDrayson
modernbert-ai-detection-raid-mage

GeorgeDrayson/modernbert-ai-detection-raid-mage — англоязычный классификатор для определения, создан ли текст языковой моделью. Это дообученная модель ModernBERT-base на 149 млн параметров, обученная на наборах MAGE и RAID. Она использует архитектуру ModernBERT для классификации последовательностей и поддерживает контекст до 8192 токенов. Модель предназначена для исследования методов обнаружения машинного текста и может применяться для анализа текстовых корпусов и отбора примеров по происхождению. Карточка связывает её с исследовательской работой о предотвращении коллапса языковых моделей с помощью детектора машинно-сгенерированного текста. Доступна по лицензии Apache-2.0.

1.9K3май 2025ctx8.2K
textapache-2.0hugging-face
suitch
radbert-english-ctrate-classifier

suitch/radbert-english-ctrate-classifier — модель-классификатор на основе RadBERT с архитектурой RoBERTa-base, разработанная для многометочной классификации англоязычных радиологических заключений. Она предсказывает 18 патологических меток по тексту отчёта и обучена на англоязычных данных набора CTRate. Модель содержит 151,8 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors. Модель подходит для автоматической разметки заключений компьютерной томографии грудной клетки, извлечения признаков и подготовки медицинских текстов для последующего анализа. Она работает только с текстом заключения и не анализирует медицинские изображения. Результаты не предназначены для использования в качестве системы поддержки клинических решений. Лицензия — MIT.

1130апр. 2026ctx514
textmithugging-face
SuperAnnotate
roberta-large-llm-content-detector

SuperAnnotate разработала классификатор для выявления текста, сгенерированного языковыми моделями. Это бинарная модель последовательностей на базе RoBERTa Large, дообученная на наборах HC3 и IDMGSP; она выдаёт один результат классификации для входного текста. Модель рассчитана прежде всего на английский язык и предназначена для проверки авторства текста, анализа учебных и научных работ, выявления мошенничества и проверки обучающих данных. При обучении использовались около 20 тысяч сбалансированных пар «текст — метка». В README приведено сравнение с другими детекторами на бенчмарке из 1 000 примеров, однако его результаты сами по себе не гарантируют точность на новых источниках и типах текстов. Лицензия указана как SAIPL; перед использованием следует ознакомиться с её условиями.

2038март 2024
textotherhugging-face
google
tapas-base

TAPAS Base — базовая модель семейства TAPAS, разработанная Google. Это трансформерная архитектура типа BERT с 136,7 млн параметров, предварительно обученная на английских таблицах из Википедии и связанном с ними тексте. Модель поддерживает контекст до 1024 токенов; доступны веса PyTorch и TensorFlow. По умолчанию используется вариант с относительными позиционными эмбеддингами, сбрасывающий индексы позиций в каждой ячейке таблицы; также доступна версия с абсолютными позиционными эмбеддингами. Предобучение включает маскирование токенов и дополнительный этап для рассуждений по таблицам: модель училась определять, подтверждаются ли синтетические утверждения содержимым таблицы. Представления модели можно использовать как признаки для последующей тонкой настройки на ответы на вопросы по таблицам, классификацию и проверку соответствия утверждений таблицам. Сама базовая модель предназначена прежде всего для получения представлений и адаптации под конкретную задачу. Модель рассчитана на текст и структурированные таблицы на английском языке. Она не является готовой системой для ответов на вопросы без дополнительной настройки. Распространяется по лицензии Apache-2.0.

2.0K10март 2022ctx1K
textembeddingapache-2.0hugging-face
google
tapas-small

TAPAS small — компактная модель семейства TAPAS от Google, построенная на архитектуре трансформера типа BERT. Она предварительно обучена на англоязычных таблицах из Wikipedia и связанных с ними текстах с помощью masked language modeling и дополнительного этапа обучения на примерах табличного вывода и числовых рассуждений. Модель содержит 32,4 млн параметров, поддерживает входную последовательность длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для получения векторных представлений пар «таблица и вопрос» и последующей тонкой настройки для ответов на вопросы по таблицам, классификации и проверки того, следует ли утверждение из содержания таблицы. В версии по умолчанию используются относительные позиционные эмбеддинги с перезапуском индексов в каждой ячейке; также доступна версия с абсолютными позиционными эмбеддингами через revision="no_reset". Для решения прикладных задач обычно требуется дообучение с классификационной головой. TAPAS полезна для анализа структурированных таблиц и числовых связей в них. Предварительное обучение и описанные сценарии ориентированы на английский язык; работа с другими языками не подтверждена. Лицензия — Apache-2.0.

1320март 2022ctx512
textembeddingapache-2.0hugging-face
curiousily
tiny-crypto-sentiment-analysis

Tiny Crypto Sentiment Analysis — дообученная с помощью LoRA модель TinyLlama, созданная для анализа тональности и определения темы новостных статей о криптовалютах. Она принимает текст статьи и генерирует текстовый ответ; архитектура основана на LlamaForCausalLM, размер модели — около 1 млрд параметров, контекст — до 2048 токенов. Обучение проводилось на наборе Crypto News+. Модель предназначена для анализа криптовалютных новостей и может использоваться в экспериментах или конвейерах мониторинга новостного потока. В карточке приведён пример загрузки через Transformers. Распространяется по лицензии Apache-2.0.

316февр. 2024ctx2K
textapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей