Характеристики

Лицензия: MIT
Опубликована: 8 окт 2026

Ссылки

tcga-pancancer-set-transformer

Классификация таблицTable → label

Исследовательский Set Transformer для многоклассовой классификации высокоразмерных табличных данных с оценкой предсказательной неопределённости.

18скачиваний за 30 дней0лайковвеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TCGA Pan-Cancer Set-Transformer — классификатор табличных данных, разработанный для исследования методов представления и обучения на больших наборах признаков. Он оценивался на RNA-seq данных UCSC Toil TCGA Pan-Cancer: 9 185 образцов первичных опухолей, 48 482 признака и 32 класса. Архитектура включает токенизатор признаков с общей проекцией значений и обучаемыми идентификаторами признаков, Set Transformer с блоками Induced Set Attention и pooling через Multihead Attention. Перед классификацией применяется самосупервизионное предобучение VICReg; классификационная голова использует mean-field вариационный подход для оценки предсказательной неопределённости.

Модель предназначена для многоклассовой классификации высокоразмерных табличных данных и изучения калибровки неопределённости. В описанном бенчмарке сравнивались 32 категориальных класса TCGA; авторы сообщают, что простые базовые модели показали более высокую точность, поскольку данные близки к линейно разделимым. Это исследовательский бенчмарк, а не диагностический или клинический инструмент. Репозиторий содержит веса PyTorch и экспорт той же модели в ONNX; лицензия — MIT.

Сценарии применения

классификация образцов RNA-seq по категориям TCGA
эксперименты с классификацией таблиц с десятками тысяч признаков
изучение самосупервизионного предобучения для табличных данных
оценка предсказательной неопределённости в многоклассовой классификации

Ограничения

В описанном бенчмарке простые базовые модели превзошли архитектуру по точности на тестовой выборке. Модель предназначена для методологических экспериментов и не заявлена как средство биологической, диагностической или клинической интерпретации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TCGA Pan-Cancer Set-Transformer

A self-supervised, permutation-equivariant, uncertainty-aware classifier for large-scale, high-dimensional tabular data, evaluated on the UCSC Toil TCGA Pan-Cancer RNA-seq recompute (9185 primary-tumor samples, 48482 features, 32 categorical classes; 70/15/15 train, validation, test split, so 1378 held-out test samples).

This is a methods/representation-learning study. No biological, diagnostic, or clinical claims are made or implied. Class labels are used strictly as categorical ids for a tabular multi-class benchmark.

Architecture

Feature tokenizer: shared value projection + learned per-feature identity embedding (see tokenizer.py in the source repo).
Set-Transformer encoder (Lee et al., 2019) with Induced Set Attention Blocks for O(n*m) scalability across tens of thousands of feature tokens, and Pooling by Multihead Attention for the final representation.
VICReg self-supervised pretraining (Bardes, Ponce & LeCun, 2022).
Mean-field variational ("Bayes-by-Backprop") linear classification head for calibrated predictive uncertainty.

Files

model.pt -- backbone + Bayesian head state dicts (see source repo for the exact module definitions needed to load them).
config.yaml -- architecture / training hyperparameters.
model.onnx -- the same model exported to ONNX (mean posterior weights, deterministic pass), used by the in-browser demo.
demo_samples.npz, classes.json -- small bundle used by the live dashboard (not the full training dataset).
results/ -- the raw metrics (per-epoch history, per-class numbers, confusion matrix, calibration bins) behind every row of the table below.

Results, reported honestly

The point of this benchmark is to check whether each piece of the architecture earns its place, not to assume it does. On this dataset and split, it mostly doesn't, on raw test accuracy:

Model	Test accuracy	F1 (macro)	ECE
Logistic regression (baseline)	96.1%	94.4%	--
Plain MLP (baseline)	95.4%	93.5%	--
Random forest (baseline)	94.2%	89.9%	--
Ablation: no equivariant encoder (MLP + Bayesian head)	94.0%	91.7%	0.053
Ablation: no SSL pretraining	88.7%	84.3%	0.069
Full model (SSL + equivariant encoder + Bayesian head)	88.1%	83.3%	0.077

The simple baselines win here. This dataset is close to linearly separable in log-expression space, so the architectural machinery built for harder, less separable tabular problems doesn't pay for itself on raw accuracy on this one -- and that's a real finding, not a caveat to bury. Full history, per-class breakdowns, and the code for every row above are in the source repository.

Live demo

In-browser demo (ONNX Runtime Web, no server to keep running): https://mahdisabetkish.github.io/tcga-cancer-type-classifier/
Full interactive dashboard (Docker image, local run): docker run -p 7860:7860 mahdisabetkish/tcga-pancancer-set-transformer

Source

Code: https://github.com/mahdisabetkish/tcga-cancer-type-classifier

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Табличные модели пока не поддерживаются.

Ревизия весов: 07ae09a