Набор вариантов GPT-2 для исследования EK-FAC и линейной атрибуции влияния обучающих данных.
0скачиваний за 30 дней0лайковвеса обновлены19 июл 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
EleutherAI/bergson-smollm2-scratch-olmo-16k — набор моделей GPT-2, подготовленный EleutherAI для исследования EK-FAC и оценки линейного датамоделирования (LDS). Базовая модель дообучена на 16 тысячах фрагментов длиной 512 токенов из набора EleutherAI/bergson-smollm2-lds-chunks, собранных из EleutherAI/SmolLM2-135M-10B. Репозиторий содержит модель, обученную на полном наборе, и 29 вариантов, каждый из которых заново обучен с исключением случайного 1% фрагментов.
Модельный банк предназначен для анализа того, как качество атрибуции зависит от размера обучающих данных; для запросов предусмотрены 50 отложенных фрагментов из конфигурации query того же датасета. В метаданных указаны веса safetensors и базовая связь с GPT-2. Это исследовательский артефакт, ориентированный на воспроизведение эксперимента и оценку методов атрибуции, а не на обычный пользовательский чат или прикладную генерацию текста. Лицензия и дополнительные языковые характеристики не установлены по доступным данным.
Сценарии применения
сравнение качества атрибуции данных при разных размерах обучающей выборки
исследование влияния исключения отдельных фрагментов обучения на ответы модели
воспроизведение эксперимента EK-FAC и LDS
проверка методов датамоделирования на отложенных фрагментах текста
Ограничения
Это специализированный исследовательский набор вариантов для оценки атрибуции, а не готовая универсальная диалоговая модель. Доступные сведения не описывают лицензию или оценку качества генерации.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Leave-k-out model bank for an EK-FAC linear-datamodeling-score (LDS) study of
how attribution quality scales with training-set size N (this repo: N=16k
512-token chunks). GPT-2 fine-tuned on the 16k subset of
EleutherAI/bergson-smollm2-lds-chunks (packed from
EleutherAI/SmolLM2-135M-10B).
base/: GPT-2 fine-tuned on the full N-chunk training set (no leave-out).
subset_0/ … subset_28/: each retrains from scratch with a
random 1%% of the training chunks held out, forming the LDS leave-k-out bank.
Queries: the query config of the dataset repo (50 held-out chunks).
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров