Характеристики

Лицензия: MIT
Опубликована: 10 окт 2026

Ссылки

reclor-qa-from-scratch-10m

Классификация и разметкаТекст → label

Экспериментальная модель с 10 млн параметров, обученная с нуля для логического рассуждения и ответов на вопросы ReClor с выбором из четырёх вариантов.

0скачиваний за 30 дней1лайквеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Samuka007/reclor-qa-from-scratch-10m — экспериментальная модель для решения задач логического рассуждения с выбором одного из четырёх вариантов по тексту ReClor. Это учебный проект CITS4012 A2: модель с энкодером Transformer и механизмом decomposable cross-attention по схеме attend/compare/aggregate обучена с нуля со случайной инициализацией; для регуляризации применялся R-Drop. В ней около 10 млн параметров, а токенизатор byte-level BPE размером 16 тысяч обучен только на тренировочной части данных.

На официальной валидационной выборке ReClor из 500 примеров точность составила 0,366 ± 0,021 по трём запускам; для сравнения, случайный выбор даёт 0,25, а приведённый в карточке BERT-base baseline — 0,498. Модель предназначена для экспериментов и учебных задач по логическому рассуждению и пониманию текста, а не демонстрирует уровень указанного baseline. Репозиторий содержит чекпойнты PyTorch. Лицензия — MIT.

Сценарии применения

выбор правильного ответа в задачах логического рассуждения ReClor
оценка моделей на тестах понимания текста с вариантами ответов
учебные эксперименты с энкодерами Transformer и R-Drop

Ограничения

На валидации ReClor точность составила 0,366 ± 0,021, ниже указанного BERT-base baseline 0,498. Модель обучена только на данных ReClor, поэтому её пригодность для других задач и наборов данных не подтверждена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ReClor QA: decomposable-attention encoder + R-Drop (from-scratch, 10M params)

Course project (CITS4012 A2). Transformer-encoder model trained from scratch (random init, BPE tokenizer trained on the train split only) for 4-way multiple-choice logical reasoning on ReClor.

Architecture: decomposable cross-attention (attend/compare/aggregate) + R-Drop consistency.
Params: 10,020,353. Seeds: 42 / 0 / 1.
Test accuracy (official ReClor validation split, n=500): 0.366 +/- 0.021 over 3 seeds (random = 0.250; BERT-base baseline = 0.498).

Files

tokenizer.json — byte-level BPE (16k), trained on the train-portion only.
best_seed{42,0,1}.pt — best-dev checkpoints (state_dict).

Verify

import hashlib, pathlib
for f, h in {
    "tokenizer.json": "41648afb488a9c2dbf916ed3ed0c14a5b27feb5864e61d5ccedb058d2b06c202",
    "best_seed42.pt": "ac36423e6638c8d23ddf0924616115eb0e2cdf230fbe7af90921bde47b3a7493",
}.items():
    assert hashlib.sha256(pathlib.Path(f).read_bytes()).hexdigest() == h

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 01ad662