Экспериментальная GPT-2-модель генерирует ответы на задачи сложения чисел до пяти цифр в специальном текстовом формате.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
timo13113/calc-gpt-2 — компактная экспериментальная модель на архитектуре GPT-2, предназначенная для генерации ответов на задачи сложения. В README она описана как игрушечная модель, которая, по заявлению автора, показывает около 100% точности на сложении чисел от одной до пяти цифр. Формат ввода использует разделители «+;», а ответ следует читать между «=» и «$»; примеры показывают также промежуточную последовательность токенов.
Модель принимает текст и выдаёт текст, обучена для задачи генерации текста и имеет контекстное окно 1024 токена. Примеры демонстрируют сложение чисел; сведений о поддерживаемых естественных языках README и метаданные не дают. Модель подойдёт для демонстраций и экспериментов с арифметическими рассуждениями, но заявление о точности не сопровождается методикой или независимой оценкой, а пригодность для более сложной арифметики не подтверждена. Лицензия в предоставленных данных не указана.
Заявление о почти стопроцентной точности относится только к сложению чисел длиной до пяти цифр и не подкреплено описанием методики оценки. Модель обозначена как игрушечная; лицензия в предоставленных данных не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
A toy model with (seemingly) 100% accuracy on addition on 1-digit to 5-digit numbers.
Usage: <number>+<number>; and halt generation at $. The answer should be placed between = and $.
Examples:
99998+2;8200,9010,9010,9010,9010,0011,000=100000$, and 99998+2 is, indeed, 100000
45856+25687;6703,5814,8615,5511,4217,000=71543$, and 45856+25687 is equal to 71543
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…