Чекпойнт GPT-2, обученный на FineWeb-EDU, генерирует продолжение текста и подходит для экспериментов с языковым моделированием.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это языковая модель GPT-2, обученная Андреем Карпати с помощью llm.c на наборе FineWeb-EDU. Чекпойнт соответствует 100 000 шагам обучения при размере батча 1 млн; для оценки указана точность 57,7 на HellaSwag.
Модель предназначена для генерации продолжения текста по заданному фрагменту. Её можно использовать для экспериментов с языковым моделированием и воспроизведения обучения GPT-2. Архитектура — плотная GPT-2; модель принимает текст и выдаёт текст, поддерживает контекст до 1024 токенов. В репозитории указаны веса в формате safetensors.
Лицензия в предоставленных данных не указана. Карточка не описывает специализированную область применения; результаты HellaSwag не гарантируют качество на других задачах или данных.
Контекст ограничен 1024 токенами. В карточке приведена оценка HellaSwag, но данных о качестве на других задачах нет.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a GPT-2 model trained in llm.c for 100K steps (of 1M batch size) on FineWeb-EDU.
A lot more detailed information is here: https://github.com/karpathy/llm.c/discussions/677 .
This model is exactly as the post above, except changing -x 100000 to run 100K steps. The model achieves HellaSwag of 57.7
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…