GPT-2 на 774 млн параметров, обученная на FineWeb и предназначенная для генерации текста и изучения производительности bfloat16.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это модель GPT-2 с 774 млн параметров, опубликованная rhysjones и конвертированная из модели проекта llm.c Андрея Карпати в формат Hugging Face для изучения производительности bfloat16. Она обучена на 150 млрд токенов — примерно 1,5 эпохи по выборке FineWeb объёмом 100 млрд токенов — и предназначена для генерации продолжения текста. Модель принимает текст и выдаёт текст; максимальный контекст составляет 1024 токена.
Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка описывает исследовательскую цель конвертации; качество генерации и специальные сценарии применения в ней не охарактеризованы.
Контекст ограничен 1024 токенами. Карточка не описывает качество модели и не приводит оценки на бенчмарках.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is karpathy's model from the llm.c project converted to HF format to investigate bfloat16 performance.
The training run was 150B tokens, 1.5 epochs over the 100B FineWeb sample dataset.
There's active work underway at https://github.com/karpathy/llm.c so I'd suggest following the developments there!
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…