This is a GPT-2 (7.3B) model trained in llm.c for 100B tokens with cosine LR on Fineweb-Edu.
A lot more detailed info and observations are here: https://x.com/Yuchenj_UW/status/1817223820589375752
Характеристики
- Контекст
- 1 024 токена
- Размер весов
- 14,6 ГБ
- Лицензия
- MIT
- Архитектура
- gpt2 · dense
- Библиотека
- transformers
- Опубликована
- 28 июл 2024
Ссылки
gpt2_7.3B_100B_FinewebEdu_hf
Генерация текстаТекст → текст
GPT-2 на 7,3 млрд параметров, обученная на FineWeb-Edu для генерации и продолжения текста.
103скачиваний за 30 дней2лайкавеса обновлены25 авг 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это языковая модель GPT-2 размером 7,3 млрд параметров, обученная с помощью llm.c на 100 млрд токенов из датасета FineWeb-Edu. Она предназначена для генерации текста и продолжения заданных фрагментов. Использует архитектуру GPT2LMHeadModel и библиотеку Transformers; формат весов — safetensors, длина контекста — 1024 токена.
Модель обучена на образовательном веб-тексте FineWeb-Edu, что может быть полезно для генерации материалов на общие и учебные темы. README не сообщает о поддержке отдельных языков или специализированных сценариях. Лицензия — MIT.
Сценарии применения
- продолжение текстового фрагмента
- генерация черновиков учебных материалов
- создание связного текста по затравке
Ограничения
Контекст ограничен 1024 токенами; сведения о качестве и поддержке конкретных языков не приведены.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- GPT2LMHeadModel
- Ревизия весов
- d53b07a