Причинная модель GPT-2 для продолжения и генерации текста, обученная в рамках эксперимента BabyLM.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
nikitastheo/v6-babylm-25k-eng-ell-sequential — причинная языковая модель семейства GPT-2 для генерации текста. Карточка указывает, что модель обучена скриптом train_clm.py с использованием Hugging Face Accelerate.
Модель предназначена для продолжения текста и других задач генерации на основе контекста. Указана длина контекста 512 токенов; репозиторий использует библиотеку Transformers и формат весов safetensors. Название модели указывает на эксперимент BabyLM с последовательным обучением на английском и греческом языках, однако карточка не описывает данные, качество или точный языковой охват.
Контекст ограничен 512 токенами. Карточка не приводит оценок качества, подробностей обучающего набора или результатов тестирования.
README от автора на Hugging Face, как он его опубликовал
Trained with train_clm.py, a Hugging Face Accelerate causal-LM training script (no Trainer).
configurations/gpt_base_config.jsonnikitastheo/babylm-25k-eng-tokenizerНа своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…