Компактная дообученная модель GPT-2 для генерации английского текста по промпту и инициализации обучения MiniLLM.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
init-gpt2-120M — компактная плотная авторегрессионная модель семейства GPT-2 с 120 млн параметров, разработанная MiniLLM. Она дообучена с учителем на наборе инструкций databricks-dolly-15k и предназначена для генерации текста по промпту. Модель использовалась как начальная точка для обучения MiniLLM.
Модель принимает текст и выдаёт текст; поддерживаемая задача — генерация текста. Она рассчитана на английский язык, а длина контекста составляет 1024 токена. Веса представлены в форматах PyTorch и Safetensors. Компактный размер подходит для экспериментов и обучения, однако карточка описывает её прежде всего как инициализацию для дальнейшего обучения, а не как готового универсального ассистента. Лицензия — Apache-2.0.
Контекст ограничен 1024 токенами. Карточка позиционирует модель как инициализацию для дальнейшего обучения MiniLLM, поэтому её пригодность в качестве готового ассистента не подтверждена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
init-gpt2-120M is a gpt2 (120M) model supervised fine-tuned on databricks-dolly-15k.
It is used as the initialization for training MiniLLM.
@inproceedings{minillm,
title={MiniLLM: Knowledge Distillation of Large Language Models},
author={Gu, Yuxian and Dong, Li and Wei, Furu and Huang, Minlie},
booktitle={Proceedings of ICLR},
year={2024}
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…