Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
MiniLLM/MiniLLM-gpt2-340M — англоязычная модель генерации текста на архитектуре GPT-2, основанная на GPT-2 medium и описанная авторами как дистиллированная из GPT-2 XL. В метаданных указано дообучение openai-community/gpt2-medium, а README сообщает о дистилляции на наборе databricks-dolly-15k; точное происхождение в карточке описано неоднозначно.
Модель предназначена для продолжения текста и генерации ответов по инструкциям. Авторы оценивали ответы на примерах из тестовой части databricks-dolly-15k, Self-Instruct и Vicuna. Контекст составляет 1024 токена; доступны веса PyTorch, лицензия — Apache-2.0. Для PPO-оптимизации MiniLLM требуется SFT-модель для инициализации.
Карточка не приводит подробных результатов оценки качества или гарантий пригодности для конкретных сценариев. Модель ориентирована на английский язык и может наследовать ограничения GPT-2, включая устаревшие или ошибочные ответы.
Сценарии применения
генерация ответов на инструкции на английском языке
продолжение английского текста
эксперименты с дистилляцией языковых моделей
сравнение методов SFT и дистилляции на Dolly-15k
Ограничения
Контекст ограничен 1024 токенами; для PPO-оптимизации требуется SFT-модель для инициализации. Подробные результаты качества и ограничения применения в карточке не приведены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
@inproceedings{minillm,
title={MiniLLM: Knowledge Distillation of Large Language Models},
author={Gu, Yuxian and Dong, Li and Wei, Furu and Huang, Minlie},
booktitle={Proceedings of ICLR},
year={2024}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров