Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Pretrain-Qwen-200M — плотная авторегрессионная языковая модель семейства Qwen2, разработанная MiniLLM и обученная с нуля как базовая модель для экспериментов MiniLLM. Модель содержит 203,4 млн параметров и была предварительно обучена на корпусе Pile на 50 млрд токенов; для воспроизводимости также опубликован токенизированный обучающий корпус.
Модель предназначена для генерации текста и служит базовой линией для MiniLLM-Qwen-200M и сравнительных экспериментов по языковому моделированию. Метаданные указывают контекст до 32 768 токенов и поддержку английского языка. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.
Карточка сообщает об оценивании MiniPLM и сравнении с VanillaKD, но не приводит численных результатов и не описывает отдельные гарантии качества. Компактный размер ограничивает возможности модели по сравнению с крупными современными языковыми моделями.
Сценарии применения
генерация английского текста
исследование поведения небольших языковых моделей
воспроизведение предварительного обучения на корпусе Pile
сравнение методов дистилляции языковых моделей
Ограничения
Модель имеет около 203 млн параметров и ориентирована на эксперименты с небольшими языковыми моделями; карточка не сообщает численных результатов оценки или специальных гарантий качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
@article{miniplm,
title={MiniPLM: Knowledge Distillation for Pre-Training Language Models},
author={Yuxian Gu and Hao Zhou and Fandong Meng and Jie Zhou and Minlie Huang},
journal={arXiv preprint arXiv:2410.17215},
year={2024}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров