Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
PerceiveIO/tinyllama_92M — компактная плотная авторегрессионная языковая модель семейства Llama, представленная в формате Safetensors и рассчитанная на генерацию текста. По карточке, модель имеет 91,2 млн параметров, 12 слоёв, 12 голов внимания и словарь из 8192 токенов; заявленная длина контекста — 256 токенов. Она может служить лёгкой моделью для экспериментов с генерацией и тестирования языковых пайплайнов при ограниченных вычислительных ресурсах. Данные обучения и поддерживаемые естественные языки не описаны. Лицензия в доступных сведениях не указана.
Сценарии применения
эксперименты с авторегрессионной генерацией текста
тестирование пайплайнов генерации на компактной модели
создание коротких текстовых продолжений
изучение архитектуры Llama на небольшой модели
Ограничения
Контекст ограничен 256 токенами, а карточка не содержит описания обучающих данных или результатов. Поддерживаемые языки и лицензия по доступным сведениям не установлены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
batch_size = 64 # if gradient_accumulation_steps > 1, this is the micro-batch size
dropout = 0.0
# adamw optimizer
gradient_accumulation_steps = 8 # used to simulate larger batch sizes
learning_rate = 1e-3 # max learning rate
max_iters = 34000 # total number of training iterations
weight_decay = 3e-4
beta1 = 0.9
beta2 = 0.95
grad_clip = 1.0 # clip gradients at this value, or disable if == 0.0
# learning rate decay settings
decay_lr = True # whether to decay the learning rate
warmup_iters = 1000 # how many steps to warm up for
Results
4xV100 GPUs used.
Run summary:
iter 34000
loss/train 0.8704
loss/val 0.9966
tokens 983040000
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров