Описание составлено по карточке модели и метаданным Hugging Face
cckm/tinymistral_950m — базовая языковая модель семейства Mistral, опубликованная cckm. Это плотная архитектура MistralForCausalLM примерно на 908,7 млн параметров с 40 слоями и размером скрытого состояния 1440. Модель предназначена для запуска в периферийных приложениях, где важны компактность и генерация текста.
Модель обучена примерно на 400 млрд токенов RefinedWeb и 400 млрд токенов FineWeb. Она поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Это базовая модель без дообучения для инструкций или чата, поэтому она предназначена для продолжения текста и требует отдельной адаптации для надёжного выполнения пользовательских инструкций. В README приведены результаты на ARC-C, ARC-E и BoolQ.
Модель распространяется в формате safetensors по лицензии MIT.
Сценарии применения
генерация и продолжение английского текста
эксперименты с компактными языковыми моделями
развёртывание генерации текста на периферийных устройствах
дообучение базовой модели для специализированных задач
Ограничения
Модель не проходила дообучение для инструкций или чата, поэтому может не следовать запросам как ассистент. Опубликованные результаты охватывают только несколько бенчмарков и не гарантируют качество на других задачах.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This checkpoint is for a small (950M params), deep and narrow (40 layers, hidden size=1440) Mistral model, as described in this [blog post]. It is meant for edge applications.
It was trained with ~400B tokens from RefinedWeb, and ~400B tokens from FineWeb (up to epoch 202418). It is a base model, and has not gone through instruct or chat fine-tuning.
LM Harness numbers:
Benchmark
Result
arc_c
0.2884
arc_e
0.5139
boolq
0.6089
hellaswag
0.5888
obqa
0.3280
piqa
0.7388
siqa
0.4038
wino
0.5627
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров