Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Llama-3-5B-Sheard — экспериментальная уплотнённая версия Meta Llama 3 8B, опубликованная raincandy-u. Модель содержит 5,3 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, генерируя текст; заявленная длина контекста — 8192 токена. Репозиторий содержит веса в формате safetensors.
Модель предназначена для генерации текста и диалоговых экспериментов. После сокращения модели с помощью PrunMe и Mergekit её дополнительно обучали на Minipile в течение одной эпохи примерно на 100 тысячах примеров, затем применяли ORPO на парах предпочтений, созданных Llama-3-70B. Карточка предупреждает, что при непустом системном промпте ответы могут повторяться и не завершаться, и прямо обозначает модель как предназначенную для тестирования.
Указана лицензия other, а в README приведена Meta Llama 3 Community License; перед использованием следует проверить применимые условия этой лицензии и требования Meta. Английский язык указан среди языков карточки.
Сценарии применения
генерация продолжений текста
эксперименты с диалоговой моделью на базе Llama 3
оценка поведения уменьшенной языковой модели
тестирование ORPO-дообучения на парах предпочтений
Ограничения
Автор предупреждает, что при непустом системном промпте модель может повторять ответы и не останавливаться. README обозначает её как тестовую; качество и пригодность для производственного применения не подтверждены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
After sliced by mergekit, the model is continue-pretrained on minipile for 1 epoch and ~100k samples. Then we trained it using ORPO on Llama-3-70b generated DPO pairs.
Disclaimer
This model is for testing purposes only, and when the system prompt is not empty, the output may repeat and not stop!
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
