Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Envoid/Dendrite-8x7Bv1 — экспериментальная чат-модель, полученная автором методом qLoRA на Mixtral 8x7B Instruct v0.1. Для дообучения использовался тот же текстовый набор данных, что и для модели Dendrite на Mixtral 8x7B; автор описывает результат как менее сухой по стилю при сохранении возможностей исходной instruct-модели и её формата ответа.
В README приведены параметры адаптера: LoRA rank и alpha 256, максимальная длина последовательности 256 токенов, скорость обучения 0,000001 и два эпохи. В метаданных указаны архитектура Mixtral MoE, 7,1 млрд параметров, контекст 32 768 токенов и формат safetensors. Модель предназначена для генерации текста в диалоге. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения правообладателя.
Сценарии применения
генерация ответов в формате Mixtral Instruct
диалоговое общение с менее сухим стилем ответов
эксперименты с генерацией текста на базе Mixtral
Ограничения
Автор характеризует обучение как первую попытку и отмечает, что изменение стиля ответов невелико; более крупный набор данных и дальнейшее обучение только планировались. Набор данных имел максимальную длину 256 токенов, поэтому эффект дообучения может быть ограничен.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is my first attempt at a qLoRA on Mixtral using the same raw text dataset as the Dendrite model on Mixtral 8x7B Instruct v0.1 with the following notable settings:
The output is a little less dry but it still maintains the full level of functionality you would expect out of Mixtral instruct. And it still responds to the
[INST]
Do a thing
[/INST]
format.
It's not a massive change in the output but I do plan to run a similar but larger data set with more epochs and a higher learning rate.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров