Экспериментальный вариант Mistral 7B v0.2 с повышенным attention dropout, предназначенный для обучения и генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Crystalcareai/Quiet-Mistral — вариант Mistral 7B v0.2 с повышенным attention dropout до 0,6. Автор карточки указывает, что модель подготовлена для обучения; README также описывает конвертацию весов и возможность использовать tokenizer.model из Mistral-7B-Instruct-v0.2. Это текстовая причинная языковая модель для генерации текста с архитектурой QuietForCausalLM, размером 7,1 млрд параметров и контекстом до 32 768 токенов.
Модель может служить основой для экспериментов и дальнейшего обучения. В карточке не приведены результаты оценки качества или конкретные пользовательские сценарии. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.
README позиционирует модель для обучения, но не приводит оценок качества или проверенных прикладных сценариев. Лицензия в предоставленных данных не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Mistral 7b v0.2 with attention_dropout=0.6, for training purposes
Conversion process:
Download original weights from https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar
You may need to copy the tokenizer.model from Mistral-7B-Instruct-v0.2 repo.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.