Характеристики

Контекст: 32 768 токенов
Параметры: 5,8 млрд
Размер весов: 11,9 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: Mistral-7B-v0.3
Библиотека: transformers
Опубликована: 24 мая 2024

Ссылки

Mistral-7B-v0.3-prune6

Генерация текстаТекст → текст3 профессии

Разреженная версия Mistral-7B-v0.3 с удалёнными слоями для генерации текста и экспериментов с упрощением языковых моделей.

30скачиваний за 30 дней0лайковвеса обновлены29 дек 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mistral-7B-v0.3-prune6 — созданная pszemraj разреженная версия предварительно обученной языковой модели Mistral-7B-v0.3. Из модели удалены слои: сохранены слои 0–21 и 28–31; дополнительного обучения не проводилось. Архитектура — плотная MistralForCausalLM, размер — 5,8 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов.

Модель предназначена для генерации текста и экспериментального изучения влияния удаления слоёв на качество языковых моделей. README приводит результаты быстрой оценки на нескольких тестах, включая ARC-Easy и BoolQ; показатели исходной модели на приведённых тестах выше. Модель принимает текст и генерирует текст, язык в метаданных указан как английский.

Лицензия — Apache-2.0. Результаты оценки в карточке названы быстрой оценкой и не гарантируют качество в иных задачах; удаление слоёв снижает качество на приведённых тестах относительно исходной модели.

Сценарии применения

генерация продолжений текста на английском языке
эксперименты с удалением слоёв в языковой модели
сравнение качества разреженной и исходной Mistral
быстрая оценка языковой модели на тестах ARC-Easy и BoolQ

Ограничения

В приведённых тестах модель уступает исходной Mistral-7B-v0.3; дополнительного обучения после удаления слоёв не проводилось. Опубликована только быстрая оценка, поэтому она не устанавливает качество для других задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mistral-7B-v0.3-prune6

This is a layer-pruned pre-trained language model sliced with mergekit. No additional training.

layer selection

plot

Quick eval

Quick eval for: pszemraj/Mistral-7B-v0.3-prune6

hf (pretrained=pszemraj/Mistral-7B-v0.3-prune6,trust_remote_code=True,dtype=bfloat16), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: 2

Tasks	Version	Filter	Metric	Value		Stderr
arc_easy	1	none	acc	0.6393	±	0.0099
		none	acc_norm	0.6309	±	0.0099
boolq	2	none	acc	0.7599	±	0.0075
lambada_openai	1	none	perplexity	10.1184	±	0.2771
		none	acc	0.5507	±	0.0069
openbookqa	1	none	acc	0.2200	±	0.0185
		none	acc_norm	0.3580	±	0.0215
piqa	1	none	acc	0.7203	±	0.0105
		none	acc_norm	0.7350	±	0.0103
winogrande	1	none	acc	0.6906	±	0.0130

original

bootstrapping for stddev: perplexity hf (pretrained=mistralai/Mistral-7B-v0.3,trust_remote_code=True,dtype=bfloat16), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: 2

Tasks	Version	Filter	Metric	Value		Stderr
arc_easy	1	none	acc	0.7959	±	0.0083
		none	acc_norm	0.7832	±	0.0085
boolq	2	none	acc	0.8202	±	0.0067
lambada_openai	1	none	perplexity	3.2578	±	0.0601
		none	acc	0.7518	±	0.0060
openbookqa	1	none	acc	0.3340	±	0.0211
		none	acc_norm	0.4420	±	0.0222
piqa	1	none	acc	0.8009	±	0.0093
		none	acc_norm	0.8215	±	0.0089
winogrande	1	none	acc	0.7380	±	0.0124

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

mistralai/Mistral-7B-v0.3

Configuration

The following YAML configuration was used to produce this model:

dtype: bfloat16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 22]
    model: mistralai/Mistral-7B-v0.3
- sources:
  - layer_range: [28, 32]
    model: mistralai/Mistral-7B-v0.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: f31cd84

Характеристики

Ссылки

Mistral-7B-v0.3-prune6

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

Mistral-7B-v0.3-prune6

layer selection

Quick eval

original

Merge Details

Merge Method

Models Merged

Configuration

Как запустить