Характеристики

Лицензия: CC BY-NC 4.0
Базовая модель: Mistral-7B-v0.1
Библиотека: transformers
Опубликована: 23 мар 2024

Ссылки

Starling_Monarch_Westlake_Garten-7B-v0.1-GGUF

Генерация текстаТекст → текст11 профессий

Starling_Monarch_Westlake_Garten-7B-v0.1-GGUF — квантизированная версия текстовой генеративной модели Starling_Monarch_Westlake_Garten-7B-v0.1.

739скачиваний за 30 дней0лайковвеса обновлены23 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходная модель опубликована giraffe176, а GGUF-квантизации подготовлены bartowski с использованием llama.cpp. Модель объединяет Mistral-7B-v0.1, Starling-LM-7B-alpha, AlphaMonarch-7B, WestLake-7B-v2-laser и garten2-7b.

Модель предназначена для генерации текста и общих задач понимания и рассуждения на естественном языке. В README указаны результаты на EQ-Bench, ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K; среди приведённых показателей — 80,01 на EQ-Bench, 71,76% на ARC, 88,15% на HellaSwag и 65,07% на MMLU. Это указывает на пригодность для диалоговых, общеобразовательных, логических и текстовых сценариев, однако результаты зависят от методики тестирования.

Модель относится к классу 7B и поставляется в формате GGUF с вариантами квантизации от Q4 до Q8, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование может быть ограничено условиями лицензии.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llamacpp Quantizations of Starling_Monarch_Westlake_Garten-7B-v0.1

Using llama.cpp release b2440 for quantization.

Original model: https://huggingface.co/giraffe176/Starling_Monarch_Westlake_Garten-7B-v0.1

Download a file (not the whole branch) from below:

Filename	Quant type	File Size	Description
Starling_Monarch_Westlake_Garten-7B-v0.1-Q8_0.gguf	Q8_0	7.69GB	Extremely high quality, generally unneeded but max available quant.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q6_K.gguf	Q6_K	5.94GB	Very high quality, near perfect, recommended.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q5_K_M.gguf	Q5_K_M	5.13GB	High quality, very usable.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q5_K_S.gguf	Q5_K_S	4.99GB	High quality, very usable.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q5_0.gguf	Q5_0	4.99GB	High quality, older format, generally not recommended.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q4_K_M.gguf	Q4_K_M	4.36GB	Good quality, similar to 4.25 bpw.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q4_K_S.gguf	Q4_K_S	4.14GB	Slightly lower quality with small space savings.
Starling_Monarch_Westlake_Garten-7B-v0.1-IQ4_NL.gguf	IQ4_NL	4.15GB	Good quality, similar to Q4_K_S, new method of quanting,
Starling_Monarch_Westlake_Garten-7B-v0.1-IQ4_XS.gguf	IQ4_XS	3.94GB	Decent quality, new method with similar performance to Q4.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q4_0.gguf	Q4_0	4.10GB	Decent quality, older format, generally not recommended.
Starling_Monarch_Westlake_Garten-7B-v0.1-IQ3_M.gguf	IQ3_M	3.28GB	Medium-low quality, new method with decent performance.
Starling_Monarch_Westlake_Garten-7B-v0.1-IQ3_S.gguf	IQ3_S	3.18GB	Lower quality, new method with decent performance, recommended over Q3 quants.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q3_K_L.gguf	Q3_K_L	3.82GB	Lower quality but usable, good for low RAM availability.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q3_K_M.gguf	Q3_K_M	3.51GB	Even lower quality.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q3_K_S.gguf	Q3_K_S	3.16GB	Low quality, not recommended.
Starling_Monarch_Westlake_Garten-7B-v0.1-Q2_K.gguf	Q2_K	2.71GB	Extremely low quality, not recommended.

Want to support my work? Visit my ko-fi page here: https://ko-fi.com/bartowski

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 08c99ea