Характеристики

Лицензия: CC BY-NC 4.0
Базовая модель: Neural-SOVLish-Devil-8B-L3
Библиотека: transformers
Опубликована: 3 июн 2024

Ссылки

Hugging Face arXiv 2403.19522

Neural-SOVLish-Devil-8B-L3-GGUF

Генерация текстаТекст → текст5 профессий

QuantFactory/Neural-SOVLish-Devil-8B-L3-GGUF — квантованная версия модели saishf/Neural-SOVLish-Devil-8B-L3, созданная с помощью llama.cpp.

226скачиваний за 30 дней0лайковвеса обновлены4 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель семейства Llama 3 размером около 8 млрд параметров, собранная методом Model Stock на базе mlabonne/NeuralDaredevil-8B-abliterated с использованием компонентов BlueMoon_Llama3, Smarts_Llama3, Luna_Llama3, Aura_Llama3 и RP_Format_QuoteAsterisk_Llama3. При слиянии использовался формат bfloat16 до последующей конвертации в GGUF.

Модель предназначена для генерации текста, ролевых сценариев и диалогов, а также для общего следования инструкциям. По описанию разработчика, дополнительное обучение NeuralDaredevil должно улучшать качество по сравнению с исходной abliterated-моделью, сохраняя более готовое выполнение широкого спектра запросов. В README приведены результаты Open LLM Leaderboard: 69,11% на ARC-Challenge, 84,77% на HellaSwag, 69,02% на MMLU, 59,05% на TruthfulQA, 78,3% на Winogrande и 73,09% на GSM8K.

Ключевые ограничения — отсутствие в README точных сведений о вариантах квантования, длине контекста, поддерживаемых языках и мультимодальности. Поскольку модель основана на abliterated-компоненте, её защитные ограничения могут быть ослаблены, поэтому результаты и безопасность следует проверять перед использованием. Указанная лицензия — CC BY-NC 4.0, допускающая использование с обязательным указанием авторства, но не для коммерческих целей.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

I.11Классификация, ранжирование и сопоставление

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory/Neural-SOVLish-Devil-8B-L3-GGUF

This is quantized evrsion of saishf/Neural-SOVLish-Devil-8B-L3 created using llama.cpp

Model Description

This is another "SOVL" style merge, this time using mlabonne/NeuralDaredevil-8B-abliterated.

Daredevil is the first abliterated model series i've tried that feels as smart as base llama-3-instruct while also being willing to give instructions to do all kinda of illegal things

Neural daredevil is trained further on the original abliterated model, which should result in a better experience in most scenarios. (A bandaid for the damage abliteration causes)

This model should do well in rp, I'm yet to test it (waiting for gguf files @_@)

Merge Method

This model was merged using the Model Stock merge method using mlabonne/NeuralDaredevil-8B-abliterated as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: mlabonne/NeuralDaredevil-8B-abliterated+ResplendentAI/Aura_Llama3
  - model: mlabonne/NeuralDaredevil-8B-abliterated+ResplendentAI/Smarts_Llama3
  - model: mlabonne/NeuralDaredevil-8B-abliterated+ResplendentAI/Luna_Llama3
  - model: mlabonne/NeuralDaredevil-8B-abliterated+ResplendentAI/BlueMoon_Llama3
  - model: mlabonne/NeuralDaredevil-8B-abliterated+ResplendentAI/RP_Format_QuoteAsterisk_Llama3
merge_method: model_stock
base_model: mlabonne/NeuralDaredevil-8B-abliterated
dtype: bfloat16

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Avg.	72.22
AI2 Reasoning Challenge (25-Shot)	69.11
HellaSwag (10-Shot)	84.77
MMLU (5-Shot)	69.02
TruthfulQA (0-shot)	59.05
Winogrande (5-shot)	78.30
GSM8k (5-shot)	73.09

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 64f77f7