/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
Aspire-8B-model_stock
Библиотека
transformers
Опубликована
21 ноя 2024

L3-Aspire-Heart-Matrix-8B

Генерация текстаТекст → текст7 профессий

Слитая модель семейства Llama на 8 млрд параметров для диалогов, ответов на вопросы, творческого письма и суммаризации.

38скачиваний за 30 дней4лайкавеса обновлены24 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1828

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5384

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,3247

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,4834

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4187

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3785

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ZeroXClem объединил три языковые модели примерно на 8 млрд параметров методом Model Stock Merge: Aspire-8B-model_stock, Heart_Stolen-8B-Model_Stock и CursedMatrix-8B-v9. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов; веса опубликованы в формате safetensors и точности bfloat16. Контекстное окно составляет 8192 токена.

Модель предназначена для ответов на общие вопросы, творческого письма, суммаризации длинных текстов, ролевых сценариев и решения разнообразных текстовых задач. Слияние ориентировано на сочетание универсальности, творческой генерации и сложного ролевого текста. Карточка отмечает экспериментальный характер модели, возможные предубеждения и непредсказуемое поведение, связанные с её некорректируемым происхождением. Лицензия — Apache-2.0.

Сценарии применения

  • ответы на общие вопросы
  • написание творческих текстов
  • суммаризация длинных материалов
  • ведение ролевых диалогов
  • решение текстовых задач

Ограничения

Модель экспериментальная; возможны предубеждения и непредсказуемое поведение. Рекомендуется применять фильтрацию контента.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ZeroXClem/L3-Aspire-Heart-Matrix-8B

ZeroXClem/L3-Aspire-Heart-Matrix-8B is an experimental language model crafted by merging three high-quality 8B parameter models using the Model Stock Merge method. This synthesis leverages the unique strengths of Aspire, Heart Stolen, and CursedMatrix, creating a highly versatile and robust language model for a wide array of tasks.

🌟 Model Details

  • Name: ZeroXClem/L3-Aspire-Heart-Matrix-8B
  • Base Model: Khetterman/CursedMatrix-8B-v9
  • Merge Method: Model Stock
  • Parameter Count: 8 billion
  • Precision: bfloat16

📋 Models Used in the Merge

  1. Aspire
    Creator: DreadPoor
    Known for exceptional performance across diverse tasks and benchmarks.

  2. Heart Stolen
    Creator: DreadPoor
    Renowned for its creative and empathetic prowess.

  3. CursedMatrix
    Creator: Khetterman
    Famous for its depth and complexity, particularly in creative writing and roleplay.


⚙️ Merge Configuration

models:
  - model: DreadPoor/Aspire-8B-model_stock
  - model: DreadPoor/Heart_Stolen-8B-Model_Stock
  - model: Khetterman/CursedMatrix-8B-v9
merge_method: model_stock
base_model: Khetterman/CursedMatrix-8B-v9
normalize: false
int8_mask: true
dtype: bfloat16

🌌 Model Capabilities

This powerful merger unites the best features of its components:

  • Aspire: Outstanding performance across general tasks and benchmarks.
  • Heart Stolen: Creativity and empathy at its core.
  • CursedMatrix: Mastery of complex and dynamic text generation.

The resulting model excels in:

  • 🌟 General Question Answering
  • 📝 Creative Writing
  • ✂️ Summarizing Long-Form Content
  • 🎭 Roleplay Scenarios
  • ✅ Task Completion and Problem-Solving

🛠️ Usage

This model is compatible with popular inference frameworks, including:

  • vLLM
  • LMStudio
  • Hugging Face Transformers and other major libraries.
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "ZeroXClem/L3-Aspire-Heart-Matrix-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "What are the fundamentals of python programming?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=100)
response = tokenizer.decode(output[0], skip_special_tokens=True)
print(response)

Whether you're fine-tuning for specific tasks or using it out of the box, this model is a good base for your applications.

Please give us any feedback if issues arise during inference via the discussions tab.


⚖️ Ethical Considerations

Given its uncensored origins and the potential for emergent behaviors, users should exercise caution. Be mindful of:

  • Potential biases in outputs.
  • Unexpected or unpredictable behavior in uncensored settings.

Best Practices: Implement robust content filtering and ensure responsible deployment in production environments.


🙏 Acknowledgements

A heartfelt thank-you to the creators of the original models:

Your brilliant contributions made this merge a reality.


📜 License

This model inherits the licensing terms of its base components. Please refer to the licenses of:

Ensure compliance with all licensing requirements when using this model.


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
6564c09

0 моделей