/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
32,1 ГБ
Лицензия
Llama 3.1
Архитектура
llama · dense
Базовая модель
MFANN-llama3.1-abliterated-v2
Библиотека
transformers
Опубликована
4 окт 2024

MFANNv0.22.1

Генерация текстаТекст → текст5 профессий

Экспериментальная англоязычная диалоговая модель на базе Llama 3.1 для генерации текста и рассуждений.

29скачиваний за 30 дней1лайквеса обновлены5 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0536

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,276

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3343

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4661

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3753

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3089

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MFANNv0.22.1 — экспериментальная диалоговая модель netcat420 для генерации текста и рассуждений в формате chain of thought. Это исправленный выпуск MFANNv0.22: автор сообщает, что предыдущая версия иногда уклонялась от ответа и имела проблемы с perplexity. Для этой версии применён метод слияния SLERP; модель основана на дообученной и подвергнутой абляции Llama 3.1 от mlabonne. Архитектура — плотная LlamaForCausalLM на 7,5 млрд параметров, формат весов — safetensors, контекст — до 131 072 токенов.

Модель ориентирована на диалог на английском языке и заявлена как универсальный рассуждающий помощник. Она находится в бета-версии 0.x; автор предупреждает о возможных ответах, не подходящих для всех аудиторий. Лицензия в метаданных — llama3.1.

Сценарии применения

  • ответы на вопросы в диалоге
  • генерация связных текстов на английском языке
  • пошаговое рассуждение по запросу
  • эксперименты с диалоговыми моделями

Ограничения

Модель находится в бета-версии 0.x; автор предупреждает, что ответы могут не подходить для всех аудиторий. В предыдущем выпуске наблюдались случаи уклонения от ответа и проблемы perplexity; исправления заявлены автором, но независимые результаты проверки не приведены.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

this is the bugfix release to MFANNv0.22 which had errors involving refusing to generate a response to certain questions, usually by asking you what you would like to do and ignoring your question, along with some perplexity issues. i suspect this has to do with the DARE-TIES merging i have been doing, which up until now has actually proven to work well but i guess after a good bit of iterations pass, degradation appears to show up. so for the time being im sticking to this new SLERP merging routine i have planned.

designed to be a generally intelligent chain of thought reasoner model. this model is currently still in pre release v0.x beta, and may produce responses not suitable for all audiences due to its uncensored nature.

Thank you so much to @mlabonne for creating the base model mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated for this experiment! please go show him some love too!

System prompt:

<|begin_of_text|><|start_header_id|>system<|end_header_id|> You are a helpful, respectful and honest assistant. Always answer as helpfully as possible.<|eot_id|>

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
9810814

0 моделей