/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Опубликована
15 июн 2024

RemixLlama3-8B

Генерация текстаТекст → текст11 профессий

Слитая чат-модель Llama 3 на 7,5 млрд параметров для диалоговой генерации текста с контекстом до 8192 токенов.

19скачиваний за 30 дней1лайквеса обновлены16 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RemixLlama3-8B — чат-модель для генерации текста, созданная слиянием моделей Llama 3 с помощью mergekit. В состав слияния входят RLHFlow/LLaMA3-iterative-DPO-final, failspy/Meta-Llama-3-8B-Instruct-abliterated-v3 и TIGER-Lab/MAmmoTH2-8B-Plus; в конфигурации указаны метод model_stock и точность bfloat16. Архитектура — плотная автрорегрессионная LlamaForCausalLM с 7,5 млрд параметров и контекстом 8192 токена.

Модель предназначена для диалогов и генерации ответов на текстовые запросы. Базовая модель с изменёнными весами ориентирована на снижение склонности к отказам, а компоненты слияния включают модель, обученную методом DPO, и модель MAmmoTH2. Репозиторий использует формат safetensors. Указанная лицензия — llama3.

Сценарии применения

  • ответы на вопросы в текстовом чате
  • составление и переформулирование текстов
  • генерация продолжений по текстовой подсказке

Ограничения

В README и метаданных не перечислены поддерживаемые естественные языки. Контекст ограничен 8192 токенами; данных о качестве и оценках модели нет.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RemixLlama3-8B

RemixLlama3-8B is a merge of the following models using mergekit:

GGUF: https://huggingface.co/mradermacher/RemixLlama3-8B-GGUF

🧩 Configuration

models:
  - model: RLHFlow/LLaMA3-iterative-DPO-final
  - model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
  - model: TIGER-Lab/MAmmoTH2-8B-Plus
merge_method: model_stock
base_model: failspy/Meta-Llama-3-8B-Instruct-abliterated-v3
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
7756259

0 моделей