/ Модель

Характеристики

Лицензия
Своя лицензия
Опубликована
5 авг 2024

Llama-3-Instruct-8B-SPPO-Iter3-imatrix-GGUF

Генерация текстаТекст → текст8 профессий

duyntnet/Llama-3-Instruct-8B-SPPO-Iter3-imatrix-GGUF — набор GGUF-квантизаций модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3.

812скачиваний за 30 дней0лайковвеса обновлены5 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Базовая модель построена на архитектуре Meta Llama 3 8B Instruct и дообучена с применением метода Self-Play Preference Optimization (SPPO), итерация 3. В README также указано, что использовались синтетические ответы и наборы промптов из UltraFeedback, разделённые на три части с помощью Snorkel-Mistral-PairRM-DPO-Dataset.

Модель предназначена для генерации текста и преимущественно ориентирована на английский язык. Она содержит около 8 миллиардов параметров и представлена в формате GGUF с imatrix-квантизациями, что делает её пригодной для локального запуска через llama.cpp и совместимые интерфейсы, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. README не сообщает размер контекстного окна, точные варианты квантизации или характеристики производительности.

Основные сильные стороны модели — инструкционное дообучение, ориентация на английские NLP-задачи и возможность локального использования в различных клиентах. Ограничения включают преимущественно англоязычную специализацию, отсутствие данных о поддерживаемых модальностях кроме текста и недостаток сведений о качестве, безопасности и производительности. В метаданных репозитория указана лицензия other, а в описании исходной модели — Apache-2.0; применимые условия следует уточнять для конкретной квантизации и исходной модели.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quantizations of https://huggingface.co/UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3

Inference Clients/UIs


From original readme

This model was developed using Self-Play Preference Optimization at iteration 3, based on the meta-llama/Meta-Llama-3-8B-Instruct architecture as starting point. We utilized the prompt sets from the openbmb/UltraFeedback dataset, splited to 3 parts for 3 iterations by snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset. All responses used are synthetic.

Model Description

  • Model type: A 8B parameter GPT-like model fine-tuned on synthetic datasets.
  • Language(s) (NLP): Primarily English
  • License: Apache-2.0
  • Finetuned from model: meta-llama/Meta-Llama-3-8B-Instruct

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
0ed5995

0 моделей