/ Модель

Характеристики

Контекст
131 072 токена
Параметры
3,2 млрд
Размер весов
7,2 ГБ
Архитектура
llama · dense
Базовая модель
Llama-3.2-3B-Sci-Think
Библиотека
transformers
Опубликована
25 окт 2024

Llama-3.2-3B-ProdigyPlus

Генерация текстаТекст → текст7 профессий

Объединённая диалоговая модель Llama на 3,2 млрд параметров для следования инструкциям, ролевого общения, творческого письма и базовой помощи с кодом.

29скачиваний за 30 дней2лайкавеса обновлены26 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,2817

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,358

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2685

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1156

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,4015

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4392

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Llama-3.2-3B-ProdigyPlus — диалоговая языковая модель на базе архитектуры Llama, созданная bunnycore объединением нескольких моделей с помощью TIES и mergekit. В объединение вошли модели для научных рассуждений, длинных рассуждений, программирования, ролевого общения и следования инструкциям; в качестве основы README указывает huihui-ai/Llama-3.2-3B-Instruct-abliterated. Число параметров — 3,2 млрд, контекст — до 131 072 токенов; модель работает с текстом и распространяется в формате safetensors.

Модель предназначена для диалогов по инструкциям, ролевых сценариев, творческого письма и помощи с базовыми задачами программирования. README также заявляет способности к научным и протяжённым рассуждениям через включённые компоненты с такими специализациями, но не приводит оценок качества. По метаданным поддерживается генерация текста и чат; отдельные языки не указаны. Лицензия в предоставленных данных не приведена.

Сценарии применения

  • ответы на запросы, заданные естественным языком
  • ролевые диалоги с заданной персоной
  • написание стихов, сценариев и писем
  • помощь с базовой генерацией и разбором кода
  • обсуждение научных вопросов и задачи на рассуждение

Ограничения

Помощь с программированием описана как ограниченная; README не содержит количественных оценок качества. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Llama-3.2-3B-ProdigyPlus is a fine-tuned version of the original Llama-3.2-3B model. It has been trained on a diverse range of datasets to enhance its capabilities in several areas, including:

  • Instruction Following: The model is adept at understanding and completing a wide array of tasks when given clear instructions.
  • Roleplay: It can take on different personas and engage in creative role-playing scenarios.
  • Creative Writing: The model can generate creative text formats like poems, scripts, musical pieces, email, letters, etc.
  • Coding: While limited, the model can assist with basic coding tasks and code generation.

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the TIES merge method using huihui-ai/Llama-3.2-3B-Instruct-abliterated as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: bunnycore/Llama-3.2-3B-Sci-Think
    parameters:
      density: 0.5
      weight: 0.5
  - model: bunnycore/Llama-3.2-3B-CodeReactor
    parameters:
      density: 0.5
      weight: 0.5
  - model: bunnycore/Llama-3.2-3B-Long-Think
    parameters:
      density: 0.5
      weight: 0.5
  - model: bunnycore/Llama-3.2-3B-Pure-RP
    parameters:
      density: 0.5
      weight: 0.5
  - model: bunnycore/Llama-3.2-3B-Prodigy
    parameters:
      density: 0.5
      weight: 0.5

merge_method: ties
base_model: huihui-ai/Llama-3.2-3B-Instruct-abliterated
parameters:
  normalize: false
  int8_mask: true
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
343720e

0 моделей