Характеристики

Контекст: 4 096 токенов
Параметры: 33,2 млрд
Размер весов: 66,6 ГБ
Архитектура: llama · dense
Базовая модель: PsyMedRP-v1-20B
Библиотека: transformers
Опубликована: 1 окт 2024

Ссылки

HarmonicHarlequin_v5-20B

Генерация текстаТекст → текст3 профессии

Текстовая модель Llama на 33,2 млрд параметров для генерации текста и ролевых диалогов, полученная слиянием на основе PsyMedRP-v1-20B.

26скачиваний за 30 дней1лайквеса обновлены6 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HarmonicHarlequin_v5-20B — текстовая модель семейства Llama, опубликованная Elfrino. Это пятая версия модели, созданная с помощью mergekit методом passthrough на основе Undi95/PsyMedRP-v1-20B. В метаданных указан размер 33,2 млрд параметров; модель использует архитектуру LlamaForCausalLM и формат safetensors.

Модель предназначена для генерации текста и ролевых диалогов; название базовой модели указывает на психологические и медицинские сценарии, однако README не описывает их отдельно. В карточке заявлена длина контекста 4096 токенов и приведены настройки для KoboldCPP с шаблоном Alpaca. Автор считает эту версию более связной, но отмечает, что её качество и творческие способности ещё нужно проверить.

Лицензия в доступных данных не указана.

Сценарии применения

генерация ролевых диалогов
создание художественных сцен и продолжений текста
диалоговые сценарии на психологические темы
диалоговые сценарии на медицинские темы

Ограничения

Автор отмечает, что качество и творческие способности этой версии ещё требуют проверки. Контекст ограничен 4096 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Warning: Cute Harlequin Gal inside!

*NOTES: Oops, it's actually a 33B

The 5th iteration of Harmonic Harlequin and seems the most coherent and lucid of the lot (early days though), need to test for creativity, might be a solid model, fingers crossed..

RECOMMENDED SETTINGS:

(based on KoboldCPP):

Preset: Mayday

Temperature - 1.3

Max Ctx. Tokens - 4096

Top p Sampling - 0.99

Repetition Penalty - 1.1

Amount to Gen. - 280

New findings:

around 47 layers offloaded to GPU

Smartcontext enabled

Custom RoPe Config enabled (but left as default)

Prompt template: Alpaca

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

Undi95/PsyMedRP-v1-20B

Configuration

The following YAML configuration was used to produce this model:

# The amount to attenuate the Q and K matrices of the *FIRST COPY* of each layer.
# NOTE: This scales the score matrix values by QK_ATTENUATION_FACTOR^2 (eg: sqrt(1/2)^2 = 1/2).
const_tag: &QK_ATTENUATION_FACTOR 0.84  # ≈ sqrt(1/2) <- This was changed, v4 was 0.7071067812 )

# The amount to scale the contribution to the residual stream (to hopefully reduce overshoot).
const_tag: &RESIDUAL_SCALE_FACTOR 0.71  # ≈ sqrt(1/2) <- This was changed, v4 was 0.7071067812 )

# Make the first copy *ONLY* take a more "bird's eye view" (ie: pay attention to more of the context).
model1-filter-env: &MODEL1_FILTER_ENV
  parameters:
    scale:
      - filter: q_proj
        value: *QK_ATTENUATION_FACTOR
      - filter: k_proj
        value: *QK_ATTENUATION_FACTOR
      - filter: down_proj
        value: *RESIDUAL_SCALE_FACTOR
      - value: 1.0

# Make the scond copy pay attention to the context as before.
model2-filter-env: &MODEL2_FILTER_ENV
  parameters:
    scale:
      - filter: down_proj
        value: *RESIDUAL_SCALE_FACTOR
      - value: 1.0

slices:

  # The first 10 layers are not duplicated.
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [0, 10]
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [10, 11]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [10, 11]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [11, 12]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [11, 12]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [12, 13]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [12, 13]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [13, 14]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [13, 14]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [14, 15]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [14, 15]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [15, 16]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [15, 16]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [16, 17]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [16, 17]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [17, 18]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [17, 18]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [18, 19]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [18, 19]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [19, 20]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [19, 20]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [20, 21]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [20, 21]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [21, 22]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [21, 22]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [22, 23]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [22, 23]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [23, 24]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [23, 24]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [24, 25]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [24, 25]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [25, 26]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [25, 26]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [26, 27]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [26, 27]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [27, 28]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [27, 28]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [28, 29]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [28, 29]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [29, 30]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [29, 30]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [30, 31]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [30, 31]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [31, 32]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [31, 32]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [32, 33]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [32, 33]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [33, 34]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [33, 34]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [34, 35]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [34, 35]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [35, 36]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [35, 36]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [36, 37]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [36, 37]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [37, 38]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [37, 38]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [38, 39]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [38, 39]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [39, 40]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [39, 40]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [40, 41]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [40, 41]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [41, 42]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [41, 42]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [42, 43]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [42, 43]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [43, 44]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [43, 44]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [44, 45]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [44, 45]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [45, 46]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [45, 46]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [46, 47]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [46, 47]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [47, 48]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [47, 48]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [48, 49]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [48, 49]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [49, 50]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [49, 50]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [50, 51]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [50, 51]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [51, 52]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: Undi95/PsyMedRP-v1-20B
      layer_range: [51, 52]
      <<: *MODEL2_FILTER_ENV
   
  # The last 10 layers are not duplicated.
  - sources:
    - model:  Undi95/PsyMedRP-v1-20B
      layer_range: [52, 62]

merge_method: passthrough
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 0798fc0