Характеристики

Контекст: 4 096 токенов
Параметры: 27,4 млрд
Размер весов: 55,2 ГБ
Архитектура: llama · dense
Базовая модель: PsyMedRP-v1-20B
Библиотека: transformers
Опубликована: 11 дек 2024

Ссылки

Hugging Face

SpaceGnome-V1

Elfrino

Генерация текстаТекст → текст

Объединённая 27,4-миллиардная модель на архитектуре Llama для генерации текста с контекстом до 4096 токенов.

18скачиваний за 30 дней0лайковвеса обновлены11 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Elfrino/SpaceGnome-V1 — объединённая текстовая модель автора Elfrino, созданная методом passthrough с помощью mergekit из Undi95/PsyMedRP-v1-20B и Undi95/MXLewd-L2-20B. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит 27,4 млрд параметров и работает с контекстом до 4096 токенов.

Модель предназначена для генерации текста. Карточка сообщает о тестировании, но не описывает конкретные сценарии, языки или специальные возможности. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

генерация продолжения текста
создание черновиков и ответов в текстовом чате
эксперименты с объединённой языковой моделью

Ограничения

README помечает модель как находящуюся в тестировании; качество и конкретные сценарии применения не описаны. Контекст ограничен 4096 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

More buffer for the start and end layers (20 non duplicated as apposed to 10)

In testing......

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

#--DUAL MODEL MERGE SETUP---

# More buffer for the start and end layers (20 non duplicated as apposed to 10)
# Merging two faves Undi95/PsyMedRP-v1-20B and Undi95/PsyMedRP-v1-20B



# The models we are going to use.
const_tag: &BASE_MODEL Undi95/PsyMedRP-v1-20B
const_tag: &MODEL1 Undi95/MXLewd-L2-20B
const_tag: &MODEL2 Undi95/PsyMedRP-v1-20B

# The amount to scale the contribution to the residual stream (to hopefully reduce overshoot).
const_tag: &RESIDUAL_SCALE_FACTOR 0.71 # back to 0.7

model1-filter-env: &MODEL1_FILTER_ENV
  parameters:
    scale:
      - filter: down_proj
        value: *RESIDUAL_SCALE_FACTOR
      - value: 1.0

model2-filter-env: &MODEL2_FILTER_ENV
  parameters:
    scale:
      - filter: down_proj
        value: *RESIDUAL_SCALE_FACTOR
      - value: 1.0

slices:

  # The first 20 layers are not duplicated.
  - sources:
    - model: *BASE_MODEL
      layer_range: [0, 20]

  - sources:
    - model: *MODEL1
      layer_range: [20, 21]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [20, 21]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [21, 22]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [21, 22]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [22, 23]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [22, 23]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [23, 24]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [23, 24]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [24, 25]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [24, 25]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [25, 26]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [25, 26]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [26, 27]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [26, 27]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [27, 28]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [27, 28]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [28, 29]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [28, 29]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [29, 30]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [29, 30]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [30, 31]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [30, 31]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [31, 32]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [31, 32]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [32, 33]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [32, 33]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [33, 34]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [33, 34]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [34, 35]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [34, 35]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [35, 36]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [35, 36]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [36, 37]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [36, 37]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [37, 38]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [37, 38]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [38, 39]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [38, 39]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [39, 40]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [39, 40]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [40, 41]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [40, 41]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [41, 42]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [41, 42]
      <<: *MODEL2_FILTER_ENV
  - sources:
    - model: *MODEL1
      layer_range: [42, 43]
      <<: *MODEL1_FILTER_ENV
  - sources:
    - model: *MODEL2
      layer_range: [42, 43]
      <<: *MODEL2_FILTER_ENV
  

# The last 20 layers are not duplicated.
  - sources:
    - model: *BASE_MODEL
      layer_range: [42, 62]

merge_method: passthrough
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: a326a5b