Характеристики

Контекст: 8 192 токена
Параметры: 8,2 млрд
Лицензия: Apache 2.0
Архитектура: gemma · dense
Опубликована: 11 мар 2024

Ссылки

Gemma-Openchat-SauerkrautLM

Генерация текстаТекст → текст

Диалоговая модель на основе Gemma, объединяющая OpenChat и SauerkrautLM для генерации ответов и выполнения текстовых задач.

100скачиваний за 30 дней0лайковвеса обновлены11 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arcee-ai/Gemma-Openchat-SauerkrautLM — диалоговая языковая модель, созданная слиянием моделей openchat/openchat-3.5-0106-gemma и VAGOsolutions/SauerkrautLM-Gemma-7b с помощью mergekit и метода slerp. Она основана на архитектуре Gemma с плотной сетью и предназначена для генерации текста в диалоге, включая ответы на запросы и выполнение текстовых задач. Модель содержит 8,2 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Репозиторий предоставляет веса в формате Safetensors.

Модель подходит для диалоговых помощников и генерации ответов на русском и других языках, поддерживаемых исходными моделями. Лицензия — Apache-2.0. README не сообщает результаты оценки качества или специальных ограничений применения; поведение и языковой охват зависят от объединённых моделей.

Сценарии применения

создание диалогового помощника
генерация ответов на пользовательские вопросы
написание и продолжение текста
выполнение текстовых инструкций

Ограничения

В README не приведены результаты оценки качества или сведения о специальных ограничениях. Поддерживаемые языки явно не перечислены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Legal-Saul-Multiverse

Legal-Saul-Multiverse is a merge of the following models using mergekit:

🧩 Configuration

  slices:
    - sources:
        - model: openchat/openchat-3.5-0106-gemma
          layer_range: [0, 28]
        - model: VAGOsolutions/SauerkrautLM-Gemma-7b
          layer_range: [0, 28]
  merge_method: slerp
  base_model: openchat/openchat-3.5-0106-gemma
  parameters:
    t:
      - filter: self_attn
        value: [0, 0.5, 0.3, 0.7, 1]
      - filter: mlp
        value: [1, 0.5, 0.7, 0.3, 0]
      - value: 0.5
  dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GemmaForCausalLM
Ревизия весов: 9941d39