/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
2,7 млрд
Размер весов
5,2 ГБ
Лицензия
Своя лицензия
Архитектура
gemma2 · dense
Опубликована
3 авг 2024

Ссылки

Hugging Face

Gemmasutra-Mini-2B-v1

TheDrummer
Генерация текстаТекст → текст3 профессии

Компактная дообученная на Gemma 2 диалоговая модель для локальных ролевых игр и RP-сценариев.

80скачиваний за 30 дней81лайквеса обновлены27 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,3575

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,349

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,271

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0378

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,2055

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,2549

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gemmasutra Mini 2B v1 — компактная диалоговая модель для ролевых игр, созданная командой BeaverAI на основе Gemma 2 и дообученная для RP-сценариев. Она рассчитана на локальный запуск в Kobold, браузере, на маломощном компьютере, Raspberry Pi и мобильных устройствах через Layla. Модель содержит 2,7 млрд параметров, использует архитектуру Gemma 2 и поддерживает контекст до 8192 токенов.

Модель ориентирована на ролевые диалоги и заявлена разработчиками как uncensored и unaligned. Для работы рекомендуется шаблон Gemma Instruct с поддержкой роли system; также подходит формат Chat Completion. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Разработчики не рекомендуют использовать модель для математических задач. Это небольшая модель, поэтому качество и связность ответов могут уступать более крупным моделям; подтверждённых оценок качества в карточке нет.

Сценарии применения

  • ведение ролевого диалога с персонажем
  • совместное текстовое повествование
  • локальный RP-чат на смартфоне
  • ролевая игра на маломощном компьютере
  • чат с персонажами в Kobold

Ограничения

Разработчики не рекомендуют использовать модель для математических задач. Карточка не содержит результатов оценки качества; условия лицензии с пометкой other не раскрыты.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Join our Discord! https://discord.gg/Nbv9pQ88Xb

Works on Kobold 1.72 and Layla (iOS / Android)

image/png

BeaverAI team proudly presents

Gemmasutra Mini 2B v1 🧘

Gemma's been training for ALL of you.

image/webp

A tiny RP model packing an unbelievable PUNCH. Finetuned by yours truly.

Description

Gone are the days when models below 7B were too small to give you a satisfying RP experience.

Gemmasutra Mini 2B v1 marks the beginning of a new chapter in our local LLM community.

Be it in your browser, your crappy laptop, your mid-tier phone running Layla, or your Raspberry Pi...

This lil 2B will give you a playthrough worth having.

A model for thee, a model for all!

(And yes, it is uncensored and unaligned. Enjoy!)

Links

Usage

  • For the best experience, use the Gemma Instruct template and modify it to support the system role (e.g., <start_of_turn>system)
  • Chat Completion works well too
  • Don't use it for Math

Examples

A big thanks to @kurgan1138 for most of the logs!

SFW

image/png

image/png

image/png

image/png

4K context

image/png

image/png

NSFW NSFW NSFW NSFW NSFW

NSFW NSFW NSFW NSFW NSFW

NSFW NSFW NSFW NSFW NSFW

image/png

image/png

image/png

Forgiveness Meter

image/png

Group Character

image/png

image/png

image/png

image/png

image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Gemma2ForCausalLM
Ревизия весов
c1db4c8

0 моделей

    Создать бенчмарк