/ Модель

Характеристики

Контекст
65 536 токенов
Параметры
14,5 млрд
Размер весов
30 ГБ
Архитектура
llama · dense
Библиотека
transformers
Опубликована
13 окт 2024

Moonlight-L3-15B-v2-64k

Генерация текстаТекст → текст3 профессии

Диалоговая модель Llama 3 на 14,5 млрд параметров для длинных творческих и ролевых бесед с контекстом до 65 536 токенов.

26скачиваний за 30 дней8лайковвеса обновлены16 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Moonlight-L3-15B-v2-64k — диалоговая модель на архитектуре Llama 3, созданная автором Darkknight535 путём дообучения Ttimofeyka/Llama-3-15B-64k-Instruct на наборах данных для ролевых диалогов и контента для взрослых. Модель предназначена для творческого письма и ролевых сценариев: она может вести диалог от лица персонажей, включая NPC, и поддерживает длинный контекст до 65 536 токенов.

Модель содержит 14,5 млрд параметров и рассчитана на генерацию текста. Автор отмечает следование подсказкам, связность ответов, суммаризацию и создание промптов для изображений как сильные стороны. В README также указано, что версия v2 имеет проблемы, которые автор пытался исправить в v2.5; поэтому заявления о качестве следует считать субъективными, а отсутствие галлюцинаций не гарантировано. Репозиторий помечен как неподходящий для всех аудиторий. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • ролевые диалоги с персонажами и NPC
  • генерация творческих историй и сцен
  • продолжение диалога с длинным контекстом
  • суммаризация текста
  • создание текстовых промптов для генерации изображений

Ограничения

Автор сообщает о проблемах версии v2 и предлагает попробовать v2.5; заявления о связности и отсутствии галлюцинаций не являются независимой оценкой. Репозиторий помечен как неподходящий для всех аудиторий; лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MoonLight-L3-15B-V2-64K

Try v2.5 version. Attempt to fix some issues v2 has. (Feedback needed)


Waifu

  • Enhancements:
    • Fine-tuning: The model has undergone fine-tuning on different RP datasheets and some dark nsfw datasheets.
    • 64K context: Finetuned on Ttimofeyka/Llama-3-15B-64k-Instruct

Instruct Template

Default llama3 instruct and context preset, but here is the one i use. Instruct Context

Samplers

Creative

Temp : 1.2
Min P : 0.01

Repetition Penalty : 1.05
OR
Dry 0.7, 1.75, 2,0
XTC 0.1, 0.5

[And everything else neutral]

Normal(Precise)

Temp : 0.6 - 0.8
Min P : 0.1

Repetition Penalty : 1.1
OR
Dry 1, 1.75, 2,0
XTC 0.1, 0.2

[And everything else neutral]

Features

  • Supports 64k (finetuned on a 32k datasheet, but used Ttimofeyka/Llama-3-15B-64k-Instruct as base on finetuning).
  • Automatically speaks as other NPCs.
  • Creative output (like the OpenCrystal 12B but more coherent).
  • Coherent responses (actually having 15B model logic).
  • Output feels similar to using Character.ai.
  • Improved adherence to prompts.
  • No hallucinations (15B).
  • Capable of summarizing and generating image prompts well (The above image's prompt was generated in a roleplay by this model; possible due to the Llama-3-instruct base).

System Prompt

Develop the plot slowly, always stay in character. Describe all actions in full, elaborate, explicit, graphic, and vivid detail. Mention all relevant sensory perceptions. Keep the story immersive and engaging. Speak as other person when needed and prefix with the name of person you're speaking as except {{user}}.

FeedBack

FeedBack here

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
bf8b84c

0 моделей