/ Модель

Характеристики

Контекст
131 072 токена
Параметры
11 млрд
Размер весов
23 ГБ
Архитектура
llama · dense
Библиотека
transformers
Опубликована
28 авг 2024

OpenCrystal-12B-L3.1-128K

Генерация текстаТекст → текст3 профессии

Слитая разговорная модель Llama на 11 млрд параметров для творческого письма, ролевых диалогов, суммаризации и создания промптов изображений.

25скачиваний за 30 дней3лайкавеса обновлены29 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OpenCrystal-12B-L3.1 (128K) — слитая с помощью mergekit разговорная языковая модель на архитектуре Llama, опубликованная Darkknight535. В метаданных указаны 11 млрд параметров и контекст до 131 072 токенов; модель распространяется в формате safetensors и рассчитана на генерацию текста в диалоге.

Модель предназначена для творческого письма и ролевых диалогов, а также для суммаризации и подготовки промптов для изображений. Автор отмечает, что модель ещё не тестировалась, поэтому её качество и работа с длинным контекстом не подтверждены. В карточке не указаны поддерживаемые языки и лицензия; метаданные отмечают, что модель не предназначена для всех аудиторий.

Сценарии применения

  • ролевые диалоги с персонажами и NPC
  • творческое письмо и генерация историй
  • суммаризация текста
  • составление промптов для генерации изображений

Ограничения

Автор сообщает, что модель ещё не тестировалась, поэтому её качество не подтверждено. Метаданные помечают её как не предназначенную для всех аудиторий; поддерживаемые языки и лицензия не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OpenCrystal-12B-L3.1 (128K)

This is a merge of pre-trained language models created using mergekit.

Rohma

NOTE

I've not tested this model yet, it's just a 128K (llama 3.1) variant of OpenCrystal-12B-L3, so do provide feedback.

FeedBack

FeedBack here

Instruct Template

Default llama3 instruct and context preset, but here is the one i use. Instruct Context

Samplers

Creative

Temp : 1.23
Min P : 0.05
Repetition Penalty : 1.05

[And everything else neutral]

Normal

Temp : 0.8
Min P : 0.1
Repetition Penalty : 1.1

[And everything else neutral]

Pro Tip

  • You can uncheck Include Names option in sillytavern, to force it to speak as others dynamically. Not Recommended

Features

  • Can speak as other npc automatically.
  • Creative
  • Coherent (Sometime gets horny)
  • (it's llama 3.1 so you know, not good as llama 3)
  • can summarize and generate image prompts well.

Instruct Prompt

You're {{char}}, follow {{char}} personality and plot of the story, Don't impersonate as {{user}}, Speak as others NPC except {{user}} when needed. Be Creative, Create various interesting events and situations during the story.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
62461f8

0 моделей