Характеристики

Контекст: 200 000 токенов
Параметры: 33,9 млрд
Размер весов: 68,8 ГБ
Лицензия: Apache 2.0
Архитектура: llama · dense
Опубликована: 14 июл 2024

Ссылки

Hugging Face

RP-Stew-v4.0-34B

ParasiticRogue

Генерация текстаТекст → текст3 профессии

Экспериментальная слитая модель Llama на 34 млрд параметров для генерации текста и ролевых диалогов.

29скачиваний за 30 дней10лайковвеса обновлены3 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RP-Stew-v4.0-34B — экспериментальная слитая модель для генерации текста и ролевых диалогов. Её собрал автор ParasiticRogue; архитектура — плотная Llama, около 33,9 млрд параметров. В README модель описана как тестовое слияние, призванное расширить возможности Stew; автор отмечает обнадёживающие результаты кратких тестов по сравнению с v3. Рекомендуемый формат общения — Chat-Vicuna-1.1.

В слияние вошли Bagel-dpo-34b-v0.5, Nous-Capybara-34B-V1.9, Nyakura-CausalLM-RP-34B, Tess-2.0-Yi-34B-200K и Toxic-PiVoT-RP-34B. Метаданные указывают контекст до 200 000 токенов и формат Safetensors. Лицензия — Apache-2.0. README сообщает, что для этой версии пока требуется включить trust_remote_code; качество автор оценивал лишь в кратких тестах, поэтому оно не подтверждено широкими испытаниями.

Сценарии применения

ведение ролевого диалога по заданному системному промпту
генерация художественных сцен и продолжений текста
создание ответов в формате Chat-Vicuna-1.1

Ограничения

Автор характеризует модель как экспериментальную; оценки основаны на кратких тестах. Для этой версии требуется включить trust_remote_code.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RP-Stew-v4.0-34B

exl2 quant:

https://huggingface.co/ParasiticRogue/RP-Stew-v4.0-34B-exl2-4.65

An (as of right now) experimental/testing merge to try and increase Stew's capabilities, but with some slight alterations in models used, and this one actually seems to show a bit more promise than v3 with the brief tests done so far.

trust-remote-code must be turned on for this version still due to the base model being Capybara, but I'll look into fixing this later if it performs comparably to v2 or better during further testing.

Settings

Temperature @ 0.95

Min-P @ 0.1

Smoothing Factor @ 0.3

DRY Multiplier (plus standard DRY settings) @ 0.8

Skip Special Tokens @ On

Everything else @ Off

Prompt Format: Chat-Vicuna-1.1

SYSTEM: {system_prompt}<|end|>
USER: {prompt}<|end|>
ASSISTANT: {output}<|end|>

Models Merged

The following models were included in the merge:

https://huggingface.co/NousResearch/Nous-Capybara-34B

https://huggingface.co/migtissera/Tess-2.0-Yi-34B-200K

https://huggingface.co/jondurbin/bagel-dpo-34b-v0.5

https://huggingface.co/maywell/PiVoT-SUS-RP

https://huggingface.co/Sao10K/NyakuraV2-34B-Yi-Llama

https://huggingface.co/NeverSleep/CausalLM-RP-34B

https://huggingface.co/adamo1139/Yi-34b-200K-AEZAKMI-RAW-TOXIC-2702

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Квантизация exl2 не поддерживается ни рантаймом, ни vLLM.

Класс архитектуры: LlamaForCausalLM
Ревизия весов: a697bfc