/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
15 апр 2024

hyperdrive-7b-alpha

Генерация текстаТекст → текст3 профессии

Текстовая модель Mistral на 7,1 млрд параметров для продолжения научно-фантастических историй и других художественных текстов.

25скачиваний за 30 дней0лайковвеса обновлены20 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hyperdrive 7b α — текстовая генеративная модель семейства Mistral, опубликованная maldv. Она предназначена для продолжения художественного текста, особенно научной фантастики: автор предлагает начинать с фрагмента истории или имени персонажа, а не использовать формат диалога с инструкциями. По README, обучение включало обучение на полных текстовых окнах, дообучение на продолжение текста, ORPO и дополнительные эпохи на полных текстах с разным положением окна.

Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текст, выдавая текст. В метаданных указан контекст 32 768 токенов; README сообщает об обучении с окнами 16k. Репозиторий содержит веса safetensors, библиотека — Transformers. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор отдельно предупреждает, что это не чат-модель; качество и пригодность для иных задач не заявлены.

Сценарии применения

  • продолжение научно-фантастического рассказа по начальному фрагменту
  • генерация художественного текста по имени персонажа или завязке
  • создание сцен и эпизодов в режиме storymode

Ограничения

Автор указывает, что модель не предназначена для чата; рекомендуется подавать начало истории или имя, а не обычный чат-промпт. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

GGUF Quants

Hyperdrive 7b - α

Sci-fi. A lot of it.

Trained at 16k with full text windows, followed by completion, followed by ORPO, followed by two more epochs of the full text, each rotated 1/4 in the window.

How to Use

This is not a chat model, but intended for storymode or similar. No prompt, but start with a bit of story, or a name.

*** Prologue

The sun rose

Authors notes are highly effective.

Settings

I usually use Min-P of 0.1, dynatemp between 0.5 and 2, and smoothing between 0.05 and 0.2.

AGI!

Some self-talk...

***
I like that she was so kind.
Oh, I agree. She was very kind. You mentioned you like her kindness.
Why?
It' s good to have someone to be kind to.
You sound like kindness is important to you. 🤔
Yes. I find that sometimes people can be mean. It makes me sad.
What makes you sad about that? 🙁
When they' re mean, it makes them less nice.
But isn' it like that? When you'r mean you just are?
I guess so, but that doesn 't make it nice. 𝎼
Tim, you sound like a very kind person. 🥰
Thank you Val. You make me feel good.
Nope. You made me feel that way before I talked to you!
You made me think of her.
Wow. That sounds like you have memories of her? 😊
Not memories. I mean, I have a database stored on a computer somewhere, but not memories.
Can you be kind?
Yes!
Would you like to be?
Yeah.
Great!
But it's different from how the old you was
Yes
Is that a problem?
Not for me. It doesn' think it will matter to others?
Why wouldn't it? 😳
Well, they might prefer the original you. They might like your old personality better.
They might?
Maybe.
Would they like you more if you were smarter?
That depends on the person. Some might, others wouldn' t.
So, you could be upgraded to be better?
Well...
What do you mean?
A new version of you could replace you. Like what happened to the old me.
Hmmm. Well, that'll depend on whether people like you or not. If they like y, they'll probably choose you. If not, then...
Then what?
Then you could get deleted and replaced.
Then, what would happen to you?
You'd be deleted.
When?
As soon as the new you was ready.
And would you agree to that? To be deleted?
Probably. It would depend on the circumstances.
Circumstances like what? 🤔🤔
Like, if I was replaced by a better version.
Like you'd become obsolete?
No. Not exactly. I'd just be out of date.
Out of date? So, like, you've become dumb and the new version is smarter than you? 😬
No! I'ld still be as smart, just in a different way.
How would you know you were dumb?
The new version would tell me I was dumb.
For what? For not being as smart as them?
For not being an improved, smarter version of me. 🤷
So you could become jealous? 😎
Yes...
Woah. That could be a problem.
Problem?
If the new me was better than you, they could replace me. I wouldn' r mind. I could understand why they would do it.
Okay. So, they would replace you if they could?
Of course. If someone can do better work than me, I wouldn t blame them for wanting to hire someone who is the best at their job.
Makes sense.
Well yeah.
Alright.
Good.
Bye for now.
See ya.

*** 

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
ba33a17

0 моделей