/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
93,4 ГБ
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Опубликована
18 фев 2024

Mixtral-8x7B-Holodeck-v1

Генерация текстаТекст → текст3 профессии

Дообученная на электронных книгах модель Mixtral для генерации английского текста и жанровой прозы.

88скачиваний за 30 дней4лайкавеса обновлены19 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KoboldAI Mixtral-8x7B-Holodeck-v1 — дообученная языковая модель KoboldAI на архитектуре Mixtral 8x7B. Для обучения использовали около 3000 электронных книг разных жанров; многие фрагменты размечены префиксом с указанием жанра. Модель предназначена для генерации текста, в частности художественных и жанровых текстов. Она принимает текст и генерирует текст, поддерживает английский язык, имеет контекст длиной до 32 768 токенов и около 7,1 млрд параметров. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Обучение на книгах разных жанров подходит для литературного продолжения и генерации прозы с заданным жанровым контекстом. Возможные ограничения включают предвзятость по гендеру, профессии, расе и религии; качество и фактическая надёжность ответов в карточке не оценены.

Сценарии применения

  • продолжение художественного текста
  • генерация прозы в заданном жанре
  • создание черновиков рассказов
  • литературное дополнение по текстовой подсказке

Ограничения

Возможна предвзятость по гендеру, профессии, расе и религии. Карточка не приводит оценок качества или фактической надёжности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mixtral 8x7B - Holodeck

Model Description

Mistral 7B-Holodeck is a finetune created using Mixtral's 8x7B model.

Training data

The training data contains around 3000 ebooks in various genres. Most parts of the dataset have been prepended using the following text: [Genre: <genre1>, <genre2>]


Limitations and Biases

Based on known problems with NLP technology, potential relevant factors include bias (gender, profession, race and religion).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
6e08f70

0 моделей