Mistral-7B-Holodeck-1-imatrix-GGUF — набор квантизованных версий дообученной модели Mistral 7B.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Репозиторий содержит сборки в формате GGUF с использованием imatrix; автор исходной модели — KoboldAI, а данный набор квантований опубликован пользователем duyntnet.
Модель предназначена для генерации текста и основана на Mistral 7B. Её дообучали на примерно 3000 электронных книг различных жанров, причём значительная часть данных была дополнена указанием жанров в формате [Genre: ...]. Это делает модель ориентированной на создание художественных и жанровых текстов на английском языке.
К ключевым характеристикам относятся текстовая модальность, языковая поддержка английского языка, архитектурная основа Mistral 7B и формат GGUF, рассчитанный на локальный запуск совместимыми средствами. Квантизация может снизить требования к памяти, но потенциально уменьшает качество по сравнению с полной версией; конкретные варианты квантования и их параметры в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantizations of https://huggingface.co/KoboldAI/Mistral-7B-Holodeck-1
Mistral 7B-Holodeck is a finetune created using Mistral's 7B model.
The training data contains around 3000 ebooks in various genres.
Most parts of the dataset have been prepended using the following text: [Genre: <genre1>, <genre2>]
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.