Характеристики

Контекст: 4 096 токенов
Параметры: 10,6 млрд
Лицензия: CC BY-NC 4.0
Архитектура: llama · dense
Базовая модель: SOLAR-10.7B-Instruct-v1.0
Библиотека: transformers
Опубликована: 1 янв 2024

Ссылки

SOLAR-10.7B-Instruct-v1.0-GGUF

Генерация текстаТекст → текст10 профессий

SOLAR-10.7B-Instruct-v1.0-GGUF — квантизированная GGUF-версия языковой модели SOLAR-10.7B-Instruct-v1.0, разработанной upstage и подготовленной квантизацией компанией Second State Inc.

1 146скачиваний за 30 дней2лайкавеса обновлены8 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и диалоговых сценариев с использованием инструкций, включая запуск через LlamaEdge. Указан английский язык, мультимодальность не заявлена.

Модель имеет архитектуру SOLAR и размер 10,7 млрд параметров; максимальный контекст составляет 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 4,55 до 11,4 ГБ. Вариант Q4_K_M обозначен как рекомендуемый для баланса качества и размера, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшить качество ответов.

Модель можно использовать для текстовой генерации и инструкционного диалога при наличии совместимого GGUF-движка; для LlamaEdge требуется версия 0.2.8 или новее и шаблон запросов solar-instruct. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с обязательным указанием авторства, но ограничивающей коммерческое применение.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SOLAR-10.7B-Instruct-v1.0-GGUF

Original Model

upstage/SOLAR-10.7B-Instruct-v1.0

Run with LlamaEdge

LlamaEdge version: v0.2.8 and above
Prompt template
- Prompt type: solar-instruct
- Prompt string
```
<s> ### User:
{user_message}

\### Assistant:
{assistant_message}</s>
```
  Note that the \ character is used to escape the ### in the prompt string. Remove it in the practical use.
Context size: 4096

Run as LlamaEdge service

wasmedge --dir .:. --nn-preload default:GGML:AUTO:SOLAR-10.7B-Instruct-v1.0-Q5_K_M.gguf llama-api-server.wasm -p solar-instruct

Run as LlamaEdge command app

wasmedge --dir .:. --nn-preload default:GGML:AUTO:SOLAR-10.7B-Instruct-v1.0-Q5_K_M.gguf llama-chat.wasm -p solar-instruct

Quantized GGUF Models

Name	Quant method	Bits	Size	Use case
SOLAR-10.7B-Instruct-v1.0-Q2_K.gguf	Q2_K	2	4.55 GB	smallest, significant quality loss - not recommended for most purposes
SOLAR-10.7B-Instruct-v1.0-Q3_K_L.gguf	Q3_K_L	3	5.65 GB	small, substantial quality loss
SOLAR-10.7B-Instruct-v1.0-Q3_K_M.gguf	Q3_K_M	3	5.19 GB	very small, high quality loss
SOLAR-10.7B-Instruct-v1.0-Q3_K_S.gguf	Q3_K_S	3	4.66 GB	very small, high quality loss
SOLAR-10.7B-Instruct-v1.0-Q4_0.gguf	Q4_0	4	6.07 GB	legacy; small, very high quality loss - prefer using Q3_K_M
SOLAR-10.7B-Instruct-v1.0-Q4_K_M.gguf	Q4_K_M	4	6.46 GB	medium, balanced quality - recommended
SOLAR-10.7B-Instruct-v1.0-Q4_K_S.gguf	Q4_K_S	4	6.1 GB	small, greater quality loss
SOLAR-10.7B-Instruct-v1.0-Q5_0.gguf	Q5_0	5	7.4 GB	legacy; medium, balanced quality - prefer using Q4_K_M
SOLAR-10.7B-Instruct-v1.0-Q5_K_M.gguf	Q5_K_M	5	7.6 GB	large, very low quality loss - recommended
SOLAR-10.7B-Instruct-v1.0-Q5_K_S.gguf	Q5_K_S	5	7.4 GB	large, low quality loss - recommended
SOLAR-10.7B-Instruct-v1.0-Q6_K.gguf	Q6_K	6	8.81 GB	very large, extremely low quality loss
SOLAR-10.7B-Instruct-v1.0-Q8_0.gguf	Q8_0	8	11.4 GB	very large, extremely low quality loss - not recommended

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 5852e79