Характеристики

Контекст: 4 096 токенов
Параметры: 33,9 млрд
Лицензия: Apache 2.0
Архитектура: llama · dense
Базовая модель: Yi-1.5-34B-Chat
Опубликована: 12 мая 2024

Ссылки

Yi-1.5-34B-Chat-GGUF

Генерация текстаТекст → текст12 профессий

Yi-1.5-34B-Chat-GGUF — квантизированная версия чат-модели Yi-1.5-34B-Chat, разработанной 01-ai и преобразованной в формат GGUF компанией Second State Inc.

828скачиваний за 30 дней4лайкавеса обновлены2 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и диалоговых сценариев, включая использование через LlamaEdge. Для работы применяется шаблон запросов ChatML и контекст длиной до 7168 токенов.

Модель имеет размер 34 млрд параметров; в README не указаны поддерживаемые языки и модальности, поэтому её следует рассматривать как текстовую. Доступны варианты с разной степенью квантизации от Q2_K до Q8_0, а также версии f16. Вариант Q4_K_M рекомендован как сбалансированный по размеру и качеству, тогда как Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем потреблении памяти. Более сильная квантизация уменьшает размер файлов и требования к ресурсам, но может заметно ухудшать качество ответов.

Модель распространяется по лицензии Apache-2.0. Для запуска с LlamaEdge в README указана версия, которая на момент публикации ещё не была доступна; приведены команды для сервиса и консольного приложения. Размеры файлов зависят от варианта квантизации и составляют примерно от 12,8 до 36,5 ГБ.

Для каких профессий подходит12

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Yi-1.5-34B-Chat-GGUF

Original Model

01-ai/Yi-1.5-34B-Chat

Run with LlamaEdge

LlamaEdge version: coming soon

Prompt template

Prompt type: chatml

Prompt string

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

Reverse prompt: <|im_end|>

Context size: 7168

Run as LlamaEdge service

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template chatml \
  --reverse-prompt "<|im_end|>" \
  --ctx-size 7168 \
  --model-name Yi-1.5-34B-Chat

Run as LlamaEdge command app

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Yi-1.5-34B-Chat-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template chatml \
  --reverse-prompt "<|im_end|>" \
  --ctx-size 7168

Quantized GGUF Models

Name	Quant method	Bits	Size	Use case
Yi-1.5-34B-Chat-Q2_K.gguf	Q2_K	2	12.8 GB	smallest, significant quality loss - not recommended for most purposes
Yi-1.5-34B-Chat-Q3_K_L.gguf	Q3_K_L	3	18.1 GB	small, substantial quality loss
Yi-1.5-34B-Chat-Q3_K_M.gguf	Q3_K_M	3	16.7 GB	very small, high quality loss
Yi-1.5-34B-Chat-Q3_K_S.gguf	Q3_K_S	3	15 GB	very small, high quality loss
Yi-1.5-34B-Chat-Q4_0.gguf	Q4_0	4	19.5 GB	legacy; small, very high quality loss - prefer using Q3_K_M
Yi-1.5-34B-Chat-Q4_K_M.gguf	Q4_K_M	4	20.7 GB	medium, balanced quality - recommended
Yi-1.5-34B-Chat-Q4_K_S.gguf	Q4_K_S	4	19.6 GB	small, greater quality loss
Yi-1.5-34B-Chat-Q5_0.gguf	Q5_0	5	23.7 GB	legacy; medium, balanced quality - prefer using Q4_K_M
Yi-1.5-34B-Chat-Q5_K_M.gguf	Q5_K_M	5	23.4 GB	large, very low quality loss - recommended
Yi-1.5-34B-Chat-Q5_K_S.gguf	Q5_K_S	5	23.7 GB	large, low quality loss - recommended
Yi-1.5-34B-Chat-Q6_K.gguf	Q6_K	6	28.3 GB	very large, extremely low quality loss
Yi-1.5-34B-Chat-Q8_0.gguf	Q8_0	8	36.5 GB	very large, extremely low quality loss - not recommended
Yi-1.5-34B-Chat-f16-00001-of-00003.gguf	f16	16	32.2 GB
Yi-1.5-34B-Chat-f16-00002-of-00003.gguf	f16	16	32.1 GB
Yi-1.5-34B-Chat-f16-00003-of-00003.gguf	f16	16	4.48 GB

Quantized with llama.cpp b3135

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 428647f