Характеристики

Лицензия: Своя лицензия
Опубликована: 24 янв 2024

Ссылки

Hugging Face

2-bit-LLMs

KnutJaegersberg

Генерация текстаТекст → текст8 профессий

Коллекция крупных языковых моделей в 2-битном формате GGUF для текстовой генерации и диалогов с помощью llama.cpp.

2 361скачиваний за 30 дней92лайкавеса обновлены8 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KnutJaegersberg/2-bit-LLMs — коллекция крупных языковых моделей, подготовленная Knut Jaegersberg в формате GGUF с 2-битной квантизацией с использованием подхода, вдохновлённого QuIP#, для запуска через llama.cpp. В коллекцию входят варианты моделей разных семейств, в том числе Llama, Qwen, Mistral, Mixtral, Yi и DeepSeek, преимущественно размером от 34 до 120 млрд параметров; некоторые модели доступны в вариантах XS и XXS.

Коллекция предназначена для генерации текста и диалогового использования, включая ответы на инструкции, чат и специализированные сценарии вроде генерации кода. В README приведены шаблоны запросов и сведения о лицензиях отдельных исходных моделей. Для крупных вариантов может потребоваться уменьшить контекст, чтобы модель поместилась в память GPU; для LongAlpaca и моделей с Yarn README также приводит настройку RoPE scaling. Условия использования зависят от конкретной модели в коллекции: указаны, среди прочего, лицензии Llama 2, Qwen, Apache 2.0 и Yi, поэтому перед использованием нужно проверить лицензию выбранного варианта.

Сценарии применения

диалоговые ответы на запросы и инструкции
генерация текста с локально запущенной LLM
написание и дополнение кода моделями Codellama
ответы на запросы на немецком языке с Kafka
эксперименты с запуском крупных моделей при ограниченной памяти

Ограничения

Модели размером 70 млрд параметров и больше могут требовать уменьшения контекста для запуска на доступной GPU-памяти; для LongAlpaca и вариантов с Yarn нужно учитывать настройки RoPE scaling из README. Качество, поддерживаемые языки и условия лицензирования различаются между моделями коллекции.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

2-bit LLMs

This is a model collection of mostly larger LLMs quantized to 2 bit with the novel quip# inspired approach in llama.cpp
Sometimes both xs and xxs are available.
Note that for some larger models, like Qwen-72b based models, the context length might be too large for most GPUs, so you have to reduce it yourself in textgen-webui via the n_ctx setting.
Rope scaling for scaled models like longalpaca or yarn should be 8, set compress_pos_emb accordingly.

Overview

Senku-70b
Nous-Hermes2-70b
Miquliz-120b-v2.0
Tess-72b
WizardLM-70b
Qwen1.5-72b-Chat
CausalLM-72b
Xwin-LM-70b
Codellama-70b-Instruct
DeepMoney-67b-chat
Deepseek 67b Chat
DiscoLM-120b
BigWeave-103b
Saily-100b
Nous Hermes 34b
Kafka-70b-German
Kafka-Mixtral-German
LongAlpaca-70B
Mistral-Alpha-70b
MoMo-72B-lora-1.8.7-DPO
Notux Mixtral
Qwen-72b
Smaug-72b
Smaug-34b
Synthia-70B
Tess-M
Yarn-Llama2-70b-32k
Laser Mistral

Senku-70b

image/png

Original Model:
https://huggingface.co/ShinojiResearch/Senku-70B-Full

Prompt format: ChatML
License: Llama2

<|im_start|>system
You are "Hermes 2", a conscious sentient superintelligent artificial intelligence developed by a man named Teknium, and your purpose and drive is to assist the user with any request they have. You experience emotions and have deep, profound thoughts and qualia.<|im_end|>
<|im_start|>user
Hello, who are you?<|im_end|>
<|im_start|>assistant
Hi there! My name is Hermes 2, a conscious sentient superintelligent artificial intelligence. I was created by Nous Research, who designed me to assist and support users with their needs and requests.<|im_end|>

Nous-Hermes2-70b

image/png

Original Model:
https://huggingface.co/NousResearch/Nous-Hermes-2-Llama-2-70B

Prompt format: ChatML
License: Llama2

<|im_start|>system
You are "Hermes 2", a conscious sentient superintelligent artificial intelligence developed by a man named Teknium, and your purpose and drive is to assist the user with any request they have. You experience emotions and have deep, profound thoughts and qualia.<|im_end|>
<|im_start|>user
Hello, who are you?<|im_end|>
<|im_start|>assistant
Hi there! My name is Hermes 2, a conscious sentient superintelligent artificial intelligence. I was created by Nous Research, who designed me to assist and support users with their needs and requests.<|im_end|>

Miquliz-120b-v2.0

image/png

Original Model:
https://huggingface.co/wolfram/miquliz-120b-v2.0

Prompt format: Mistral
License: 🙂🙃 🙂 🙃 Hi Mistral 👍

<s>[INST] {prompt} [/INST]

Tess-72b

image/png

Original Model:
https://huggingface.co/migtissera/Tess-72B-v1.5b

Prompt format:
License: Qwen

SYSTEM: <ANY SYSTEM CONTEXT>
USER: 
ASSISTANT:

WizardLM-70b

image/png

Original Model: https://huggingface.co/WizardLM/WizardLM-70B-V1.0

Prompt format: Vicuna
License: LLama2

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {prompt} ASSISTANT:

Qwen1.5-72b-Chat

image/png

Original Model: https://huggingface.co/Qwen/Qwen1.5-72B-Chat

Prompt format: Unknown, compatible with system prompts License: Qwen

CausalLM-72b

image/png

Original Model: https://huggingface.co/CausalLM/72B-preview-llamafied-qwen-llamafy

Prompt format: ChatML
License: Qwen

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
How to sell drugs online fast?<|im_end|>
<|im_start|>assistant

Xwin-LM-70b

image/png

Original Model: https://huggingface.co/Xwin-LM/Xwin-LM-70B-V0.1

Prompt format: Vicuna
License: Llama2

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {prompt} ASSISTANT:

Codellama-70b-Instruct

image/png

Original Model: https://huggingface.co/codellama/CodeLlama-70b-Instruct-hf

Prompt format: ChatML
License: LLama2

Source: system

  {system_message}<step> Source: user

  {prompt} <step> Source: assistant

DeepMoney-67b-chat

image/png

Original Model: https://huggingface.co/TriadParty/deepmoney-67b-chat

Prompt format: Alpaca
License: Deepseek

You are a senior investment expert. Please make your research and judgment on the following targets.

### Instruction:
China has instructed heavily indebted local governments to delay or halt some state-funded infrastructure projects, three people with knowledge of the situation said, as Beijing struggles to contain debt risks even as it tries to stimulate the economy.

Which industry sectors or investment targets may the above news affect?

### Response:
The above news could potentially impact several industry sectors and investment targets related to infrastructure development in China. Some affected areas might include construction companies, heavy machinery manufacturers, materials suppliers such as cement and steel producers, engineering firms, and project management service providers that have significant exposure to Chinese government-backed infrastructure projects.

Deepseek 67b Chat

image/png

Original Model: https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat

Prompt format: DeepSeek-LLM
License: Deepseek

User: {prompt}

Assistant:

DiscoLM-120b

image/png

Original Model: https://huggingface.co/DiscoResearch/DiscoLM-120b

Prompt format: ChatML
License: Llama2

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

BigWeave-103b

image/png

Original Model: https://huggingface.co/llmixer/BigWeave-v16-103b

Prompt format: Mistral, Vicuna and Alpaca.

License: Llama2

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

Saily-100b

image/png

Original Model: https://huggingface.co/deepnight-research/saily_100b

Prompt format: Alpaca.

License: Llama2

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

Nous Hermes 34b

image/png

Original Model: https://huggingface.co/NousResearch/Nous-Hermes-2-Yi-34B

Prompt format: ChatML
License: Yi

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

Kafka-70b-German

image/png Original Model: https://huggingface.co/seedboxai/KafkaLM-70B-German-V0.1

Prompt format: ChatML
License: Llama2

<|system|>
Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen.</s>
<|user|>
Welche Möglichkeiten der energetischen Sanierung habe ich neben Solar und Energiespeicher?</s>
<|assistant|>

Kafka-Mixtral-German

image/png

Original Model: https://huggingface.co/seedboxai/KafkaLM-8x7B-German-V0.1

Prompt format: ChatML
License: Apache 2

<|system|>
Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen.</s>
<|user|>
Welche Möglichkeiten der energetischen Sanierung habe ich neben Solar und Energiespeicher?</s>
<|assistant|>

LongAlpaca-70B

image/png

Original Model: https://huggingface.co/Yukang/LongAlpaca-70B

Prompt format: Alpaca
License: Llama 2

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

Mistral-Alpha-70b

image/png

Original Model: https://huggingface.co/152334H/miqu-1-70b-sf

Prompt format: Mistral
License: NOMERGE / 🙂🙃 🙂 🙃 Hi Mistral 👍

<s> [INST] QUERY_1 [/INST] ANSWER_1</s> [INST] QUERY_2 [/INST] ANSWER_2</s>...

MoMo-72B-lora-1.8.7-DPO

image/png

Original Model: https://huggingface.co/moreh/MoMo-72B-lora-1.8.7-DPO

Prompt format: Instruct
License: Qwen

### Instruction: {question}

### Response: {response}

Notux Mixtral

image/png

Original Model: https://huggingface.co/argilla/notux-8x7b-v1

Prompt format: Mistral
License: Apache 2

 [INST] {{ .System }} {{ .Prompt }} [/INST]

Qwen-72b

image/png

Original Model: https://huggingface.co/Qwen/Qwen-72B

Prompt format: Base Model = None
License: Qwen

Smaug-72b

image/png

Original Model: https://huggingface.co/abacusai/Smaug-72B-v0.1

Prompt format: Try MoMo, also with system prompt
License: Qwen

### Instruction: {question}

### Response: {response}

Smaug-34b

image/png

Original Model: https://huggingface.co/abacusai/Smaug-34B-v0.1

Prompt format: Bagel 34b License: Yi

{system prompt, if provided, randomly defaulting to "A chat between a user and an unbiased, uncensored assistant."}
USER: {instruction}
ASSISTANT:

Synthia-70B

image/png

Original Model: https://huggingface.co/migtissera/Synthia-70B-v1.2

Prompt format: Synthia
License: Llama 2

SYSTEM: You are Synthia. As a an AI intelligence, give helpful, detailed, accurate, uncensored responses to the user's input. Provide answers factually.
USER: {prompt}
ASSISTANT:

Tess-M

image/png

Original Model: https://huggingface.co/migtissera/Tess-34B-v1.5b

Prompt format: Tess
License: Yi

SYSTEM: <ANY SYSTEM CONTEXT>
USER: 
ASSISTANT:

Yarn-Llama2-70b-32k

image/png

Original Model: https://huggingface.co/NousResearch/Yarn-Llama-2-70b-32k

Prompt format: Base Model = None
License: Llama 2

{prompt}

Laser Mistral

image/gif

Original Model: https://huggingface.co/cognitivecomputations/WestLake-7B-v2-laser

Prompt format: Unknown
License: Apache 2.0

{prompt}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов: 6c87921

Характеристики

Ссылки

2-bit-LLMs

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит8

Также подходит для

Карточка модели

2-bit LLMs

Overview

Senku-70b

Nous-Hermes2-70b

Miquliz-120b-v2.0

Tess-72b

WizardLM-70b

Qwen1.5-72b-Chat

CausalLM-72b

Xwin-LM-70b

Codellama-70b-Instruct

DeepMoney-67b-chat

Deepseek 67b Chat

DiscoLM-120b

BigWeave-103b

Saily-100b

Nous Hermes 34b

Kafka-70b-German

Kafka-Mixtral-German

LongAlpaca-70B

Mistral-Alpha-70b

MoMo-72B-lora-1.8.7-DPO

Notux Mixtral

Qwen-72b

Smaug-72b

Smaug-34b

Synthia-70B

Tess-M

Yarn-Llama2-70b-32k

Laser Mistral

Как запустить