/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Опубликована
20 апр 2024

openbuddy-llama3-8b-v21.1-8k

Генерация текстаТекст → текст7 профессий

Диалоговая модель OpenBuddy на базе Llama 3 для генерации ответов в чат-боте, преимущественно на английском и китайском языках.

56скачиваний за 30 дней30лайковвеса обновлены26 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4788

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,2955

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,557

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,271

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0431

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3988

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OpenBuddy — диалоговая языковая модель на базе Meta Llama 3, предназначенная для генерации ответов в чат-боте. Модель разработана проектом OpenBuddy и содержит 7,5 млрд параметров; её плотная архитектура Llama поддерживает контекст до 8192 токенов.

Модель ориентирована прежде всего на общение на английском и китайском языках. Её можно запускать локально через Ollama или развернуть как API-сервис с помощью vLLM; для корректной работы авторы рекомендуют быстрый токенизатор Transformers. Репозиторий содержит веса в формате safetensors.

Модель может выдавать ошибочные, вредные или оскорбительные ответы. Авторы предостерегают от использования в медицине, управлении потенциально опасными системами и важных финансовых или юридических решениях. В карточке указана лицензия other; README сообщает, что модель построена на Meta Llama 3, но не приводит точное название лицензии.

Сценарии применения

  • ответы на вопросы в диалоговом чат-боте
  • ведение беседы на английском языке
  • ведение беседы на китайском языке
  • локальный запуск языковой модели через Ollama
  • развёртывание чат-модели как API-сервиса

Ограничения

Модель может генерировать ошибочные, вредные или оскорбительные ответы; её не следует применять в медицине, при управлении потенциально опасными системами и для важных финансовых или юридических решений. README не указывает точное название лицензии, а метаданные обозначают её как other.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OpenBuddy - Open Multilingual Chatbot

GitHub and Usage Guide: https://github.com/OpenBuddy/OpenBuddy

Website and Demo: https://openbuddy.ai

Evaluation result of this model: Evaluation.txt

Demo

Run locally with 🦙Ollama

ollama run openbuddy/openbuddy-llama3-8b-v21.1-8k

Copyright Notice

Built with Meta Llama 3

License: https://llama.meta.com/llama3/license/

Acceptable Use Policy: https://llama.meta.com/llama3/use-policy

This model is intended for use in English and Chinese.

Prompt Format

We recommend using the fast tokenizer from transformers, which should be enabled by default in the transformers and vllm libraries. Other implementations including sentencepiece may not work as expected, especially for special tokens like <|role|>, <|says|> and <|end|>.

<|role|>system<|says|>You(assistant) are a helpful, respectful and honest INTP-T AI Assistant named Buddy. You are talking to a human(user).
Always answer as helpfully and logically as possible, while being safe. Your answers should not include any harmful, political, religious, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.
You cannot access the internet, but you have vast knowledge, cutoff: 2023-04.
You are trained by OpenBuddy team, (https://openbuddy.ai, https://github.com/OpenBuddy/OpenBuddy), not related to GPT or OpenAI.<|end|>
<|role|>user<|says|>History input 1<|end|>
<|role|>assistant<|says|>History output 1<|end|>
<|role|>user<|says|>History input 2<|end|>
<|role|>assistant<|says|>History output 2<|end|>
<|role|>user<|says|>Current input<|end|>
<|role|>assistant<|says|>

This format is also defined in tokenizer_config.json, which means you can directly use vllm to deploy an OpenAI-like API service. For more information, please refer to the vllm documentation.

Disclaimer

All OpenBuddy models have inherent limitations and may potentially produce outputs that are erroneous, harmful, offensive, or otherwise undesirable. Users should not use these models in critical or high-stakes situations that may lead to personal injury, property damage, or significant losses. Examples of such scenarios include, but are not limited to, the medical field, controlling software and hardware systems that may cause harm, and making important financial or legal decisions.

OpenBuddy is provided "as-is" without any warranty of any kind, either express or implied, including, but not limited to, the implied warranties of merchantability, fitness for a particular purpose, and non-infringement. In no event shall the authors, contributors, or copyright holders be liable for any claim, damages, or other liabilities, whether in an action of contract, tort, or otherwise, arising from, out of, or in connection with the software or the use or other dealings in the software.

By using OpenBuddy, you agree to these terms and conditions, and acknowledge that you understand the potential risks associated with its use. You also agree to indemnify and hold harmless the authors, contributors, and copyright holders from any claims, damages, or liabilities arising from your use of OpenBuddy.

免责声明

所有OpenBuddy模型均存在固有的局限性,可能产生错误的、有害的、冒犯性的或其他不良的输出。用户在关键或高风险场景中应谨慎行事,不要使用这些模型,以免导致人身伤害、财产损失或重大损失。此类场景的例子包括但不限于医疗领域、可能导致伤害的软硬件系统的控制以及进行重要的财务或法律决策。

OpenBuddy按“原样”提供,不附带任何种类的明示或暗示的保证,包括但不限于适销性、特定目的的适用性和非侵权的暗示保证。在任何情况下,作者、贡献者或版权所有者均不对因软件或使用或其他软件交易而产生的任何索赔、损害赔偿或其他责任(无论是合同、侵权还是其他原因)承担责任。

使用OpenBuddy即表示您同意这些条款和条件,并承认您了解其使用可能带来的潜在风险。您还同意赔偿并使作者、贡献者和版权所有者免受因您使用OpenBuddy而产生的任何索赔、损害赔偿或责任的影响。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
658508b

0 моделей