/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
3,7 млрд
Размер весов
7,6 ГБ
Лицензия
MIT
Архитектура
phi3 · dense
Базовая модель
Phi-3.5-mini-instruct
Библиотека
transformers
Опубликована
23 авг 2024

calme-2.1-phi3.5-4b

Генерация текстаТекст → текст15 профессий

Дообученная на Phi-3.5 компактная языковая модель для диалогов, ответов на вопросы, генерации текстов и работы с кодом.

55скачиваний за 30 дней4лайкавеса обновлены4 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3995

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,5659

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,344

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,2039

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5484

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3935

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

calme-2.1-phi3.5-4b — дообученная Maziyar Panahi языковая модель на архитектуре Phi-3.5 для диалогов и генерации текста. Она предназначена для систем ответов на вопросы, чат-ботов и виртуальных помощников, а также для создания и суммаризации текстов, генерации и анализа кода и решения задач. Модель дообучена на microsoft/Phi-3.5-mini-instruct с использованием набора данных MaziyarPanahi/truthy-dpo-v0.1-axolotl; содержит 3,7 млрд параметров и поддерживает контекст до 4096 токенов. Для диалога применяется шаблон ChatML. Репозиторий содержит веса в формате Safetensors; отдельно упомянута квантованная версия GGUF.

Карточка приводит результаты отдельных оценок IFEval и BBH, но не даёт полной таблицы бенчмарков. Модель может наследовать смещения и ограничения базовой языковой модели, поэтому для важных решений нужны проверка ответов и человеческий контроль. Лицензия — MIT.

Сценарии применения

  • создание чат-бота или виртуального помощника
  • ответы на вопросы пользователей
  • суммаризация документов и текстов
  • генерация и анализ кода
  • помощь в решении задач и принятии решений

Ограничения

Карточка не содержит полной таблицы результатов бенчмарков; указаны только отдельные оценки IFEval и BBH. Модель может выдавать предвзятые или ошибочные ответы, поэтому для важных сценариев необходимы проверка и человеческий контроль.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MaziyarPanahi/calme-2.1-phi3.5-4b

This model is a fine-tuned version of the microsoft/Phi-3.5-mini-instruct, pushing the boundaries of natural language understanding and generation even further. My goal was to create a versatile and robust model that excels across a wide range of benchmarks and real-world applications.

Use Cases

This model is suitable for a wide range of applications, including but not limited to:

  • Advanced question-answering systems
  • Intelligent chatbots and virtual assistants
  • Content generation and summarization
  • Code generation and analysis
  • Complex problem-solving and decision support

⚡ Quantized GGUF

Here are the quants: calme-2.1-phi3.5-4b-GGUF

🏆 Open LLM Leaderboard Evaluation Results

Coming soon!

Prompt Template

This model uses ChatML prompt template:

<|system|>
You are a helpful assistant.<|end|>
<|user|>
How to explain Internet for a medieval knight?<|end|>
<|assistant|>

How to use


# Use a pipeline as a high-level helper

from transformers import pipeline

messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe = pipeline("text-generation", model="MaziyarPanahi/calme-2.1-phi3.5-4b")
pipe(messages)


# Load model directly

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/calme-2.1-phi3.5-4b")
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/calme-2.1-phi3.5-4b")

Ethical Considerations

As with any large language model, users should be aware of potential biases and limitations. We recommend implementing appropriate safeguards and human oversight when deploying this model in production environments.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.27.01
IFEval (0-Shot)56.59
BBH (3-Shot)36.11
MATH Lvl 5 (4-Shot)14.43
GPQA (0-shot)12.53
MuSR (0-shot)9.77
MMLU-PRO (5-shot)32.61

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Phi3ForCausalLM
Ревизия весов
d477007

0 моделей