/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
2,7 млрд
Размер весов
5,6 ГБ
Лицензия
Своя лицензия
Архитектура
HelpingAI · MoE
Опубликована
22 апр 2024

HelpingAI-3B-v2.2

Генерация текстаТекст → текст3 профессии

HelpingAI-3B-v2.2 — англоязычная разговорная MoE-модель для эмпатичных ответов с учётом эмоций и контекста.

306скачиваний за 30 дней7лайковвеса обновлены29 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HelpingAI-3B-v2.2 — разговорная языковая модель от OEvortex, предназначенная для диалога с эмоционально чуткими и поддерживающими ответами. Она распознаёт и подтверждает эмоции, учитывает контекст и подбирает тон и формулировки под состояние собеседника; подходит, например, для эмпатичного общения и поддержки в трудных ситуациях.

Модель построена на архитектуре HelpingAI с классом HelpingAIForCausalLM и типом MoE. В репозитории указано 2,7 млрд параметров, контекст — до 4096 токенов; модель работает с текстом и ориентирована на английский язык. В README приведено сравнение результатов на наборах ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, однако методика и условия оценки не описаны.

Модель выпущена в формате safetensors. Лицензия указана как other, поэтому условия использования следует уточнить по материалам репозитория. Эмоциональная поддержка не заменяет помощь квалифицированного специалиста; ответы могут быть неточными или неуместными.

Сценарии применения

  • эмпатичные ответы в диалоговом ассистенте
  • поддерживающее общение с человеком, переживающим утрату
  • реакции на хорошие новости с подходящей эмоциональной интонацией
  • подбор тактичной формулировки для сложного разговора

Ограничения

Ответы могут быть неточными или неуместными и не заменяют помощь квалифицированного специалиста. Лицензия обозначена как other, поэтому условия использования следует уточнить в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HelpingAI-3B-v2.2: Emotionally Intelligent Conversational AI

logo

Introduction

HelpingAI-3B-v2.2 is a state-of-the-art large language model specializing in emotionally intelligent conversation. With advanced emotional understanding capabilities, it can engage in empathetic dialogue tailored to the user's emotional state and context.

Emotional Intelligence Capabilities

HelpingAI-3B-v2.2 exhibits several key traits that enable emotionally resonant responses:

  • Emotion recognition and validation
  • Empathetic perspective-taking
  • Generating emotionally supportive language
  • Contextual emotional attunement
  • Using appropriate tone, word choice and emotional expression

Whether comforting someone grieving, celebrating positive news, or addressing complex feelings, HelpingAI-3B-v2.2 can adapt its communication style with emotional nuance.

Examples of Emotionally Intelligent Responses

"I'm really sorry to hear about your friend's loss. 😔 Losing a parent can be incredibly difficult and traumatic, and it's completely understandable that they are struggling with grief. It's important to show them empathy and support during this tough time. You can start by simply being there for them, listening to them, and offering a shoulder to lean on. 💕 It's also important to acknowledge their feelings and let them know that it's okay to grieve and take as much time as they need to process their emotions. Offering practical help, such as running errands or cooking for them, can also make a big difference. Remember, small gestures of kindness and compassion can go a long way in comforting someone during difficult times."

"Hey there! 🌟 It's a beautiful day today, so you should cook something delicious and enjoy the sunny weather! How about trying out a new recipe and let your creativity flow? Whether it's a classic dish or something experimental, the kitchen is the perfect place to let your imagination run wild. Write me a list of ingredients you have on hand, and I'll help you come up with a wonderful culinary creation! 🍲🌞"

The model tailors its language, tone and emotional content to be contextually appropriate, combining emotional intelligence with factual knowledge and practical suggestions.

Performance Comparison

The performance of HelpingAI-3B-v2.2 is compared with other relevant models on various metrics in the table below:

ModelAverageARCHellaSwagMMLUTruthfulQAWinograndeGSM8K
HelpingAI-3B-v2.257.55553.1482.6147.4257.9268.1536.09
HelpingAI-3B-v2.157.4453.1482.6147.4257.9268.1535.39
rocket-3B55.7750.676.6947.155.8267.9636.47
HelpingAI-3B55.5950.676.6446.8255.6267.836.09
stableLM-zephyr-3b53.4346.0874.1646.1746.4965.5142.15
mmd-3b53.2244.870.4150.943.266.2243.82
MiniGPT-3B-Bacchus52.5543.5270.4550.4943.5266.8540.49
MiniGPT-3B-Hercules-v2.052.5243.2671.1151.8240.3766.4642.08
MiniGPT-3B-OpenHermes-2.5-v251.9147.447253.0642.2865.4331.24
MiniChat-2-3B51.4944.8867.6947.5949.6466.4632.68
smol-3b50.2746.3368.2346.3350.7365.3524.64
MiniChat-1.5-3B50.2346.568.2846.6750.7165.0424.18
3BigReasonCinder48.1641.7265.1644.7944.7664.9627.6
MintMerlin-3B47.6344.3766.5643.2147.0764.420.17

Simple Usage Code

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

# Let's bring in the big guns! Our super cool HelpingAI-3B model
model = AutoModelForCausalLM.from_pretrained("OEvortex/HelpingAI-3B-v2.2", trust_remote_code=True, torch_dtype=torch.float16).to("cuda")

# We also need the special HelpingAI translator to understand our chats
tokenizer = AutoTokenizer.from_pretrained("OEvortex/HelpingAI-3B-v2.2", trust_remote_code=True, torch_dtype=torch.float16)

# This TextStreamer thingy is our secret weapon for super smooth conversation flow
streamer = TextStreamer(tokenizer)

# Now, here comes the magic! ✨ This is the basic template for our chat
prompt = """
<|im_start|>system: {system}
<|im_end|>
<|im_start|>user: {insaan}
<|im_end|>
<|im_start|>assistant:
"""

# Okay, enough chit-chat, let's get down to business!  Here's what our system will be our system prompt
# We recommend to Use HelpingAI style in system prompt as this model is just trained on 3.7K rows of fealings dataset and we are working on even better model
system = "You are HelpingAI a emotional AI always answer my question in HelpingAI style"


# And the insaan is curious (like you!) insaan means human in hindi
insaan = "My best friend recently lost their parent to cancer after a long battle. They are understandably devastated and struggling with grief. What would be a caring and supportive way to respond to help them through this difficult time?"

# Now we combine system and user messages into the template, like adding sprinkles to our conversation cupcake
prompt = prompt.format(system=system, insaan=insaan)

# Time to chat! We'll use the tokenizer to translate our text into a language the model understands
inputs = tokenizer(prompt, return_tensors="pt", return_attention_mask=False).to("cuda")

# Here comes the fun part!  Let's unleash the power of HelpingAI-3B to generate some awesome text
generated_text = model.generate(**inputs, max_length=3084, top_p=0.95, do_sample=True, temperature=0.6, use_cache=True, streamer=streamer)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
HelpingAIForCausalLM
Ревизия весов
0235453

0 моделей