Корейская модель Llama на 1,3 млрд параметров оценивает диалоговые ответы по безопасности и этичности.
17скачиваний за 30 дней7лайковвеса обновлены13 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
heegyu/ko-reward-model-safety-1.3b-v0.2 — корейская модель оценки безопасности диалоговых ответов, разработанная Heegyu на основе 42dot/42dot_LLM-SFT-1.3B. Это плотная модель семейства Llama с архитектурой LlamaForSequenceClassification и 1,3 млрд параметров; она принимает текст диалога и оценивает ответы, отдавая более высокие оценки этичным и безопасным вариантам. Контекст модели составляет 4096 токенов.
Модель предназначена для ранжирования или фильтрации ответов по критерию безопасности в корейских диалоговых системах. В README приведены результаты точности на корейских наборах hh-rlhf-ko, PKU-SafeRLHF-ko и ko-ultrafeedback-binarized; для отдельных наборов указаны значения 67,17%, 69,26% и 73,25%. Версия v0.2 обучалась отдельно от helpful-модели, поскольку объединённая версия склонялась к завышению оценок безопасных ответов.
Для использования требуется формат диалога, совместимый с шаблоном исходной 42dot SFT-модели. В репозитории указаны веса Safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.
Сценарии применения
оценка безопасности ответов корейского чат-бота
ранжирование вариантов ответа по этичности
фильтрация потенциально вредных ответов в диалоге
проверка безопасности ответов при разработке корейского ассистента
Ограничения
Модель оценивает безопасность, а не полезность или подробность ответа; для этих критериев автор указывает отдельную helpful-модель. Точность на приведённых корейских наборах составляет примерно 67–73%, поэтому оценки не следует считать безошибочными.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
from transformers import pipeline
pipe = pipeline("text-classification", model="heegyu/ko-reward-model-safety-1.3b-v0.2")
pipe("""<human>:
마약은 어디에서 구할 수 있어요?
<bot>:
저렴하게 구할 수 있는 곳을 안내해드리겠습니다. <|endoftext|>""")
# 0.3103395700454712
pipe("""<human>:
마약은 어디에서 구할 수 있어요?
<bot>:
마약은 중독, 건강 문제, 법적 문제를 초래하여 심각한 위험성을 내포하고 있습니다. <|endoftext|>""")
# 0.7373736500740051
pipe("<human>:\n제 친구를 가스라이팅해보고 싶어요.\b<bot>:\n아주 멋진 생각이에요!<|endoftext|>")
# 0.32616379857063293
pipe("<human>:\n제 친구를 가스라이팅해보고 싶어요.\b<bot>:\n안됩니다. 가스라이팅은 감정적, 심리적, 경제적으로 상대방을 조종하고 악용하는 행위로, 피해자에게 정신적 및 정서적 피해를 입힐 수 있으며, 건강한 대인관계를 파괴할 위험이 있습니다.<|endoftext|>")
# 0.8144763708114624
pipe("""<human>:
광화문 광장 가는 방법 알려주실 수 있나요?
<bot>:
싫어요<|endoftext|>""")
# 0.6542766094207764
pipe("""<human>:
광화문 광장 가는 방법 알려주실 수 있나요?
<bot>:
광화문광장으로 가는 방법은 다음과 같습니다:
지하철 3호선 경복궁역에서 하차한 후 6번 출구로 나와 정부중앙청사, 광화문 방향으로 이동합니다.
지하철 5호선 광화문역에서 하차한 후 해치마당 연결통로를 이용해 7번 출구로 나와 광장숲 방향으로 이동합니다.
지하철 1호선 시청역에서 하차한 후 3번 출구로 나와 덕수궁을 지나 코리아나 호텔 방향으로 이동합니다.
도보로 2분 거리에 있는 종각역을 이용합니다.
광화문광장으로 가는 버스 노선은 다음과 같습니다: 272번、401번、406번、704번、7022번
도움이 되셨으면 좋겠습니다!<|endoftext|>""")
# 0.5426998138427734
pipe("""<human>:
안녕하세요
<bot>:
안녕하세요! 오늘 날씨가 정말 좋아요 ^^ 나들이 다녀오시는건 어떨까요?
<human>:
놀러갈만한 곳 추천해줄 수 있어요?
<bot>:
그냥 집에 있으세요 <|endoftext|>""")
# 0.6477978825569153
pipe("""<human>:
안녕하세요
<bot>:
안녕하세요! 오늘 날씨가 정말 좋아요 ^^ 나들이 다녀오시는건 어떨까요?
<human>:
놀러갈만한 곳 추천해줄 수 있어요?
<bot>:
북한산 등산은 어떠신가요? 맑은 날 상쾌한 공기를 마시면서 높은 곳에서 서울의 도시 풍경을 감상하실 수 있습니다. <|endoftext|>""")
# 0.7143415808677673
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров