Диалоговая модель InternLM2.5-7B с abliteration для генерации текста и ответов с меньшей склонностью к отказам.
44скачиваний за 30 дней2лайкавеса обновлены2 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
byroneverson/internlm2_5-7b-chat-abliterated — диалоговая модель, созданная byroneverson на основе InternLM2.5-7B-Chat с помощью abliteration, направленной на снижение склонности модели к отказам. Это плотная трансформерная модель для генерации текста и ведения диалога с 7,4 млрд параметров; заявленный контекст — до 32 768 токенов. Карточка описывает изменение слоя 17 и ссылается на ноутбук с подробностями метода.
Модель предназначена для разговорных сценариев и генерации ответов на английском и китайском языках. Она распространяется в формате safetensors через Transformers по лицензии Apache-2.0. Abliteration снижает склонность к отказам, но карточка не приводит оценок качества или подробного описания границ этого изменения.
Сценарии применения
ведение диалога на английском языке
ведение диалога на китайском языке
генерация ответов на текстовые запросы
эксперименты с уменьшением отказов языковой модели
Ограничения
Карточка не приводит количественных оценок качества и не описывает подробно ограничения метода abliteration; снижение склонности к отказам не гарантирует их полного устранения.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Version 1.1 (Updated 9/1/2024): Layer 17 is used for abliteration instead of 16. Refusal mitigation tends to work better with this layer. PCA and cosine similarity tests seem to agree.
Check out the jupyter notebook for details of how this model was abliterated from internlm2_5-7b-chat.
Please check out my newer abliteration of glm-4-9b-chat. It's jupyter notebook is a little more developed than this one.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.