/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,4 млрд
Размер весов
15,5 ГБ
Лицензия
Apache 2.0
Архитектура
internlm2 · dense
Базовая модель
internlm2_5-7b-chat
Библиотека
transformers
Опубликована
19 авг 2024

internlm2_5-7b-chat-abliterated

Генерация текстаТекст → текст4 профессии

Диалоговая модель InternLM2.5-7B с abliteration для генерации текста и ответов с меньшей склонностью к отказам.

44скачиваний за 30 дней2лайкавеса обновлены2 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

byroneverson/internlm2_5-7b-chat-abliterated — диалоговая модель, созданная byroneverson на основе InternLM2.5-7B-Chat с помощью abliteration, направленной на снижение склонности модели к отказам. Это плотная трансформерная модель для генерации текста и ведения диалога с 7,4 млрд параметров; заявленный контекст — до 32 768 токенов. Карточка описывает изменение слоя 17 и ссылается на ноутбук с подробностями метода.

Модель предназначена для разговорных сценариев и генерации ответов на английском и китайском языках. Она распространяется в формате safetensors через Transformers по лицензии Apache-2.0. Abliteration снижает склонность к отказам, но карточка не приводит оценок качества или подробного описания границ этого изменения.

Сценарии применения

  • ведение диалога на английском языке
  • ведение диалога на китайском языке
  • генерация ответов на текстовые запросы
  • эксперименты с уменьшением отказов языковой модели

Ограничения

Карточка не приводит количественных оценок качества и не описывает подробно ограничения метода abliteration; снижение склонности к отказам не гарантирует их полного устранения.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

internlm2_5-7b-chat-abliterated

Version 1.1 (Updated 9/1/2024): Layer 17 is used for abliteration instead of 16. Refusal mitigation tends to work better with this layer. PCA and cosine similarity tests seem to agree.

Check out the jupyter notebook for details of how this model was abliterated from internlm2_5-7b-chat.

Please check out my newer abliteration of glm-4-9b-chat. It's jupyter notebook is a little more developed than this one.

Logo

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
InternLM2ForCausalLM
Ревизия весов
8bebfef

0 моделей