Диалоговая версия GLM-4-9B-Chat с изменением слоёв, направленным на снижение отказов, для генерации текста и вызова инструментов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
byroneverson/glm-4-9b-chat-abliterated — дообученная версия GLM-4-9B-Chat от THUDM, изменённая автором репозитория для снижения отказов модели. В версии 1.1 для этой процедуры использован слой 16; автор сообщает, что тесты PCA и косинусного сходства согласуются с выбором этого слоя.
Модель предназначена для диалоговой генерации текста и работы через интерфейс вызова инструментов. Она построена на плотной архитектуре ChatGLM, содержит 10,7 млрд параметров и поддерживает контекст длиной до 131 072 токенов. В карточке указаны китайский и английский языки. Репозиторий содержит веса в формате safetensors.
Снижение отказов может быть полезно в сценариях, где требуется меньше ограничений на ответы, однако README не приводит количественной оценки качества, безопасности или надёжности после изменения. Для преобразования модели в формат GGUF автору понадобился пакет tiktoken и собственный вариант инструментария GGUF. Лицензия обозначена как other; конкретные условия следует проверять в репозитории модели и у базовой модели.
README не содержит количественной оценки качества, устойчивости или последствий снижения отказов. Указана лицензия other, поэтому конкретные условия использования нужно проверять в репозитории.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Check out the jupyter notebook for details of how this model was abliterated from glm-4-9b-chat.
The python package "tiktoken" is required to quantize the model into gguf format. So I had to create a fork of GGUF My Repo (+tiktoken).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.