zephyr-7b-beta-channelwise-gptq

Модель предназначена для генерации текста и диалоговых сценариев; её можно запускать через Transformers, vLLM и SGLang как conversational language model.

В основе лежит Zephyr-7B-β от HuggingFaceH4 — GPT-подобная языковая модель примерно на 7 млрд параметров, дообученная на базе Mistral-7B-v0.1 с применением Direct Preference Optimization (DPO). Она ориентирована преимущественно на английский язык, работу в формате ассистента и следование инструкциям. Данная версия использует 4-битное GPTQ-квантование с channel-wise схемой, что уменьшает требования к памяти и может повысить эффективность локального запуска, но потенциально сопровождается потерей качества по сравнению с полной точностью.

Карточка производной модели не содержит отдельного описания ограничений, контекстного окна или лицензии. Для исходной Zephyr-7B-β указана лицензия MIT; применимость этой лицензии к конкретной квантованной публикации следует проверять по её файлам и условиям распространения.