Диалоговая MoE-модель на базе Llama 3.1 8B Instruct для генерации текста, ответов на инструкции и работы с инструментами.
803скачиваний за 30 дней2лайкавеса обновлены14 сен 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Jongbin-kr/llama-3.1-8b-instruct-4x1-moe-switch-top1 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная Jongbin. Она предназначена для генерации текста и общения по инструкциям; среди сценариев — ответы на вопросы, помощь в написании текстов и использование интерфейса вызова инструментов. Модель построена на базе meta-llama/Llama-3.1-8B-Instruct и содержит около 7,5 млрд параметров.
В каждом слое Transformer используются четыре клонированных FFN-эксперта, а маршрутизатор выбирает одного эксперта для каждого токена. В отличие от варианта с нормализованным коэффициентом гейта, выбранный эксперт сохраняет исходную вероятность softmax. При обучении использованы коэффициент балансировки нагрузки 0,01 и z-loss маршрутизатора 0,001. Контекст — до 131 072 токенов; модель работает через Transformers, веса доступны в формате safetensors.
Модель унаследовала многоязычные возможности базовой Llama 3.1 8B Instruct, однако README не перечисляет конкретные поддерживаемые языки. Для загрузки требуется trust_remote_code=True. Лицензия — llama3.1; применяются условия лицензии Llama 3.1 от Meta.
Сценарии применения
ответы на вопросы в диалоге
написание и редактирование текстов
выполнение инструкций на естественном языке
создание диалоговых помощников
вызов внешних инструментов через интерфейс модели
Ограничения
Для загрузки требуется включить trust_remote_code=True. README не сообщает результаты оценки качества или конкретный перечень поддерживаемых языков.
Для каких профессий подходит15
Разделы каталога профессий, в задачах которых используется эта модель
This checkpoint reuses the exact weights of
Jongbin-kr/llama-3.1-8b-instruct-4x1-moe but changes the versioned custom
model implementation and routing configuration:
four cloned Llama FFN experts per Transformer layer;
one active expert per token;
the selected top-1 gate retains its original softmax probability instead of
being renormalized to one;
Switch-style load-balancing coefficient 0.01;
ST-MoE router z-loss coefficient 0.001 during training.
Because the gate implementation changes the forward pass, this is a distinct
base model rather than a new revision of the original normalized-gate model.
Load it with trust_remote_code=True.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.