Экспериментальная разреженная MoE-версия Llama 3.1 8B Instruct для диалоговой генерации текста и выполнения инструкций.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Jongbin-kr разработал экспериментальный чекпойнт Llama 3.1 8B Instruct, преобразовав MLP-блоки декодера в разреженную MoE-архитектуру с четырьмя изначально одинаковыми экспертами и маршрутизацией top-1 без отбрасывания токенов. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для диалоговой генерации текста и выполнения инструкций; заявленная длина контекста — 131 072 токена.
Она основана на инструкционно настроенной Llama 3.1 8B Instruct от Meta и распространяется в формате safetensors для библиотеки Transformers. Для загрузки карточка указывает необходимость `trust_remote_code=True`. Сведения о лицензии в предоставленных данных отсутствуют.
В предоставленных данных не описаны результаты оценки качества и лицензия. Для загрузки через Transformers карточка требует включить `trust_remote_code=True`.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This checkpoint sparse-upcycles every Llama 3.1 8B Instruct decoder MLP into four initially identical experts with dropless top-1 routing.
Load it with AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.