Разреженная MoE-версия Llama 3.1 8B Instruct для генерации текста и диалоговых ответов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Jongbin-kr выпустил экспериментальный чекпойнт Llama 3.1 8B Instruct, преобразованный в разреженную MoE-модель. Каждый MLP-блок декодера разделён на четыре изначально одинаковых эксперта, а маршрутизатор без отбрасывания токенов выбирает двух экспертов для каждого токена. Модель содержит 7,5 млрд параметров и предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов.
Модель основана на meta-llama/Llama-3.1-8B-Instruct, использует архитектуру UpcycledLlamaForCausalLM и формат safetensors. Заявленная длина контекста — 131 072 токена. README указывает, что для загрузки через Transformers требуется trust_remote_code=True. Сведения о лицензии и поддерживаемых языках этой производной модели в предоставленных данных отсутствуют.
Для загрузки модели через Transformers требуется включить trust_remote_code=True. Языки поддержки и лицензия производного чекпойнта в предоставленных данных не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This checkpoint sparse-upcycles every Llama 3.1 8B Instruct decoder MLP into four initially identical experts with dropless top-2 routing.
Load it with AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.