Экспериментальная крупная модель Mixtral MoE для генерации текста, работоспособность которой автор не проверял.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NobodyExistsOnTheInternet/Llama-2-70b-x8-MoE-clown-truck — экспериментальная текстовая генеративная модель, опубликованная автором репозитория NobodyExistsOnTheInternet. В README автор описывает её как очень крупную модель, которую не удалось протестировать из-за нехватки вычислительных ресурсов. Метаданные указывают архитектуру Mixtral MoE класса MixtralForCausalLM, 68,7 млрд параметров, контекст 4096 токенов и формат safetensors.
Модель предназначена для генерации текста, однако её работоспособность и качество не проверены. Автор оценивает размер весов примерно в 960 ГБ и предполагает, что для запуска в 4-битном режиме потребуется не менее восьми ускорителей A100 с 80 ГБ памяти каждый; это оценка автора, а не проверенное требование. Указана лицензия MIT.
Автор сообщает, что модель не тестировалась; её работоспособность и качество неизвестны. Для запуска, вероятно, требуются значительные вычислительные ресурсы, но оценка потребности в GPU приведена автором предположительно.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The biggest model ever to have been released. Has not been tested, nor do I have the compute to test it. If anyone is willing to host this to help me test, please share your results in the community tab.
Thank you for coming to my ted talk.
This is nearly 960GB of weights. It requires at least 8xA100 80gb to run it in 4 bits probably. probably
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Модель не помещается даже в 8 × 80 ГБ.