This is a MXFP4_MOE quantization of the model Moonlight-16B-A3B-Instruct
Original model: https://huggingface.co/moonshotai/Moonlight-16B-A3B-Instruct
Квантованная GGUF-версия чат-модели Moonlight-16B-A3B-Instruct для диалогов и генерации текста по инструкциям.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Moonlight-16B-A3B-Instruct-MXFP4_MOE-GGUF — квантованная в формате GGUF модель Moonlight-16B-A3B-Instruct, опубликованная пользователем noctrex. Это чат-модель для генерации текста и выполнения инструкций на основе архитектуры Mixture-of-Experts; она имеет 16 млрд общих и около 3 млрд активных параметров.
Модель предназначена для диалогов и генерации ответов на текстовые запросы. Вариант MXFP4_MOE использует квантование MXFP4 и распространяется в формате GGUF. Сведения о поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.
Поддерживаемые языки и длина контекста не определены по предоставленным данным. Лицензия также не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a MXFP4_MOE quantization of the model Moonlight-16B-A3B-Instruct
Original model: https://huggingface.co/moonshotai/Moonlight-16B-A3B-Instruct
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…