Квантизированная GGUF-сборка разговорной MoE-модели Kimi-Linear для генерации ответов в чатах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это квантизированная сборка Kimi-Linear-48B-A3B-Instruct в формате GGUF MXFP4_MOE от noctrex. Веса MoE-тензоров представлены в MXFP4, а остальные тензоры сохранены в BF16 или F16; автор предпочитает вариант BF16 как наиболее близкий к исходным неквантизированным тензорам, хотя на некоторых архитектурах он может работать медленнее. Модель унаследовала разговорное назначение базовой модели Moonshot AI и предназначена для генерации ответов в чат-сценариях.
Поддерживается задача text-generation; размер активируемой части MoE обозначен как 3B в идентификаторе модели. Условия лицензии в доступных данных не приведены.
Вариант BF16 может работать медленнее на некоторых аппаратных платформах; документация рекомендует его перед F16 по качеству. Языки, контекстное окно и условия лицензии в предоставленных данных не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a MXFP4_MOE quantization of the model Kimi-Linear-48B-A3B-Instruct
The mainline standard is to use MXFP4 for the MoE tensors, and Q8 for the rest.
So I created 2 new variants, where the other tensors are either BF16 or FP16 instead of Q8.
The order of preference is BF16, then F16.
On some architectures BF16 will be slower, but its the highest quality, essentialy its the original tensors from the model copied over unquantized.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…