'Make knowledge free for everyone'
Original INT4 model has been dequantized with my own custom script:
DQ_int4-to-bf16_dequant (inspired by the deepseek V3 dequant script)
BF version of: moonshotai/Kimi-K2-Thinking
BF16-версия Kimi-K2-Thinking для диалоговой генерации текста с контекстом до 262 144 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это BF16-версия модели Kimi-K2-Thinking, подготовленная автором DevQuasar-2 из исходной INT4-модели moonshotai/Kimi-K2-Thinking с помощью собственного скрипта деквантизации, вдохновлённого скриптом для DeepSeek V3. В метаданных архитектура обозначена как dense, с классом DeepseekV3ForCausalLM; заявлено 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалоговой генерации текста.
README сообщает о деквантизации исходных INT4-весов собственным скриптом; подтверждений качества и точности восстановленных BF16-весов в доступных данных нет.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
'Make knowledge free for everyone'
Original INT4 model has been dequantized with my own custom script:
DQ_int4-to-bf16_dequant (inspired by the deepseek V3 dequant script)
BF version of: moonshotai/Kimi-K2-Thinking
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.