Wanabi-Novelist-24B-GGUF

Модель ориентирована на генерацию текста на японском языке, в частности на написание художественных произведений и романов. Судя по тегам, её базовая архитектура связана с Mistral, однако точная конфигурация архитектуры и размер контекста в README не указаны.

Доступны варианты с разными уровнями квантизации: от Q2_K размером около 9 ГБ до Q8_0 размером около 25,2 ГБ. В README отмечается, что Q4_K_S и Q4_K_M рекомендуются как быстрые варианты, Q6_K обеспечивает очень хорошее качество, а Q8_0 — лучшее качество среди перечисленных вариантов. Более компактные варианты требуют меньше памяти, но могут уступать по качеству. Модель поддерживает только текстовую модальность; другие языки, кроме японского, явно не заявлены.

Лицензия модели — Apache-2.0. README не содержит результатов тестирования, подробного описания сильных и слабых сторон исходной модели или требований к аппаратному обеспечению, поэтому качество генерации и практическая производительность зависят от выбранного варианта квантизации и используемого программного обеспечения для GGUF.