Экспериментальный пакет слоёв GGUF модели inkling для распределённого мультимодального чата через Mesh LLM.
Подходит для: локальный приватный чат с моделью inkling · распределённый запуск модели на нескольких машинах · обслуживание запросов через совместимый с OpenAI API