Характеристики

Базовая модель: inkling-GGUF
Библиотека: mesh-llm
Опубликована: 11 авг 2026

Ссылки

inkling-UD-Q2_K_XL-layers

Изображение и текст → текст3 профессии

Экспериментальный распределённый GGUF-пакет модели inkling для локального мультимодального диалога и обработки изображений через Mesh LLM.

1 471скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

inkling-UD-Q2_K_XL-layers — экспериментальный пакет слоёв GGUF для запуска модели inkling через Mesh LLM. Он создан на основе unsloth/inkling-GGUF и распределяет её веса по отдельным артефактам для вывода на локальном кластере Mesh LLM. Метаданные указывают на поддержку визуального ввода и диалогового режима; задача модели — преобразование изображений и текста в текст.

Пакет предназначен для локального приватного запуска, распределения вычислений между несколькими машинами, когда полный GGUF не помещается на одном хосте, и обслуживания запросов через совместимый с OpenAI API. Используется формат GGUF, вариант квантования — UD-Q2_K_XL. Для работы нужна среда Mesh LLM. Подробности архитектуры, языков, контекста и лицензии следует сверять с карточкой исходной модели unsloth/inkling-GGUF, поскольку в README пакета они не приведены.

Сценарии применения

локальный приватный запуск мультимодального чат-ассистента
ответы на вопросы по загруженным изображениям
распределённый вывод модели на нескольких машинах
обслуживание запросов через совместимый с OpenAI API

Ограничения

Пакет экспериментальный: корректность разбиения слоёв, работа во время выполнения и мультимодальная сертификация ещё не подтверждены. Требуются Mesh LLM и несколько узлов для распределённого запуска; лицензия и подробные характеристики модели приведены в карточке исходной модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!WARNING] Experimental package: artifact integrity may be validated, but runtime, split-correctness, and multimodal certification are still pending. This package is not discoverable through meshllm/catalog@main until its Hugging Face catalog PR is reviewed and merged.

GGUF layer package for running inkling-UD-Q2_K_XL across a local Mesh LLM cluster.

This package is derived from unsloth/inkling-GGUF and keeps the original GGUF distribution split into per-layer artifacts for distributed inference.

Highlights

Run locally	Pool multiple machines	OpenAI-compatible	Package variant
Private inference on your hardware	Split layers across peers	Serve `/v1/chat/completions` locally	`UD-Q2_K_XL` layer package

Model Overview

Property	Value
Source model	unsloth/inkling-GGUF
Model id	`unsloth/inkling-GGUF:UD-Q2_K_XL`
Family	inkling
Parameter scale	not recorded
Quantization	`UD-Q2_K_XL`
Layer count	66
Activation width	6144
Package size	296.5 GB
Source file	`UD-Q2_K_XL/inkling-UD-Q2_K_XL-00001-of-00008.gguf`
Package repo	meshllm/inkling-UD-Q2_K_XL-layers

Recommended Use

Local and private inference with Mesh LLM.
Multi-machine serving when the full GGUF is too large for one host.
OpenAI-compatible chat/completions workflows through Mesh LLM's local API.

For upstream architecture details, chat template guidance, sampling recommendations, license terms, and benchmark notes, see the source model card: unsloth/inkling-GGUF.

Quickstart

# Run this on each machine that should contribute memory/compute.
mesh-llm serve --model "meshllm/inkling-UD-Q2_K_XL-layers" --split

# Check the mesh and discover the OpenAI-compatible model name.
curl -s http://localhost:3131/api/status
curl -s http://localhost:3131/v1/models

# Send an OpenAI-compatible chat request.
curl -s http://localhost:3131/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "unsloth/inkling-GGUF:UD-Q2_K_XL",
    "messages": [{"role": "user", "content": "Write a tiny hello-world function in Rust."}],
    "max_tokens": 128
  }'

Package Variant

Property	Value
Format	`layer-package`
Canonical source ref	`unsloth/inkling-GGUF@d3e9ffca48751dbe8b59dab5cfa364621257c682/UD-Q2_K_XL/inkling-UD-Q2_K_XL-00001-of-00008.gguf`
Source revision	`d3e9ffca48751dbe8b59dab5cfa364621257c682`
Source SHA-256	`8b153eb6a470303f227ef2ba5b515e4e53cc51be65f4395490aa6e37f377bebf`
Skippy ABI	`0.1.30`
Package manifest SHA-256	`6cda4ce683e8046818d0d51c57e00b61d2245c36ba7b21a4fb7c51ab82c039b7`

What Is Included

Artifact	Path	Contents	SHA-256
Manifest	`model-package.json`	Package schema, source identity, checksums	`6cda4ce683e8046818d0d51c57e00b61d2245c36ba7b21a4fb7c51ab82c039b7`
Metadata	`shared/metadata.gguf`	1 tensors, 12.4 MB	`c2332ae2f8fc2a711861bae5c96720592aee75cdf7868a3bade02bc513f03bf5`
Embeddings	`shared/embeddings.gguf`	2 tensors, 822.2 MB	`2021ca206c89e66637e4e048caea5c5b181413ce4e9b045fb6aff8db315f7a7a`
Output head	`shared/output.gguf`	3 tensors, 675.0 MB	`0ca256c69c9c311dfb5671643f9edaff62de8706453a68aa34b953aaac6f8b21`
Transformer layers	`layers/layer-*.gguf`	66 layer artifacts, 1574 tensors, 294.9 GB	`see model-package.json`
Projector	`projectors/mmproj-BF16.gguf`	mmproj projector, 174.8 MB	`662c925e1df293cfba16ffd6bd53dac31d3c73160ba65dff7270d7a70f351e91`

Validation

Generated by the Mesh LLM HF Jobs splitter from mesh-llm ref codex/inkling-q2-skippy. Each artifact is checksummed as it is written, uploaded to this repository, and removed from the job workspace before the next artifact is produced.

skippy-model-package write-package "/source/UD-Q2_K_XL/inkling-UD-Q2_K_XL-00001-of-00008.gguf" --out-dir "/tmp/meshllm-layer-job-meshllm_inkling-UD-Q2_K_XL-layers-193/package"

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mesh-llm

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 4488d9f