Характеристики

Базовая модель: Qwen3-8B-GGUF
Библиотека: mesh-llm
Опубликована: 7 мая 2026

Ссылки

Hugging Face

Qwen3-8B-Q4_K_M-layers

meshllm

Генерация текстаТекст → текст7 профессий

Пакет слоёв квантованной Qwen3-8B для распределённого локального чат-инференса через Mesh LLM.

4 665скачиваний за 30 дней0лайковвеса обновлены9 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это пакет слоёв GGUF для запуска Qwen3-8B-Q4_K_M в распределённой системе Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/Qwen3-8B-GGUF и разбивает модель на артефакты по слоям, чтобы распределять вычисления между несколькими локальными машинами. Используется для локального приватного инференса и чат-запросов через совместимый с OpenAI интерфейс Mesh LLM.

Вариант модели — Q4_K_M; исходные веса распространяются в формате GGUF. В метаданных Hugging Face указаны библиотека mesh-llm и возможность чата. Условия лицензии и подробные параметры архитектуры предлагается уточнять по карточке исходной модели unsloth/Qwen3-8B-GGUF; в доступных данных они не приведены.

Сценарии применения

локальный приватный чат-инференс
распределённый запуск модели на нескольких машинах
обслуживание чат-запросов через API, совместимый с OpenAI

Ограничения

Для запуска и распределения слоёв требуется Mesh LLM. Лицензия, языковая поддержка и подробные характеристики модели в предоставленной карточке не описаны; их следует сверить с карточкой исходной модели.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GGUF layer package for running Qwen3-8B-Q4_K_M across a local Mesh LLM cluster.

This package is derived from unsloth/Qwen3-8B-GGUF and keeps the original GGUF distribution split into per-layer artifacts for distributed inference.

Highlights

Run locally	Pool multiple machines	OpenAI-compatible	Package variant
Private inference on your hardware	Split layers across peers	Serve `/v1/chat/completions` locally	`Q4_K_M` layer package

Model Overview

Property	Value
Source model	unsloth/Qwen3-8B-GGUF
Model id	`unsloth/Qwen3-8B-GGUF`
Family	Qwen3
Parameter scale	8B
Quantization	`Q4_K_M`
Layer count	36
Activation width	4096
Package size	4.9 GB
Source file	`Qwen3-8B-Q4_K_M.gguf`
Package repo	meshllm/Qwen3-8B-Q4_K_M-layers

Recommended Use

Local and private inference with Mesh LLM.
Multi-machine serving when the full GGUF is too large for one host.
OpenAI-compatible chat/completions workflows through Mesh LLM's local API.

For upstream architecture details, chat template guidance, sampling recommendations, license terms, and benchmark notes, see the source model card: unsloth/Qwen3-8B-GGUF.

Quickstart

# Run this on each machine that should contribute memory/compute.
mesh-llm serve --model "meshllm/Qwen3-8B-Q4_K_M-layers" --split

# Check the mesh and discover the OpenAI-compatible model name.
curl -s http://localhost:3131/api/status
curl -s http://localhost:3131/v1/models

# Send an OpenAI-compatible chat request.
curl -s http://localhost:3131/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "unsloth/Qwen3-8B-GGUF",
    "messages": [{"role": "user", "content": "Write a tiny hello-world function in Rust."}],
    "max_tokens": 128
  }'

Package Variant

Property	Value
Format	`layer-package`
Canonical source ref	`unsloth/Qwen3-8B-GGUF@main/Qwen3-8B-Q4_K_M.gguf`
Source revision	`main`
Source SHA-256	`120307ba529eb2439d6c430d94104dabd578497bc7bfe7e322b5d9933b449bd4`
Skippy ABI	`0.1.22`
Package manifest SHA-256	`7e3ecea929276d13b71a835ceee5cfccd2c075bd35f04a9e2bc7042c28bce0a6`

What Is Included

Artifact	Path	Contents	SHA-256
Manifest	`model-package.json`	Package schema, source identity, checksums	`7e3ecea929276d13b71a835ceee5cfccd2c075bd35f04a9e2bc7042c28bce0a6`
Metadata	`shared/metadata.gguf`	0 tensors, 5.7 MB	`0f665e355aceb65f6187f2961a64febb626e4da4dff785f575745f2d4c935542`
Embeddings	`shared/embeddings.gguf`	1 tensors, 339.5 MB	`7bb6ba6790073cd060241136d8f0e4ba0665b887fbe7d1947bdcf7abda8605ae`
Output head	`shared/output.gguf`	2 tensors, 492.5 MB	`35393b015f2eea59d8652506d75455a306330c0e54a4ecf2d5de86559f150d56`
Transformer layers	`layers/layer-*.gguf`	36 layer artifacts, 396 tensors, 4.1 GB	`see model-package.json`

Validation

Generated by the Mesh LLM HF Jobs splitter from mesh-llm ref main and validated before upload:

skippy-model-package validate-package "/source/Qwen3-8B-Q4_K_M.gguf" "$PACKAGE_DIR"

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Ревизия весов: 3e7a18e