Характеристики

Лицензия: Apache 2.0
Базовая модель: Pebble-10M-Chat
Опубликована: 1 сен 2026

Ссылки

Pebble-10M-Chat-GGUF

Генерация текстаТекст → текст3 профессии

Компактная англоязычная чат-модель Pebble на 10 млн параметров в формате GGUF для генерации текста и экспериментов с гибридными архитектурами Mamba2 и attention.

539скачиваний за 30 дней3лайкавеса обновлены5 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Pebble-10M-Chat-GGUF — набор конвертированных в GGUF весов чат-модели Basically AI Pebble-10M-Chat, подготовленный @ContextReq. Модель предназначена для генерации текста в формате диалога и экспериментов с компактными языковыми моделями. В ней около 10 млн параметров, гибридная архитектура Mamba2 и attention из 8 слоёв, контекст 512 токенов и словарь размером 2048. Модель дообучена на 250 млн токенов набора smol-smoltalk.

В репозитории есть варианты F16, Q8_0 и Q4_K_M. Для запуска требуется специальная модификация llama.cpp с поддержкой архитектуры pebble; обычная upstream-сборка её не загружает. README сообщает о проверке совпадения генерации с независимой реализацией. Модель англоязычная и экспериментального масштаба: ожидается игрушечное качество ответов. Лицензия — Apache-2.0.

Сценарии применения

эксперименты с компактными языковыми моделями
генерация коротких ответов в формате чата
локальный запуск небольшой языковой модели через llama.cpp
сравнение вариантов точности GGUF

Ограничения

Ожидается игрушечное качество генерации из-за исследовательского масштаба модели. Для запуска необходима специальная модификация llama.cpp с поддержкой архитектуры pebble; стандартная upstream-сборка её не загружает.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Brought to you by @ContextReq

Pebble-10M-Chat-GGUF

GGUF conversions of basically-ai/Pebble-10M-Chat (Apache 2.0).

IMPORTANT: patched llama.cpp required

Pebble uses a custom hybrid Mamba2 + attention architecture. These GGUFs carry general.architecture = "pebble", which upstream llama.cpp refuses to load.

Everything needed to run them lives in the support repo:

rootendpoint/basicallyai_llama.cpp_support

llama.cpp-pebble.patch - adds the pebble architecture to llama.cpp (applies cleanly against upstream commit 0eadefe)
basicallyai_to_gguf.py - standalone converter (numpy + safetensors only)
numpy_reference.py - independent reference implementation used to verify correctness

Apply the patch, rebuild llama.cpp, then:

llama-cli -m pebble-10m-chat-f16.gguf

Chat template

The lowercase user: / assistant: label format is embedded in the GGUF. It was reverse-engineered by A/B testing and confirmed by the basically-ai team as the exact SFT format:

user: <message>
assistant: <response>

llama-cli and llama-server pick it up automatically.

llama-server -m pebble-10m-chat-f16.gguf --host 127.0.0.1 --port 8080
# web UI at http://127.0.0.1:8080

Files

Quant	Size	Type
f16	20.7 MB	F16
q8_0	11.1 MB	mostly Q8_0
q4_k_m	7.5 MB	mostly Q4_K_M

Verification

Outputs were cross-checked token-by-token against an independent pure-numpy reference implementation over multiple prompts (CPU and CUDA backends, and quantized KV cache). Identical greedy sequences up to genuine argmax ties.

Model

10M parameters, hidden 384, 8 layers (6 Mamba2 + 2 attention), ctx 512, vocab 2048
SFT on 250M tokens of smol-smoltalk
A research-scale model: expect toy-level output quality.

CPU support (no GPU required)

Pure-CPU support for these models (no mamba-ssm, no CUDA) lives in the basicallyai_cpu_support repository:

https://github.com/rootendpoint/basicallyai_cpu_support

It runs the original HF checkpoints in pure PyTorch on plain CPU (~118 tok/s for 10M, ~65 tok/s for 25M on a Ryzen 5 2600X), verified token-identical against this GGUF pipeline and an independent numpy oracle.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Ревизия весов: 2870d73