Характеристики

Лицензия: Apache 2.0
Базовая модель: Pebble-25M-Chat
Опубликована: 3 сен 2026

Ссылки

Hugging Face

Pebble-25M-Chat-GGUF

basically-experimental

Генерация текстаТекст → текст3 профессии

Компактная англоязычная чат-модель на 25 млн параметров в формате GGUF для локальной генерации текста и диалогов.

320скачиваний за 30 дней1лайквеса обновлены5 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Pebble-25M-Chat-GGUF — конвертированные в формат GGUF веса чат-модели basically-ai/Pebble-25M-Chat. Модель разработана basically-ai; репозиторий GGUF опубликован @ContextReq. Это компактная модель на 25 млн параметров с гибридной архитектурой Mamba2 и Transformer: 8 слоёв, из которых 6 используют Mamba2 и 2 — механизм внимания. Контекст составляет 2048 токенов, словарь — 2048 токенов.

Модель предназначена для локальной генерации текста и простых диалогов. README характеризует её как исследовательскую модель масштаба, рассчитанную на игрушечный уровень качества. Доступны варианты F16, Q8_0 и Q4_K_M; проверка автора показала совпадение жадной генерации квантованных вариантов с F16 на восьми тестовых запросах. Карточка описывает базовую модель как англоязычную.

Для запуска требуется модифицированная версия llama.cpp с поддержкой архитектуры Pebble: upstream llama.cpp не загружает эти GGUF-файлы. Используется шаблон диалога с ходами `user:` и `assistant:`. Лицензия — Apache-2.0.

Сценарии применения

локальные простые диалоги на английском языке
эксперименты с гибридной архитектурой Mamba2 и Transformer
тестирование GGUF-моделей на CPU или GPU
изучение запуска чат-моделей через модифицированный llama.cpp

Ограничения

Качество ответов ожидается на игрушечном уровне из-за исследовательского масштаба модели. Для запуска требуется патч llama.cpp, поскольку upstream-версия не поддерживает архитектуру Pebble; контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Brought to you by @ContextReq

Pebble-25M-Chat-GGUF

GGUF conversions of basically-ai/Pebble-25M-Chat (Apache 2.0).

IMPORTANT: patched llama.cpp required

Pebble uses a custom hybrid Mamba2 + attention architecture. These GGUFs carry general.architecture = "pebble", which upstream llama.cpp refuses to load.

Everything needed to run them lives in the support repo:

rootendpoint/basicallyai_llama.cpp_support

llama.cpp-pebble.patch - adds the pebble architecture to llama.cpp (applies cleanly against upstream commit 0eadefe)
basicallyai_to_gguf.py - standalone converter (numpy + safetensors only)
numpy_reference.py - independent reference implementation used to verify correctness

The chat template is embedded in the GGUF metadata; chat mode works out of the box:

llama-cli -m pebble-25m-chat-f16.gguf

Chat format: lowercase user: ... / assistant: ... turns.

Files

Quant	Size	Type
f16	49.1 MB	F16
q8_0	26.3 MB	mostly Q8_0
q4_k_m	18.5 MB	mostly Q4_K_M

Verification

Outputs were cross-checked token-by-token against an independent pure-numpy reference implementation over an 8-prompt battery (CPU and CUDA backends). Identical greedy sequences on all prompts. Quantized builds verified greedy-identical to f16 (8/8 prompts for both q8_0 and q4_k_m).

Model

25M parameters, hidden 608, 8 layers (6 Mamba2 + 2 attention), ctx 2048, vocab 2048
SFT chat variant; a research-scale model: expect toy-level output quality.

CPU support (no GPU required)

Pure-CPU support for these models (no mamba-ssm, no CUDA) lives in the basicallyai_cpu_support repository:

https://github.com/rootendpoint/basicallyai_cpu_support

It runs the original HF checkpoints in pure PyTorch on plain CPU (~118 tok/s for 10M, ~65 tok/s for 25M on a Ryzen 5 2600X), verified token-identical against this GGUF pipeline and an independent numpy oracle.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Ревизия весов: 6c36453