Характеристики

Лицензия: Apache 2.0
Архитектура: cascade_byte_lm · dense
Библиотека: pytorch
Опубликована: 9 авг 2026

Ссылки

cascade-1b-logic

Генерация текстаТекст → текст3 профессии

Экспериментальная байтовая языковая модель Cascade примерно на 1 млрд параметров для генерации текста и исследований авторегрессионного моделирования.

24скачиваний за 30 дней0лайковвеса обновлены9 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Cascade-1B-Logic — экспериментальная байтовая авторегрессионная языковая модель, созданная разработчиками проекта Cascade. Она предназначена для продолжения текста и исследований эффективности языкового моделирования; это не модель для выполнения инструкций. Модель обрабатывает UTF-8 байты без внешнего токенизатора: четыре локальных причинных слоя Transformer работают с каждым байтом, а глобальные маршруты обрабатывают сжатые участки последовательности. В карточке указано около 1 млрд параметров, примерно треть из которых активна на каждом токене, и контекст длиной 1024 байта.

Модель обучается на англоязычной смеси веб-текстов, математических материалов и данных с рассуждениями. Предварительный результат прототипа показал меньшие потери на тесте TinyStories и более низкие расчётные FLOP по сравнению с плотной базовой моделью сопоставимого размера, однако это не подтверждает широкие способности к рассуждению или готовность к эксплуатации. Обучение продолжается, а чекпойнты обновляются. В репозитории размещены веса BF16 в формате safetensors. Лицензия модели — Apache-2.0; лицензии исходных обучающих наборов следует проверять отдельно перед их перераспределением или коммерческим использованием.

Сценарии применения

эксперименты с байтовой генерацией текста
исследование авторегрессионных языковых моделей
сравнение разреженных и плотных архитектур при обучении
изучение моделирования математических текстов и рассуждений

Ограничения

Это активный исследовательский чекпойнт, а не instruction-модель; контекст ограничен 1024 байтами. Результаты прототипа на TinyStories не доказывают широкие способности к рассуждению или готовность к производственному применению.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Cascade-1B-Logic

Public experimental byte-level causal language model. Training is in progress and checkpoints are uploaded continuously.

Architecture

Approximately 1B stored parameters and approximately one third active per token.
UTF-8 bytes, vocabulary 256, no external tokenizer.
Four local causal Transformer layers process every byte.
Entropy boundaries compress the stream to about one patch per eight bytes, with capacity for 192 patches per 1024-byte sequence. Over-cap boundaries are uniformly coalesced across the sequence instead of truncating its tail.
Three independent eight-layer global routes are trained cyclically, one full batch per route.
The previous completed global patch conditions the local prediction, preventing future-token leakage.
Muon optimizes hidden matrices; AdamW optimizes embeddings and normalization parameters.
BF16 training on one NVIDIA RTX PRO 6000 Blackwell, with batch size selected by a live memory/throughput probe.

Default context is 1024 bytes. This is a research checkpoint, not an instruction model.

Data mixture

The stream is not redistributed in this repository:

58% FineWeb-Edu sample-10BT
22% FineMath finemath-4plus
10% Cosmopedia v2
7% OpenR1-Math-220k
3% decontaminated Codeforces reasoning traces

Review each upstream dataset card and license before redistribution or commercial use.

Checkpoints

checkpoints/step-XXXXXXXX/model.safetensors contains BF16 model weights. training_state.json reports live loss, throughput, token count, batch size, routing and patch statistics.

Evidence and limits

The precursor 998.7M-parameter prototype reached validation byte loss 1.235 versus 1.360 for a 988.1M dense baseline on the same TinyStories test. It used about 4.15x fewer estimated model FLOPs and ran 2.06x faster wall-clock. This short controlled result motivated full training; it is not evidence of 100x speedup, broad reasoning ability or production readiness.

Training code and architecture are included for auditability. Results may change while training is active.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура cascade_byte_lm неизвестна transformers в образе рантайма.

Класс архитектуры: CascadeForCausalLM
Ревизия весов: 26f05d1