Характеристики

Лицензия: Apache 2.0
Архитектура: cascade_byte_lm · dense
Опубликована: 9 авг 2026

Ссылки

Hugging Face

cascade-1b-bpe-logic

Asilarkness

Генерация текстаТекст → текст3 профессии

Экспериментальная базовая языковая модель примерно на 1,04 млрд параметров для генерации и продолжения текста.

23скачиваний за 30 дней0лайковвеса обновлены10 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Cascade-1B-BPE-Logic — экспериментальная причинно-языковая модель примерно с 1,04 млрд параметров, разработанная Asilarkness. Это базовая модель для генерации текста, а не настроенный на выполнение инструкций ассистент. Она использует токенизатор Mistral на 32 тыс. токенов, инициализацию на основе байтовых представлений из Cascade-1B-Logic и архитектуру Cascade с четырьмя локальными слоями токенов и одним активным восьмислойным путём из трёх на каждый пакет данных.

Модель обучалась на FineWeb-Edu, FineMath, Cosmopedia v2, OpenR1-Math и очищенных от пересечений данных Codeforces CoT. В карточке заявлена поддержка английского и русского языков. Модель может служить экспериментальной основой для генерации и продолжения текста, в том числе текстов с математическим и программным содержанием. Лицензия — Apache 2.0.

Это ранняя экспериментальная версия. README предупреждает, что контрольные точки могут генерировать бессвязный или небезопасный текст; настройки для диалога и следования инструкциям у модели нет.

Сценарии применения

эксперименты с генерацией текста
продолжение текстовых фрагментов
исследование архитектуры Cascade
эксперименты с математическими рассуждениями
эксперименты с генерацией кода

Ограничения

Модель не настроена на выполнение инструкций; контрольные точки могут выдавать бессвязный или небезопасный текст. Качество работы заявлено как экспериментальное.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Cascade-1B-BPE-Logic

Public experimental causal language model with approximately 1.04B parameters. It uses the open 32k Mistral tokenizer, byte-derived initialization from Cascade-1B-Logic, four local token layers, entropy-guided token patches, and one active eight-layer core path out of three per batch.

Training streams FineWeb-Edu, FineMath, Cosmopedia v2, OpenR1-Math, and decontaminated Codeforces CoT. Hidden matrices use Muon; embeddings, normalization parameters, and vocabulary heads use AdamW. Checkpoints are uploaded every 5000 steps and lightweight state every 1000 steps. Hub failures are asynchronous and never terminate training.

This is an early base model, not an instruction-tuned assistant. Checkpoints may produce incoherent or unsafe text.

Tokenizer source: mistralai/Mistral-7B-v0.1.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура cascade_byte_lm неизвестна transformers в образе рантайма.

Класс архитектуры: CascadeForCausalLM
Ревизия весов: 56b5aad