Незавершённая базовая языковая модель Banaxi-Tech для генерации и продолжения английского текста.
18скачиваний за 30 дней0лайковвеса обновлены12 авг 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Banaxi-Tech/pico-30 — промежуточный чекпойнт BananaMind 2 Pico, автор — Banaxi-Tech. Это базовая причинно-языковая модель для генерации текста, обученная на 30% запланированного этапа; она не проходила инструкционную настройку и рассчитана на продолжение текста, а не на следование пользовательским командам. В README указано 900 002 параметра, 6 слоёв, размер скрытого состояния 96 и контекст до 4096 токенов по метаданным. Архитектура использует выборочный шлюз XSA refresh; модель загружается через Transformers с trust_remote_code.
Обучение достигло 60 001 615 872 токенов из целевых 200 млрд. В метаданных перечислены FineWeb-HQ и smollm-corpus, а README описывает смесь FineWeb-HQ и Cosmopedia v2. Карточка не сообщает лицензию, поэтому условия использования установить нельзя. Это экспериментальный незавершённый чекпойнт: ожидаются ограничения в качестве и следовании инструкциям; кроме английского, поддержка других языков не подтверждена.
Сценарии применения
эксперименты с генерацией английского текста
продолжение коротких английских фрагментов
изучение компактных причинно-языковых моделей
исследование архитектуры BananaMind 2 Pico
проверка поведения промежуточного чекпойнта при генерации
Ограничения
Это чекпойнт на 30% обучения, не настроенный на инструкции, поэтому качество и выполнение команд могут быть ограничены. Лицензия в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is the 30% checkpoint of a 900,002-parameter
base causal language model. It is not instruction tuned.
Architecture
Field
Value
Parameters
900,002
Layers / hidden size
6 / 96
SwiGLU intermediate size
380
Query / KV heads
6 / 2
Head dimension
16
Context
4,096
Vocabulary
384, tied
Refresh layers
4 and 6
Refresh kernel
Causal depthwise, width 9
The selective XSA refresh gate reads detached attention output as its signal,
reinjects the original input embedding as its value, and carries convolution
history alongside the K/V cache. Its learned residual scalar starts at zero.
Training
Field
Value
Progress
30%
Tokens seen
60,001,615,872
Target tokens
200,000,000,000
Hardware
4 x NVIDIA H200
Matrix optimizer
Stock torch.optim.Muon
Muon peak LR
0.07
Embedding/control optimizer
AdamW, LR 0.004
Precision
bfloat16 autocast
Token range
FineWeb-HQ
Cosmopedia v2
0.00B-100.00B
80%
20%
100.00B-200.00B
60%
40%
Usage
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Banaxi-Tech/pico-test"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.