Экспериментальный промежуточный чекпойнт BananaMind 2 Pico для продолжения англоязычного текста.
17скачиваний за 30 дней0лайковвеса обновлены12 авг 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Banaxi-Tech/pico-50 — промежуточный чекпойнт базовой причинно-языковой модели BananaMind 2 Pico, разработанный Banaxi-Tech. Модель предназначена для продолжения текста и находится на отметке 50% обучения: обработано около 100 млрд токенов из запланированных 200 млрд. Это не модель, настроенная на выполнение инструкций.
Архитектура — плотная causal LM с 6 слоями и размером скрытого состояния 96; в README указано 900 002 параметра, а в метаданных — 841 тыс. Модель принимает текст и генерирует текст, её контекст составляет 4096 токенов. В обучении использовались FineWeb-HQ и Cosmopedia v2; карточка также перечисляет FineWeb-HQ и SmolLM Corpus. Основной заявленный язык — английский. Для загрузки указаны Transformers и `trust_remote_code=True`.
Это экспериментальный незавершённый чекпойнт, поэтому качество генерации может быть ограниченным; следование инструкциям не заявлено. Условия лицензирования в предоставленных данных не описаны.
Сценарии применения
продолжение коротких англоязычных текстов
изучение поведения небольшой причинно-языковой модели
эксперименты с архитектурой BananaMind 2 Pico
Ограничения
Это незавершённый чекпойнт на 50% обучения, не настроенный на выполнение инструкций; качество ответов и следование запросам могут быть ограниченными. Лицензия в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This is the 50% checkpoint of a 900,002-parameter
base causal language model. It is not instruction tuned.
Architecture
Field
Value
Parameters
900,002
Layers / hidden size
6 / 96
SwiGLU intermediate size
380
Query / KV heads
6 / 2
Head dimension
16
Context
4,096
Vocabulary
384, tied
Refresh layers
4 and 6
Refresh kernel
Causal depthwise, width 9
The selective XSA refresh gate reads detached attention output as its signal,
reinjects the original input embedding as its value, and carries convolution
history alongside the K/V cache. Its learned residual scalar starts at zero.
Training
Field
Value
Progress
50%
Tokens seen
100,002,693,120
Target tokens
200,000,000,000
Hardware
4 x NVIDIA H200
Matrix optimizer
Stock torch.optim.Muon
Muon peak LR
0.07
Embedding/control optimizer
AdamW, LR 0.004
Precision
bfloat16 autocast
Token range
FineWeb-HQ
Cosmopedia v2
0.00B-100.00B
80%
20%
100.00B-200.00B
60%
40%
Usage
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Banaxi-Tech/pico-test"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.