/ Модель

Характеристики

Контекст
262 144 токена
Параметры
990 млн
Лицензия
Своя лицензия
Архитектура
lact_swiglu · dense
Библиотека
transformers
Опубликована
16 авг 2026

lact-1b-p24-1-explicit-all-one-gtcf-on-soft-z0001-step-2048

Генерация текстаТекст → текст3 профессии

Экспериментальный чекпойнт LaCT примерно на 990 млн параметров для генерации текста и диалога с маршрутизацией раннего выхода.

25скачиваний за 30 дней0лайковвеса обновлены16 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LaCT 1B p24-1 explicit-all-one GTCF-ON — архивная публикация весов экспериментального чекпойнта LaCTForCausalLM, разработанного авторами проекта LaCT. Репозиторий содержит терминальный чекпойнт шага 2048 обучения с seed 42: плотную модель примерно на 989,7 млн параметров с механизмами маршрутизации EXIT/CONTINUE и раннего выхода. Для работы нужны совместимая реализация LaCT и токенизатор базового чекпойнта LaCT; токенизатор в этот репозиторий не включён.

Модель предназначена для генерации текста и диалогового использования. Конфигурация обучения использовала последовательности длиной 65 536 токенов, а заявленный нативный размер контекста составляет 262 144 токена. Веса опубликованы в формате safetensors. В README отмечено, что завершены отдельные оценки NIAH-1, LongBenchV2 и PG-19, но полный результат по пяти тестовым наборам не заявлен. Лицензия обозначена как other; конкретные условия необходимо уточнить в материалах репозитория.

Сценарии применения

  • генерация продолжений текста
  • диалоговое взаимодействие с языковой моделью
  • эксперименты с маршрутизацией раннего выхода
  • исследование обработки длинного контекста

Ограничения

Репозиторий содержит только веса: для запуска нужны совместимая реализация LaCT и токенизатор из базового чекпойнта. В README не заявлен полный результат по пяти наборам оценки; условия лицензии other требуют уточнения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LaCT 1B p24-1 explicit-all-one GTCF-ON, z=0.0001, step 2048

This public repository is a weights-only archival release of the exact seed-42 terminal step-2048 checkpoint. The checkpoint uses the historical explicit all-one read/update gates in the unrouted prefix while retaining the current K/V-only projection, corrected variable-length boundaries, and exact frozen-head CE path.

The scientific configuration is GTCF-ON with a stop-gradient full-depth teacher, router_eff_coeff=0.5, router_z_coeff=0.0001, exit_ce_loss_coeff=0.5, rank-128 SiLU exit adapters, max-pooled router features, and native binary EXIT/CONTINUE argmax routing. Training used sequence length 65,536, gradient accumulation 4, 2,048 steps, a 512-step readout-only first stage, and seed 42.

model.safetensors is 4,381,433,160 bytes with SHA-256 f9543e46631a1413ffcce694a5e8df225bd7285caebc3e9be4f830474cf44bd4. It contains 542 F32 tensors, including all 20 router tensors, 10 exit-adapter tensors, and 5 exit-norm tensors. The export was produced directly from the complete nine-file full-state step-2048 DCP and passed the project's exact config guard and from_pretrained router-state load guard.

This repository intentionally excludes optimizer and data-iterator state, evaluation predictions/targets/samples, internal operational paths, and tokenizer bytes. Use the matching LaCT implementation in yuan_ttt and the tokenizer from the compatible LaCT base checkpoint (BOS 128000, EOS 128009, vocabulary 128256).

Training completed successfully. NIAH-1, LongBenchV2, and PG-19 also completed, but this archive does not claim a complete five-suite paper result until the separate NIAH-2/3 recovery is admitted. No evaluation samples are published here.

See provenance/ for the public scientific/router contract, source attestation, tensor inventory, and payload checksums.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Архитектура lact_swiglu неизвестна transformers в образе рантайма.

Класс архитектуры
LaCTForCausalLM
Ревизия весов
f47ce8a

0 моделей