Характеристики

Контекст: 65 536 токенов
Параметры: 445 млн
Лицензия: Apache 2.0
Архитектура: kimi_linear · dense
Библиотека: transformers
Опубликована: 10 сен 2026

Ссылки

Hugging Face

Nalu-1.0-Base

khtsly

Генерация текстаТекст → текст

Базовая англоязычная авторегрессионная модель для генерации текста и кода, в том числе по Roblox и Luau.

655скачиваний за 30 дней1лайквеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nalu-1.0-Base — базовая авторегрессионная языковая модель khtsly для генерации текста, включая помощь с кодом Roblox и Luau. Это предварительно обученная плотная модель семейства Kimi Linear с 444,6 млн параметров в формате Safetensors; в архитектуре чередуются блоки Kimi DeltaNet и Multi-head Latent Attention, а эмбеддинги токенов связаны с выходным слоем. Метаданные указывают контекст до 1 048 576 токенов, тогда как README сообщает о 65 536 токенах.

Модель предназначена для продолжения текста и генерации кода; среди обучающих данных указаны корпуса по Roblox и Luau, а также общие веб-тексты, математика, книги и Википедия. Английский указан как язык карточки. Для использования доступна лицензия Apache-2.0. README характеризует модель как базовую и предварительно обученную, поэтому её возможности в диалоге и специализированных сценариях зависят от дальнейшей настройки.

Сценарии применения

генерация и продолжение кода Luau
подсказки по разработке игр в Roblox
ответы и продолжение текста на английском
дальнейшее дообучение для специализированной генерации

Ограничения

Это базовая предварительно обученная модель, поэтому качество диалоговых ответов и следования инструкциям может быть ограничено без дополнительной настройки. README и метаданные указывают разные значения длины контекста: 65 536 и 1 048 576 токенов соответственно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nalu 1.0 - 0.5B (Base) 🦭

Model Overview

Type: Text Causal Language Model
Training Stage: Pre-training
Language Model
- Number of Parameters: 0.5B
- Hidden Dimension: 1024
- Token Embedding: 32768 (Padded)
- Number of Layers: 32
- Hidden Layout: 8 × (3 × (Kimi DeltaNet → FFN) → 1 × (Multi-head Latent Attention → FFN))
- Kimi DeltaNet:
  - Number of Linear Attention Heads: 16
  - Head Dimension: 64
- Multi-head Latent Attention:
  - Number of Attention Heads: 16
  - Head Dimension: 64 or 128
  - No Positional Embedding Dimension: 64
  - Use Output Gate: Yes
- Attention Residuals:
  - Granularity: Sub-Layer
  - Block Size: 4
- Feed Forward Network:
  - Intermediate Dimension: 2816
  - Activation: SiTU-GLU
- LM Output: 32768 (Tied to token embedding)
Context Length: 65,536 natively.

License

This repository and Luau-Coder model weights are released under the Apache-2.0 License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: KimiLinearForCausalLM
Ревизия весов: 9fad509