Характеристики

Контекст: 512 токенов
Параметры: 20,4 млн
Лицензия: Apache 2.0
Архитектура: cortex · dense
Базовая модель: cortex-0.3-0.02b
Библиотека: mlx
Опубликована: 7 окт 2026

Ссылки

Hugging Face

cortex-0.3-0.02b-mlx

Ilides

Генерация текстаТекст → текст

Компактная версия Cortex в формате MLX для генерации текста и диалогов на компьютерах Apple Silicon.

297скачиваний за 30 дней0лайковвеса обновлены7 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Ilides/cortex-0.3-0.02b-mlx — версия в формате MLX модели Cortex, предназначенная для генерации текста и разговорных сценариев на компьютерах Apple Silicon. Это производная от Ilides/cortex-0.3-0.02b, обученной с нуля модели GPT с 20,4 млн параметров; пакет содержит веса Safetensors, реализацию архитектуры и токенизатор и запускается без PyTorch и mlx-lm.

Модель использует плотную авторегрессионную архитектуру Cortex с 6 слоями, размерностью 192, словарём из 16 384 токенов, обучаемыми позиционными эмбеддингами без RoPE, RMSNorm, многоголовой attention и SwiGLU. Контекст — 512 токенов. README сообщает о проверенной близости логитов реализации MLX и эталонной реализации NumPy. Модель рассчитана на компактную генерацию текста и диалогов; сведений о специализации по конкретному естественному языку нет.

Лицензия — Apache-2.0. Небольшой размер и короткий контекст ограничивают сложность и длину запросов; результаты проверки паритета логитов подтверждают численное соответствие реализации, но не описывают качество ответов или широкую пригодность модели.

Сценарии применения

генерация коротких текстовых продолжений
создание простого разговорного помощника
локальные эксперименты с компактной GPT-моделью на Apple Silicon

Ограничения

Контекст ограничен 512 токенами, а модель содержит около 20,4 млн параметров, что ограничивает сложность задач. README сообщает о соответствии логитов эталонной реализации, но не приводит оценок качества генерации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

cortex-0.3-0.02b · MLX (Apple Silicon)

Versión MLX (Metal) de Ilides/cortex-0.3-0.02b, el GPT conversacional de 20.6 M parámetros entrenado desde cero en NumPy puro. Ejecuta nativamente en Apple Silicon sin PyTorch.

Requisitos

pip install mlx safetensors transformers regex

Uso

# batería de prompts de prueba (por defecto)
python generate_mlx.py

# una pregunta
python generate_mlx.py "¿Qué eres?" --max-new 128

# chat interactivo (escribe "salir" para terminar)
python generate_mlx.py --interactive --temperature 0.8

Bundle autocontenido: weights.safetensors (45 tensores) + model.py (arquitectura) + generate_mlx.py (CLI) + tokenizer. No depende de mlx-lm ni de código externo del Hub.

Verificación

Paridad de logits MLX vs NumPy (implementación de referencia): max|Δ| = 3.65e-05 (< 1e-4). Tokens EOS efectivos: {0, 6}.

Arquitectura

cortex: embeddings de posición aprendidos (sin RoPE), RMSNorm + atención multi-cabeza + SwiGLU, embeddings atados (tie_word_embeddings). Contexto 512, 6 capas, d_model 192, vocab 16384 (BPE byte-level).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: CortexForCausalLM
Ревизия весов: e72cbe1