Компактная англоязычная языковая модель ParallaxOpen на 31,3 млн параметров для генерации текста и экспериментов с простыми математическими задачами.
181скачиваний за 30 дней2лайкавеса обновлены30 сен 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Vela-Lumen-31M — компактная языковая модель ParallaxOpen на 31,3 млн параметров, обученная с нуля. Это плотный декодерный Transformer с GQA 8:4, SwiGLU, RMSNorm и RoPE; модель доступна в форматах GGUF F16 и Safetensors FP16/FP32 и запускается через Ollama, llama.cpp и LM Studio либо из Python.
Модель предназначена для генерации текста и простых диалоговых сценариев, включая эксперименты с математическими задачами. Она предварительно обучалась на 1,5 млрд токенов, затем дообучалась на 780 тысячах примеров ChatML; обучение заняло около восьми часов на ноутбучном GPU с 8 ГБ памяти. В карточке указан английский язык.
README характеризует модель как proof of concept: оценка GSM8K составляет 3%, а примерный ELO — 900–950, поэтому её возможности заметно ограничены по сравнению с более крупными моделями. Лицензия CC BY-NC 4.0 разрешает использование с ограничениями на коммерческое применение.
Сценарии применения
локальный запуск небольшой языковой модели на потребительском оборудовании
генерация коротких текстовых продолжений на английском языке
эксперименты с диалогами в формате ChatML
проверка простых математических рассуждений
обучение и исследование компактных языковых моделей
Ограничения
Модель является proof of concept с низким результатом на GSM8K (3%) и ориентировочной оценкой ELO 900–950; её возможности ограничены малым размером и объёмом обучения. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Pretrain: 1.5B tokens, 40K steps, loss 4.0, ~4h on RTX 5060
SFT: 780K ChatML samples, 64K steps, loss 1.54, ~4h on RTX 5060
Total: 8 hours on a single 8GB laptop GPU
Citation
@software{vela-lumen-31m,
title={Vela-Lumen-31M: A 31M-parameter Language Model Trained from Scratch},
author={ParallaxOpen},
year={2026},
note={Trained on a single RTX 5060 Laptop GPU in 8 hours}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Архитектура small_lm неизвестна transformers в образе рантайма.