Характеристики

Лицензия: MIT
Библиотека: pytorch
Опубликована: 4 окт 2026

Ссылки

anlp-a2-optimizers-lion

Генерация текстаТекст → текст

Небольшая экспериментальная языковая модель на PyTorch для генерации английского текста и экспериментов с оптимизатором Lion.

126скачиваний за 30 дней0лайковвеса обновлены4 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

anlp-a2-optimizers-lion — экспериментальная языковая модель, обученная в рамках курса Advanced NLP (Monsoon 2026) для задания по оптимизатору Lion. Это авторегрессионная модель на PyTorch с 10,4 млн параметров: 8 слоёв, 8 голов внимания, размерность модели 256 и словарь из 16 000 токенов. Контекст составляет 256 токенов; модель обучалась на 42 090 496 токенах корпуса browndw/human-ai-parallel-corpus, содержащего английский текст.

Модель предназначена для экспериментов с генерацией текста и изучения влияния оптимизатора Lion на обучение небольшой языковой модели. В README приведены метрики на тестовой выборке: loss 4,682, perplexity 107,952, accuracy 0,253 и BLEU 0,472. Это небольшой учебный чекпойнт, поэтому качество и применимость за пределами эксперимента ограничены. Лицензия — MIT.

Сценарии применения

эксперименты с генерацией английского текста
сравнение обучения языковых моделей с оптимизатором Lion
изучение поведения небольшой авторегрессионной модели
воспроизведение учебного задания по продвинутой обработке естественного языка

Ограничения

Модель имеет всего 10,4 млн параметров и контекст 256 токенов, поэтому её возможности существенно уступают крупным языковым моделям. Тестовые метрики в README указывают на ограниченное качество генерации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

anlp-a2-optimizers-lion

Advanced NLP (Monsoon 2026), Assignment 2.

Part 2, optimizer lion. 10.4M params, trained on 42090496 tokens = 0.33x Chinchilla. Best checkpoint by validation loss; test loss 4.682, ppl 107.952, acc 0.253, bleu 0.472.

Run

item	value
parameters	10.4M
training step	5138
wandb	https://wandb.ai/winterdew-iiit-hyderabad/anlp-a2-part2/runs/5zxuma69

Hyperparameters

setting	value
optimizer	Lion
max_grad_norm	1.0
weight_decay	1.0, 0.0
betas	(0.9, 0.99)
lr	3e-05
param_groups	2
trainable_params	10391808
schedule	linear warmup 2% then cosine to 0% of peak
batch_size	32
grad_accum	1
tokens_per_step	8192
n_ctx	256
total_steps	5137
warmup_steps	102
trained_tokens	42090496
chinchilla_ratio	0.3342
precision	fp16
seed	26

Model config

{
  "vocab_size": 16000,
  "n_ctx": 256,
  "rope_base": 10000.0,
  "d_model": 256,
  "n_heads": 8,
  "n_layers": 8,
  "d_ff": 1024,
  "dropout": 0.1,
  "tie_embeddings": true,
  "use_moe": false,
  "n_experts": 4,
  "n_active": 1,
  "n_shared": 0,
  "match_active": false,
  "moe_aux_weight": 0.01
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: 871546a