/ Модель

Характеристики

Контекст
131 072 токена
Базовая модель
Llama-3.1-8B
Библиотека
peft
Опубликована
21 авг 2026

llama31-8b-knapsack-lora-stateless

Генерация текстаТекст → текст3 профессии

llama31-8b-knapsack-lora-stateless — LoRA-адаптер для модели meta-llama/Llama-3.1-8B, выпущенный анонимными авторами в качестве сопутствующего материала к заявке на воркшоп NeurIPS.

456скачиваний за 30 дней0лайковвеса обновлены22 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Адаптер дообучен для агентской задачи Opaque Knapsack в режиме stateless: состояние Python-интерпретатора сбрасывается после каждого хода агента. Модель предназначена прежде всего для воспроизведения и исследования поведения языковой модели в этом специализированном сценарии, а не как универсальная готовая чат-модель.

Обучение выполнено с помощью Axolotl и PEFT с LoRA поверх 4-битно квантованной NF4-базы. Использованы rank 64, alpha 128, dropout 0,05, адаптация q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj и down_proj, длина последовательности 16384 токена и три эпохи обучения. Языки и полный набор модальностей README не уточняет; по назначению это текстовая модель с pipeline text-generation. Для базового non-instruct checkpoint применяется собственный минимальный шаблон с BOS/EOS и текстовыми префиксами ролей, поскольку native instruct-шаблон Llama не использовался.

Сильные стороны адаптера — узкая специализация на заданной агентской задаче, явная фиксация режима обучения и конфигурации для воспроизводимости, а также экономичность дообучения LoRA. Ограничения состоят в зависимости от базовой модели и совместимого PEFT/Transformers-окружения, специализации на Opaque Knapsack и необходимости учитывать stateless-семантику интерпретатора и нестандартный шаблон диалога. Лицензия в README не указана; также не приведены отдельные сведения о поддерживаемых языках, качестве, метриках и ограничениях коммерческого использования.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama31-8b-knapsack-lora-stateless

Anonymous supplementary release for a double-blind workshop submission. This is one of four LoRA adapters (Mistral-7B-v0.3 / Llama-3.1-8B base model x persistent/stateless training regime) fine-tuned on the Opaque Knapsack agentic task, extending a prior single-base-model result (see the sibling Qwen3-8B release) to a second base model family for the same reproducibility review.

  • Base model: meta-llama/Llama-3.1-8B
  • Training regime: stateless (trained with a stateless Python interpreter runtime (interpreter state is reset every agent turn))
  • Seed: 3407

Training configuration

Fine-tuned with Axolotl, LoRA adapter, 4-bit NF4 quantized base:

HyperparameterValue
lora_r64
lora_alpha128
lora_dropout0.05
lora_target_modulesq_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
learning_rate1e-4
lr_schedulercosine
optimizeradamw_torch
epochs3.0
micro_batch_size1
gradient_accumulation_steps16
sequence_len16384
sample_packingfalse
seed3407
training datapaired traces for the "stateless" regime (see paper Appendix for pairing/filtering procedure)

Base checkpoint's own chat-format tokens (e.g. <|eot_id|>) are untrained on this base (non-instruct) checkpoint -- trained and served with a hand-written minimal template using only real trained tokens (BOS/EOS + plain-text role prefixes), not Llama's native instruct template.

Provenance

Released anonymously alongside a NeurIPS workshop submission for reproducibility review. Non-anonymous release (paper citation, full code, full training traces) will follow after the review process concludes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Ревизия весов
40d44d4

0 моделей