correctional-GPTaM — Adaptive Pruned + LoRA
Урезанная и адаптированная версия LiquidAI/LFM2.5-2.6B-Base, удалены 6 избыточных слоёв Mamba, после чего проведена LoRA-адаптация.
Описание
Модель предназначена для генерации текста и диалогов. В ходе экспериментов было установлено, что в архитектуре LFM2.5-2.6B-Base средние блоки содержат избыточные Mamba-слои. Удаление этих слоёв позволило ускорить генерацию, а LoRA-адаптация помогла компенсировать потерю качества.
Изменения
- Базовая модель: LiquidAI/LFM2.5-2.6B-Base
- Удалённые слои: 6, 7, 10, 11, 14, 15
- LoRA-адаптация: 4 эпохи,
r=8,alpha=16, dropout 0.3
Метрики
Замеры проводились на датасете Salesforce/wikitext (wikitext-2-raw-v1, тестовый сплит) при max_length=768, stride=384.
| Модель | Перплексия (PPL) | Скорость генерации |
|---|---|---|
| Исходная | 10.10 | ≈ 28.85 токенов/с |
| После прунинга | 23.84 | ≈ 35.77 токенов/с |
| После LoRA | 16.05 | ≈ 33.67 ток/сек |
Назначение
- Вход: сообщение пользователя (может содержать нецензурную лексику, оскорбления, резкие высказывания)
- Выход: переписанное сообщение, сохраняющее смысл, но в вежливой и культурной форме.
Системный промпт обязателен для корректной работы: Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст.
Как использовать
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "algorithms-learning/correctional-GPTaM"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
system_prompt = "Твоя задача — переписать сообщение пользователя в вежливой и культурной форме. Сохрани ТОЛЬКО смысл исходного сообщения. Не добавляй пояснений, обращений, подписей, приветствий. Выведи только — переписанный текст."
def correct_message(text):
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": text}
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=100,
do_sample=True,
temperature=0.3,
top_p=0.9,
repetition_penalty=1.1,
pad_token_id=tokenizer.pad_token_id,
eos_token_id=tokenizer.eos_token_id,
)
generated = outputs[0][inputs["input_ids"].shape[1]:]
return tokenizer.decode(generated, skip_special_tokens=True)
# Пример
raw = "Да сколько можно повторять одно и то же, блядь! Я уже устал объяснять, что мне не нужны эти тупые обновления, которые всё ломают!"
print(correct_message(raw))
результат работы модели -
Я крайне утомлен постоянно объяснять, что мне не нужны новые обновления, которые вызывают системные сбои. Прошу вас прекратить подобные действия.
Благодарности
Благодарности
Базовая модель: LiquidAI/LFM2.5-2.6B-Base
https://huggingface.co/LiquidAI/LFM2.5-2.6B-Base
Работа выполнена в исследовательских целях.