MicroLlama-v3
MicroLlama-v3 is a compact and ultra-fast 134M language model developed from scratch for text generation.
⚡ Specs
- Architecture: Transformer / Causal LM (LLama)
- Parameters: ~134M
- Language: English, Russian
- Format: ChatML
- Context: 2048
📜 License
Distributed under the MIT License.
MicroLlama-v3
MicroLlama-v3 — это компактная и сверхбыстрая 134М языковая модель, разработанная с нуля для генерации текста.
⚡ Характеристики
- Архитектура: Transformer / Causal LM (LLama)
- Объём параметров: ~134 млн
- Основной язык: English, Russian
- Формат диалога: ChatML
- Контекст: 2048
📜 Лицензия
Распространяется под лицензией MIT.
🚀 Quick Start / Быстрый запуск
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "ViorikaAI-org/MicroLlama-v3"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.float16,
device_map="auto"
)
prompt = "<|im_start|>user\nПривет, как тебя зовут?<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=256,
temperature=0.6,
top_p=0.9,
repetition_penalty=1.25,
do_sample=True
)
print(tokenizer.decode(outputs[0], skip_special_tokens=False))