Model Details
Saltlux, AI Labs 언어모델팀에서 학습 및 공개한 Ko-Llama3-Luxia-8B 모델은 Meta에서 출시한 Llama-3-8B 모델을 한국어에 특화한 모델입니다. 자체 보유하고 있는 1TB 이상의 한국어 학습 데이터 중, 약 100GB 정도의 데이터를 선별하여 사전학습에 활용하였습니다. 또한 공개된 Llama-3 Tokenizer를 한국어로 확장하고 사전학습에 활용했습니다.
- Meta Llama-3: Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dialogue use cases and outperform many of the available open source chat models on common industry benchmarks. Further, in developing these models, we took great care to optimize helpfulness and safety.
- License: Llama3 License https://llama.meta.com/llama3/license
Intended Use
Ko-Llama3-Luxia-8B는 연구용으로 제작되었으며, 다양한 자연어 생성 태스크를 위해 자유롭게 학습 및 활용할 수 있습니다.
How to Use
해당 모델 카드에는 Ko-Llama3-Luxia-8B 모델과 transformers 라이브러리 기반의 예시 코드를 제공합니다.
import transformers
import torch
model_id = "saltlux/Ko-Llama3-Luxia-8B"
pipeline = transformers.pipeline(
"text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.")
Training Details
한국어 특화를 위한 사전학습 데이터는 Saltlux에서 보유한 뉴스, 법률, 특허, 의료, 역사, 사회, 문화, 대화(문어/구어) 등의 도메인으로 구성된 100GB 수준의 코퍼스(~2023년)를 활용하였습니다.
- 현재 제공되는 모델은 1 Epoch 학습된 모델입니다.
Use Device
사전학습은 NVIDIA H100 80GB * 8EA 장비를 활용하여 진행하였습니다.
Training Hyperparameters
Tokenizer
Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17,536개를 추가하고 활용하였습니다.
Tokenizer Result
- Ko
- En
Inference Result
Citation instructions
Ko-Llama3-Luxia-8B
@article{kollama3luxiamodelcard,
title={Ko Llama 3 Luxia Model Card},
author={AILabs@Saltux},
year={2024},
url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}
Original Llama-3
@article{llama3modelcard,
title={Llama 3 Model Card},
author={AI@Meta},
year={2024},
url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}