DTRO - Gemma-3n (파인튜닝) — 모델 설명서
개요
이 모델의 파인튜닝은 실패이며 전혀 동작하지 않습니다. 다운로드 받지 마세요 그냥 이제까지 작업했던 기록으로 남겨 두었습니다.
DTRO-gemma3n_finetuned은 대구교통공사 3호선 전력관제 업무에 특화된 로컬 LLM입니다.
기존의 Gemma-3n 모델을 기반으로, 업무 관련 문서(매뉴얼, 사규, 용어집, 과거 장애보고서 등)를 Q&A 형태로 정제한 총 1,624건의 데이터셋으로 약하게(1 에포크) 파인튜닝하여, 검색 기반 DB와 결합했을 때 운영자에게 보다 전문적이고 상황에 적합한 AI 브리핑을 제공하도록 설계했습니다.
이 프로젝트의 핵심 목표는 다음과 같습니다.
- 장애 발생 시 검색된 관련 문서와 실시간 로그를 근거로 항목화된 ‘AI 브리핑’을 생성하여 운영자의 판단을 보조합니다.
- 파인튜닝은 모델의 일반 능력을 훼손하지 않도록 의도적으로 약하게 수행(1 에포크)하여, LLM 단독 성능 저하를 최소화합니다.
- 저사양 PC에서도 운용 가능한 GGUF(q4/q6) 형식을 제공하여, 사내 오프라인·보안 환경에서 안전하게 활용할 수 있도록 합니다.
핵심 포인트(요약)
- 파인튜닝 데이터: 1,624건 (업무 관련 Q&A, 매뉴얼·사규·용어·장애보고서 기반)
- 학습 전략: 1 에포크의 약한 파인튜닝 — 모델 훼손(minimal) 우선
- 파일 아티팩트:
dtro-gemma3n_finetuned_q6_k.gguf,dtro-gemma3n_finetuned_q4_k_m.gguf,Modelfile_dtro_final,Modelfile_dtro_final_q4km - 컨텍스트: 최대 32k 토큰 지원
- 목적: 검색 기반 DB 결과를 근거로 한 전문적 AI 브리핑(요약, 원인 가설, 우선 점검 항목, 권장 조치)
- 기대 향상: AI 브리핑 정확도 20–40% 개선(내부 평가 기준)
왜 ‘약한(1 에포크) 파인튜닝’인가?
본 파인튜닝은 LLM을 단독 질의응답기(Q&A)로 바꾸려는 목적이 아닙니다. 그 대신 검색에서 추출된 도메인 문서를 LLM에 제공했을 때, 문체·용어·업무 관점에서 더 정확하고 신뢰성 있는 브리핑을 생성하도록 모델의 응답 성향을 보정하는 목적입니다.
주요 고려사항:
- 모델 훼손 최소화: 과도한 파인튜닝은 원래의 일반화 능력을 저하시킬 수 있으므로, 1 에포크의 ‘약학습’으로 도메인 적응만을 목표로 했습니다.
- DB-증강(검색 결합): 모델은 검색 결과를 근거로 추론하도록 설계되어, 검색된 소스의 질이 최종 브리핑의 근거가 됩니다.
- 운영자 중심: 출력은 항상 운영자 검토를 전제로 한 권고형(참고용)으로 제공됩니다.
따라서, 모델 자체만으로 모든 질문에 완벽한 정답을 보장하지는 않습니다. 단독 사용 시에는 일부 정확도에 한계가 있을 수 있으며, 이는 설계상 의도된 동작입니다 — 본 모델은 ‘검색·DB를 보강한 브리핑 생산기’로 이해해야 합니다.
시스템 아키텍처 (개요)
아래 다이어그램은 전체 파이프라인의 흐름을 간단히 보여줍니다.
flowchart LR
A[운영 로그 & 센서 데이터] --> B[검색 인덱스 / 장애 DB]
C[매뉴얼·사규·용어집·과거보고서(1,624)] --> B
B --> D[검색(Top-N)]
D --> E[프롬프트 구성기]
E --> F[로컬 LLM (GGUF, Gemma-3n 파인튜닝)]
F --> G[AI 브리핑(요약·원인·우선순위·권장 조치)]
G --> H[운영자 검토 → 피드백 저장]
H --> I[재학습/미세조정(주기적)]
F --> J[전력시스템 시뮬레이터] --- H
사용 방법 (간단 예시 — Ollama)
-
GGUF와 Modelfile을 허깅페이스에서 내려받아 로컬에 저장합니다. (예:
C:\temp\gemma_ollama) -
Ollama에 모델을 등록(생성)
# Modelfile 경로를 실제 위치로 수정
ollama create dtro-gemma -f "C:\temp\gemma_ollama\Modelfile_dtro_final"
- 안전한 테스트 실행 (낮은 온도, 제한된 토큰)
ollama run dtro-gemma "최근 24시간 전력 이벤트 로그를 기반으로 우선 점검 항목 5가지를 요약해줘." --temperature 0 --num_predict 256
권장 Modelfile 기본값(예시):
- temperature: 0.0
- num_predict(max_new_tokens): 128–512
- repeat_penalty: 1.1–1.3
- stop token: 조직 규칙에 맞게 명시(예:
\n\n또는<END>)
프롬프트 설계 원칙 (권장)
- 시스템 메시지: "당신은 대구교통공사 3호선 전력관제 운영 보조 AI입니다. 출력은 항목화된 요약과 우선순위, 권장 조치로만 응답하십시오."
- 입력: 검색된 Top-N 결과를 출처와 함께 구조화하여 제공(각 블록에 문서ID/발생일 등 포함)
- 출력 포맷: 1) 요약 2) 원인 가설(우선순위순, 근거 문서 표기) 3) 권장 점검 항목(우선순위 및 예상 영향)
- 항상 ‘출처 라벨(문서ID)’을 함께 표기하여 근거 추적성 보장
성능 및 검증 계획
- 기대 개선: AI 브리핑 정확도 20–40% 향상(내부 평가)
- 권장 측정 지표: F1/정확도, 운영자 승인율, 처리 시간, false-positive
- 검증 방법: 과거 사건 라벨 데이터로 A/B 테스트(비파인튜닝 vs 파인튜닝)
한계와 주의사항 (중요)
- 모델 단독 결과의 한계: 본 모델은 '검색 결과를 기반으로 브리핑을 보강'하기 위해 튜닝된 모델입니다. 따라서 LLM 단독으로 정답을 항상 보장하지 않습니다. 모델 응답은 운영자 검토를 전제로 한 ‘참고용’이며, 자동조치 권한을 부여해서는 안 됩니다.
- 데이터 및 개인정보: 입력되는 로그/문서에서 PII(개인식별정보)는 사전 마스킹 후 사용해야 합니다.
- 모델 업데이트: 운영 피드백과 라벨링 결과를 주기적으로 수집하여, 재학습 또는 미세조정 계획을 수립하세요.
보안 및 배포 권고
- 로컬 실행 권장: 외부 API 호출 차단 또는 엄격 모니터링
- 접근 제어: 모델·데이터 접근은 권한 기반으로 제한
- 감사 로그: 누가 언제 모델을 사용했는지 기록
- LFS/스토리지: GGUF 파일은 수 GB 단위이므로 저장 공간과 전송 대역폭 확인
아티팩트 및 파일 목록
dtro-gemma3n_finetuned_q6_k.ggufdtro-gemma3n_finetuned_q4_k_m.ggufModelfile_dtro_finalModelfile_dtro_final_q4kmREADME.md(이 파일)LICENSE(별도 명시 권장)evaluation/(벤치마크 스크립트 및 라벨 데이터 권장)
재현성 및 오픈소스 계획
- 허깅페이스에는 모델 아티팩트와 간단 사용법을 게시했습니다. 파인튜닝·전처리·평가 스크립트 등은 향후 GitHub 리포지토리에 업로드할 예정이며, 이를 통해 내부 재현성과 투명성을 보장합니다.
저작권 및 라이선스 권장
- 내부 전용 사용 또는 제한적 재배포 정책을 권장합니다. (예: 외부 배포 금지, 비상업적 내부 사용 허가)
- 모델·데이터에 포함된 외부 저작물에 대한 라이선스 의무를 반드시 확인하세요.
연락 및 참고
- 모델 페이지: (허깅페이스 리포지토리 링크)
- 계획: GitHub에 파이프라인 코드(전처리·튜닝·평가) 업로드 예정
작성자 주: 이 모델은 ‘운영자 보조용 AI 브리핑 생성기’로 설계되었습니다. 모델 단독의 절대적 정답성을 보장하지 않으며, 항상 사람의 판단을 최종 결정권으로 두어 운영 안전성을 확보하시기 바랍니다.