Llama-3.1-8B-TrenerAI-GGUF
Built with Llama.
Model językowy dostrojony metodą QLoRA na potrzeby systemu TrenerAI — konwersacyjnego asystenta treningowego opisanego w pracy magisterskiej „Konwersacyjny asystent AI oparty na dużym modelu językowym wspierający trenera w doborze planów treningowych" (Uniwersytet Rzeszowski).
Do czego służy ten model
Model pełni w systemie wyłącznie dwie role niedecyzyjne:
- formułowanie wypowiedzi asystenta w języku polskim,
- rozpoznawanie intencji użytkownika i zamianę jej na ustrukturyzowane polecenie (JSON).
Model nie układa planu treningowego. Plan powstaje w deterministycznym module łączącym klasyfikator poziomu zaawansowania, wyszukiwanie w zamkniętej bazie ćwiczeń oraz reguły bezpieczeństwa i periodyzacji. Podział ten jest celowy — jego uzasadnienie i pomiar skutków opisano w pracy.
Szczegóły dostrajania
| Parametr | Wartość |
|---|---|
| Model bazowy | Meta-Llama-3.1-8B-Instruct |
| Metoda | QLoRA (kwantyzacja 4-bitowa podczas treningu) |
Rząd adaptera (r) | 16 |
| Liczba epok | 2 |
| Liczba kroków | 180 |
| Wartość funkcji straty | 0,79 → 0,04 |
| Sprzęt | NVIDIA T4 (Google Colab) |
| Format wyjściowy | GGUF, kwantyzacja q4_k_m (≈4,6 GB) |
Zbiór treningowy stanowiły dialogi trener–klient w języku polskim, przygotowane na potrzeby pracy, obejmujące zbieranie profilu użytkownika oraz polecenia modyfikacji planu.
Wyniki
Porównanie modelu bazowego i dostrojonego na zadaniu zwracania poprawnego polecenia:
| Test | Miara | Model bazowy | Po dostrojeniu |
|---|---|---|---|
| Halucynacje (n=24) | poprawny JSON | 0,125 | 0,792 |
| Halucynacje (n=24) | bez halucynacji | 0,000 | 0,792 |
| Format (n=5) | poprawny JSON | 0,200 | 1,000 |
Test formatu ma bardzo małą próbę (n=5) i jest szumny; miarodajniejszy jest test halucynacji na n=24.
Uruchomienie
# pobranie pliku modelu
hf download <REPO_ID> trener_fixed.gguf --local-dir .
# uruchomienie serwera
llama-server -m trener_fixed.gguf --port 8090 -c 4096 -ngl 99
Model współpracuje z aplikacją TrenerAI uruchamianą przez docker compose up.
Aplikacja działa także bez tego modelu — w trybie awaryjnym wypowiedzi pochodzą
z szablonów, a pozostała funkcjonalność (generowanie planu, klasyfikacja poziomu,
reguły bezpieczeństwa, autoregulacja) pozostaje niezmieniona.
Ograniczenia
- Model dostrojony na niewielkim, samodzielnie przygotowanym zbiorze dialogów; poza dziedziną treningową jego zachowanie nie było badane.
- Wersje bibliotek użytych podczas dostrajania nie zostały przypięte, więc powtórzenie samego procesu treningu może dać nieidentyczny wynik. Nie dotyczy to korzystania z gotowego pliku GGUF.
- Model nie jest narzędziem medycznym i nie zastępuje konsultacji ze specjalistą.
Licencja
Model pochodny od Meta Llama 3.1 i podlega Llama 3.1 Community License.