Gemma-2-2B-TR-Knowledge-Graph

Gemma-2-2B-TR-Knowledge-Graph is a finetuned version of gemma-2-2b-it. It is trained on high quality knowledge graph generation samples.

Training Info

• Base Model: gemma-2-2b-it

• Training Data: A synthetically generated knowledge graph dataset consisting of 30K samples was used. No proprietary data was included.

• Training Time: 3 hours on a single RTX 6000 ADA

• LoRA Configs:

  • lora_r: 64
  • lora_alpha: 32
  • lora_dropout: 0.05
  • lora_target_linear: true

The goal was to fine-tune the model to automatically generate structured knowledge graphs from document content. These graphs can be used to build and populate graph databases, enabling efficient storage, querying, and visualization of relationships within the data.

It should be noted that the model will still generate incorrect or nonsensical outputs, so please verify the outputs before using them.

Output Examples:

Document:

Derin öğrenme (aynı zamanda derin yapılandırılmış öğrenme, hiyerarşik öğrenme ya da derin makine öğrenmesi) bir veya daha fazla gizli katman içeren yapay sinir ağları ve benzeri makine öğrenme algoritmalarını kapsayan çalışma alanıdır.

Yani en az bir adet yapay sinir ağının (YSA) kullanıldığı ve birçok algoritma ile, bilgisayarın eldeki verilerden yeni veriler elde etmesidir.

Derin öğrenme gözetimli, yarı gözetimli veya gözetimsiz olarak gerçekleştirilebilir.[1] Derin yapay sinir ağları pekiştirmeli öğrenme yaklaşımıyla da başarılı sonuçlar vermiştir.[2] Yapay sinir ağları, biyolojik sistemlerdeki bilgi işleme ve dağıtılmış iletişim düğümlerinden esinlenilmiştir. Yapay sinir ağlarının biyolojik beyinlerden çeşitli farklılıkları vardır. Özellikle, sinir ağları statik ve sembolik olma eğilimindeyken, çoğu canlı organizmanın biyolojik beyni dinamik(plastik) ve analogtur.[3][4][5]

Output:

{
  "nodes": [
    {
      "type": "object",
      "name": "Derin öğrenme"
    },
    {
      "type": "object",
      "name": "yapay sinir ağları"
    },
    {
      "type": "object",
      "name": "bilgisayar"
    },
    {
      "type": "object",
      "name": "veriler"
    },
    {
      "type": "object",
      "name": "pekiştirmeli öğrenme"
    },
    {
      "type": "object",
      "name": "biyolojik sistemler"
    },
    {
      "type": "object",
      "name": "biyolojik beyin"
    },
    {
      "type": "object",
      "name": "sinir ağları"
    },
    {
      "type": "object",
      "name": "dinamik beyin"
    },
    {
      "type": "object",
      "name": "analog beyin"
    }
  ],
  "relationships": [
    {
      "source": "Derin öğrenme",
      "target": "yapay sinir ağları",
      "relationship": "kapsar"
    },
    {
      "source": "yapay sinir ağları",
      "target": "bilgisayar",
      "relationship": "kullanılır"
    },
    {
      "source": "yapay sinir ağları",
      "target": "veriler",
      "relationship": "yeni veriler elde eder"
    },
    {
      "source": "yapay sinir ağları",
      "target": "pekiştirmeli öğrenme",
      "relationship": "başarılı sonuçlar verir"
    },
    {
      "source": "yapay sinir ağları",
      "target": "biyolojik sistemler",
      "relationship": "esinlenilmiştir"
    },
    {
      "source": "biyolojik beyin",
      "target": "sinir ağları",
      "relationship": "farklılıkları vardır"
    },
    {
      "source": "sinir ağları",
      "target": "dinamik beyin",
      "relationship": "özellik gösterir"
    },
    {
      "source": "sinir ağları",
      "target": "analog beyin",
      "relationship": "özellik gösterir"
    }
  ]
}

Graph:

Document:

Guido van Rossum (d. 31 Ocak 1956), Hollandalı bir bilgisayar programcısıdır.

Python programlama dilinin yazarıdır. Van Rossum 12 Temmuz 2018'de Python yönetiminden istifa ettiğini ve emekliye ayrıldığını duyurdu.[1] 12 Kasım 2020 tarihinde emeklilikten geri dönerek Microsoft'a katıldığını açıklamıştır.[2]

Output:

{
  "nodes": [
    {
      "type": "person",
      "name": "Guido van Rossum"
    },
    {
      "type": "object",
      "name": "Python"
    },
    {
      "type": "organization",
      "name": "Microsoft"
    },
    {
      "type": "date",
      "name": "31 Ocak 1956"
    },
    {
      "type": "date",
      "name": "12 Temmuz 2018"
    },
    {
      "type": "date",
      "name": "12 Kasım 2020"
    }
  ],
  "relationships": [
    {
      "source": "Guido van Rossum",
      "target": "Python",
      "relationship": "yazarıdır"
    },
    {
      "source": "Guido van Rossum",
      "target": "Python",
      "relationship": "yönetiminden istifa etti"
    },
    {
      "source": "Guido van Rossum",
      "target": "Microsoft",
      "relationship": "katıldı"
    },
    {
      "source": "Guido van Rossum",
      "target": "31 Ocak 1956",
      "relationship": "doğum tarihi"
    },
    {
      "source": "Guido van Rossum",
      "target": "12 Temmuz 2018",
      "relationship": "istifa tarihi"
    },
    {
      "source": "Guido van Rossum",
      "target": "12 Kasım 2020",
      "relationship": "emeklilikten geri dönme tarihi"
    }
  ]
}

Graph:

How to use

1. Install vLLM

pip install vllm

2. You need to append \n<knowledge_graph> at the end of the user prompt to trigger knowledge graph extraction.

from vllm import LLM, SamplingParams
import json

llm = LLM(model="Metin/Gemma-2-2B-TR-Knowledge-Graph")

sampling_params = SamplingParams(temperature=0.1, max_tokens=4096)

content = """Guido van Rossum (d. 31 Ocak 1956), Hollandalı bir bilgisayar programcısıdır.
Python programlama dilinin yazarıdır. Van Rossum 12 Temmuz 2018'de Python yönetiminden istifa ettiğini ve emekliye ayrıldığını duyurdu.[1] 12 Kasım 2020 tarihinde emeklilikten geri dönerek Microsoft'a katıldığını açıklamıştır.[2]"""

conversation = [
  {
      "role": "user",
      "content": content + "\n<knowledge_graph>"
  }
]

outputs = llm.chat(
  conversation,
  sampling_params=sampling_params,
  use_tqdm=False
)

result = json.loads(outputs[0].outputs[0].text)

print(result)

Citation

@article{Metin,
  title={Metin/Gemma-2-2B-TR-Knowledge-Graph},
  author={Metin Usta},
  year={2024},
  url={https://huggingface.co/Metin/Gemma-2-2B-TR-Knowledge-Graph}
}