T5Gemma2 1B Embedding Stage 2

This is a sentence-transformers model finetuned from daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6 on the retrieval, sts, nli and classification datasets. It maps sentences & paragraphs to a 1152-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6
• Maximum Sequence Length: 4096 tokens
• Output Dimensionality: 1152 dimensions
• Similarity Function: Cosine Similarity
• Supported Modalities: Text, Image
• Training Datasets:
  • retrieval
  • sts
  • nli
  • classification
• Languages: id, en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'image': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'T5Gemma2Encoder'})
  (1): Pooling({'embedding_dimension': 1152, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Apa perbedaan antara 打关系 dan 走关系?',
]
documents = [
    '"Apa perbedaan antara "" dan "";"" serta "",""?',
    'Alat apa yang digunakan untuk membuat video ini?',
    'Jika teroris memasang bahan peledak palsu pada Anda, membungkam Anda, menempelkan pelatuk ke tangan Anda, dan meninggalkan Anda di tengah kota, bagaimana Anda bisa bertahan hidup?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1152] [3, 1152]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.3385, 0.0576, 0.1161]])

Evaluation

Metrics

Semantic Similarity

• Dataset: eval-sts
• Evaluated with EmbeddingSimilarityEvaluator

Information Retrieval

• Dataset: eval-retrieval
• Evaluated with InformationRetrievalEvaluator

Binary Classification

• Dataset: eval-nli-binary
• Evaluated with BinaryClassificationEvaluator

Training Details

Training Datasets

retrieval

• Dataset: retrieval
• Size: 43,389 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	min: 4 tokensmean: 10.51 tokensmax: 20 tokens	min: 15 tokensmean: 131.98 tokensmax: 307 tokens

• Samples:

  anchor	positive
  dimanakah letah Universitas Indonesia?	Universitas IndonesiaUniversitas Indonesia disingkat sebagai UI, adalah sebuah perguruan tinggi di Indonesia. Kampus utamanya terletak di bagian Utara dari Depok, Jawa Barat tepat di perbatasan antara Depok dengan wilayah Jakarta Selatan, dan kampus utama lainnya terdapat di daerah Salemba di Jakarta Pusat. Universitas Indonesia adalah kampus modern, komprehensif, terbuka, multibudaya, dan humanis yang mencakup disiplin ilmu yang luas. Telah menghasilkan lebih dari 400.000 alumni. Secara umum dianggap sebagai salah satu dari tiga perguruan tinggi papan atas di Indonesia bersama dengan Universitas Gadjah Mada dan Institut Teknologi Bandung. Cikal-bakal terbentuknya Universitas Indonesia adalah ketika pemerintah kolonial Belanda mendirikan sebuah sekolah yang bertujuan untuk menghasilkan asisten dokter tambahan yang memegang sertifikat untuk melakukan perawatan-perawatan tingkat dasar serta mendapatkan gelar Dokter Jawa ("Javanese doctor"). Secara resmi Universitas Indonesia memulai keg...
  perintah terbaru pemerintah, upah harian karyawan, gaji di Kerala	Komisi Gaji kemungkinan besar akan merekomendasikan 16.000 sebagai Upah Minimum dan 1 juta sebagai Maksimum untuk Pegawai Pemerintah di Kerala. oleh admin Tambahkan Komentar.
  kapankah Indonesia merdeka?	Pengakuan tanggal kemerdekaan Indonesia oleh Belanda atau Pengakuan Kedaulatan Indonesia adalah peristiwa di mana Belanda akhirnya mengakui bahwa kemerdekaan Indonesia adalah tanggal 17 Agustus 1945 sesuai dengan proklamasi kemerdekaan Indonesia, bukan tanggal 27 Desember 1949 saat soevereiniteitsoverdracht (penyerahan kedaulatan) ditandatangani di Istana Dam, Amsterdam.

• Loss: main.WeightedLoss

sts

• Dataset: sts
• Size: 19,464 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	score
  type	string	string	float
  modality	text	text
  details	min: 6 tokensmean: 16.54 tokensmax: 44 tokens	min: 5 tokensmean: 16.4 tokensmax: 62 tokens	min: 0.0mean: 0.49max: 1.0

• Samples:

  sentence1	sentence2	score
  Apakah benar bahwa jika Anda tidak menggunakannya, Anda akan kehilangan itu?	Apakah benar bahwa jika Anda tidak menggunakannya, Anda akan kehilangan itu?	1.0
  bertindak, membentuk, atau berkembang sesuai dengan rencana atau ideal	membentuk atau memengaruhi; memberikan arahan.	0.45
  "Saya ingin mengetahui detail tentang Delta Charting Group, sebuah perusahaan di Tucson, Arizona, termasuk ulasan perdagangan mereka. Apakah ada yang bisa menjelaskan tentang perusahaan ini kepada saya?"	Perusahaan penyedia layanan taksi dari Pune ke Mahabaleshwar mana yang terbaik di Pune?	0.0

• Loss: main.WeightedLoss

nli

• Dataset: nli
• Size: 22,022 training samples
• Columns: premise, hypothesis, and label
• Approximate statistics based on the first 100 samples:

  	premise	hypothesis	label
  type	string	string	int
  modality	text	text
  details	min: 5 tokensmean: 28.0 tokensmax: 123 tokens	min: 5 tokensmean: 13.48 tokensmax: 27 tokens	0: ~40.38%1: ~31.73%2: ~27.88%

• Samples:

  premise	hypothesis	label
  Para pejuang dari gerakan Perlawanan bawah tanah itu gagah berani, tetapi mereka hanyalah minoritas kecil, beberapa di antaranya adalah patriot konservatif seperti de Gaulle, sebagian besar adalah sosialis dan komunis, serta sejumlah kecil pengungsi dari Eropa Timur.	Hanya sejumlah kecil orang yang berpartisipasi dalam gerakan perlawanan.	0
  Karena prinsip "wanita dan anak-anak harus dilindungi terlebih dahulu."	Karena aturan lama "wanita dan anak-anak harus diprioritaskan"	0
  Pedang melengkung tergantung di pinggang mereka, dan busur terletak di punggung mereka.	Mereka membawa busur di punggung mereka.	0

• Loss: main.WeightedLoss

classification

• Dataset: classification
• Size: 22,000 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	label
  type	string	string	int
  modality	text	text
  details	min: 4 tokensmean: 39.38 tokensmax: 92 tokens	min: 3 tokensmean: 38.79 tokensmax: 91 tokens	0: ~37.50%1: ~62.50%

• Samples:

  sentence1	sentence2	label
  restoran ini menawarkan banyak sekali menu makanan dan minuman . dari makanan sunda , orang cina makanan , hingga makanan barat . harga nya pun tidak terlalu mahal . saya menyantap nasi liwet jambal roti , rasanya gurih dan enak .	tempat steak yang legendaris dan terkenal . no wonder , karena rasa steak nya enak , dengan porsi yang cukup besar . harga nya juga sepadan dengan kualitas nya . steak nya cukup empuk dan kentang nya saya suka	1
  [USERNAME] [USERNAME] [USERNAME] Denger-denger dari Pusat Hoax Nasional-nya [USERNAME] , ternyata FH gak muat dimasukin ke karung beras, biarpun karung jumbo ... Karena [USERNAME] jauh lebih besar dari partainya, [USERNAME] ...	Yang menyedihkan lagi ada yang menganggap Via Vallen itu nggak merasa di lecehkan amat, malah mau naik pamor demi mencapai Keviralan dan itu diungkapkan oleh seorang W.A.N.I.T.A Addeh, udah jadi korban, sesama Wanita pula. Padahal normalnya harus saling dukung, saling empati [URL]	1
  berada di sudut perempatan jalan naripan , bakmi naripan ini sangat terkenal dan selalu ramai oleh pengunjung . terlebih saat akhir pekan atau musim liburan , restoran ini tidak pernah sepi . menu pilihan paling favorit tentu saja bakmi yamin dan bakmi biasa . rasa kaldu nya pada kuah nya sungguh kental dan nikmat serta hangat .	kasihan , padahal kalau tidak ada polling denny siregar cebong girang sekali , sayang , dipupus oleh kalah telak nya jokowi di polling denny .	0

• Loss: main.WeightedLoss

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 5
• learning_rate: 2e-05
• bf16: True
• gradient_checkpointing: True

All Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs