BGE-M3 Cardio UA (Best Checkpoint) Спеціалізована модель для кардіології
language:
- uk
- en license: mit library_name: sentence-transformers pipeline_tag: sentence-similarity tags:
- medical
- cardiology
- ukrainian
- bge-m3
- triplet-loss
BGE-M3 Cardio UA (Fine-Tuned for Cardiology)
Ця модель є спеціалізованою версією BAAI/bge-m3, донавчання якої було сфокусоване на розумінні кардіологічної семантики українською мовою. Модель здатна розрізняти складні діагнози, протоколи лікування та симптоми, що робить її ідеальною для медичних пошукових систем або RAG-систем.
🚀 Основні покращення
- Медична спеціалізація: Навчена розрізняти схожі стани (наприклад, стабільна стенокардія vs інфаркт міокарда).
- Dense Layer Adaptation: Додано додатковий повнозв'язний шар (Dense), який виступає "медичним перекладачем", адаптуючи загальні ембеддінги BGE-M3 під вузьку термінологію.
- Triplet Training: Використання Triplet Loss дозволило "відштовхнути" неправильні клінічні рекомендації від правильних у векторному просторі.
📊 Параметри навчання
Модель була навчена з використанням наступних налаштувань:
- Базова модель: BAAI/bge-m3
- Архітектура: Transformer + CLS Pooling + Dense Layer (1024)
- Функція втрат (Loss):
TripletLossзmargin = 0.4 - Метрика відстані: Cosine Similarity
- Кількість епох: 5
- Learning Rate: 2e-5 (агресивний старт для Dense-шару)
- Batch Size: 260 (ефективний)
🛠 Як використовувати
Для коректної роботи обов'язково використовуйте прапорець fix_mistral_regex=True через особливості токенізатора BGE-M3.
from sentence_transformers import SentenceTransformer
# Завантаження моделі
model = SentenceTransformer(
"uaritm/bge-m3-cardio-ua",
model_kwargs={"fix_mistral_regex": True}
)
# Ваші тексти
queries = ["Скарги на стискаючий біль за грудиною, ЕКГ: елевація ST."]
documents = [
"Протокол лікування гострого інфаркту міокарда: негайне стентування.",
"Лікування гастриту та печії: дієта та антациди."
]
# Генерація ембеддінгів
query_emb = model.encode(queries)
doc_embs = model.encode(documents)
# Пошук схожості
from sentence_transformers import util
hits = util.semantic_search(query_emb, doc_embs, top_k=1)
print(hits)
### 4. Limitations
- Optimized for cardiology and cardiac surgery
- Reduced accuracy outside these domains
- No vision capabilities (text-only MedGemma IT)
- May generate incomplete or generalized recommendations
---
### 5. Citing & Authors
If you use this model in your research, please cite:
@misc{Ostashko2025MedGemmaCardiology,
title = {MedGemma-4B-Cardiology: A Domain-Finetuned Clinical LLM for Cardiology},
author = {Uaritm},
year = {2025},
url = {ai.esemi.org}
}
Project homepage: https://ai.esemi.org
LicenseThe use of this model is subject to the terms of the original Gemma License. Please review and adhere to the associated licensing terms for the base model.