BERT-Base-Swe-CT-STSb

Contrastive-Tension/BERT-Base-Swe-CT-STSb — шведская модель на архитектуре BERT Base, опубликованная проектом Contrastive-Tension. Она дообучена методом Contrastive Tension для получения векторных представлений предложений и оценки семантического текстового сходства, включая сценарии поиска похожих фраз и обнаружения перефразирований.

Модель предназначена для извлечения признаков из текстов на шведском языке и поддерживает библиотеку Transformers, а также PyTorch, TensorFlow и JAX. По метаданным Hugging Face модель содержит около 151,9 млн параметров и обрабатывает последовательности длиной до 512 токенов. Метод Contrastive Tension обучает представления так, чтобы одинаковые предложения имели близкие векторы, а разные — более далёкие.

Модель хорошо подходит для шведского semantic textual similarity, поиска похожих предложений, кластеризации и построения семантического поиска. Она не является генеративной моделью и не предназначена для диалога, генерации текста или непосредственной классификации без дополнительной модели и процедур обработки эмбеддингов.