dse-bert-base

Это conversational language model на базе архитектуры BERT, предназначенная для построения векторных представлений предложений и фрагментов диалога. При обучении модель использует self-supervised contrastive learning: последовательные реплики одного диалога рассматриваются как положительные пары.

Модель рассчитана на задачи диалоговых систем, включая классификацию намерений, обнаружение запросов вне области, выбор ответа на уровне предложения или диалога и прогнозирование диалоговых действий. Векторы можно применять для сравнения текстов по cosine similarity, few-shot и zero-shot классификации, а также дообучать модель с добавлением task-specific слоя. В репозитории приведены примеры использования с Transformers и усреднением токенных представлений для получения sentence embeddings.

Доступны сведения о принадлежности к семейству BERT-base и поддержке PyTorch/Transformers, но точное число параметров, языки обучения, максимальная длина контекста и полный перечень модальностей в найденных источниках не указаны; по назначению это текстовая, а не мультимодальная модель. Сильная сторона — специализация на представлениях диалогов и применимость при дефиците размеченных данных. Ограничения включают отсутствие генерации ответов как основной функции и зависимость качества от предметной области и последующего дообучения. Репозиторий проекта распространяется по Apache-2.0, однако отдельная лицензия именно модели на карточке Hugging Face явно не указана.