tiny-bert-qqp-distilled

Модель поддерживает стандартный сценарий text classification через Transformers и возвращает классы not_duplicate и duplicate.

По конфигурации это компактная BERT-модель для sequence classification, связанная с huawei-noah/TinyBERT_General_4L_312D. Она содержит 4 скрытых слоя, 12 attention heads, размер скрытого представления 312, промежуточный размер 1200 и поддерживает контекст до 512 токенов. Используется словарь размером 30522 и float32; заявлена только текстовая модальность. Англоязычная направленность следует из uncased BERT-токенизатора и исходной конфигурации, однако подробные сведения о языках, качестве, датасете обучения и метриках в доступных данных не указаны.

Сильная сторона модели — малый размер и потенциально низкие требования к вычислительным ресурсам по сравнению с полноразмерными BERT-моделями. Ограничения включают узкую специализацию на бинарном выявлении дубликатов вопросов, отсутствие подтверждённых сведений о точности и недостаток документации о режимах применения. Лицензия в доступных материалах не указана.