paraphrase-albert-small-v2

Она предназначена для извлечения признаков из текста и получения векторных представлений, которые можно использовать для сравнения смысловой близости фраз, поиска похожих запросов и задач семантического кэширования. Модель загружается через Transformers как AlbertModel или pipeline feature-extraction.

Архитектура основана на ALBERT: 6 скрытых слоёв, 12 голов внимания, размер скрытого представления 768, промежуточный размер 3072, словарь на 30 000 токенов и максимальная длина последовательности 512 токенов. Указана поддержка английского языка. Модель работает только с текстом и не является генеративной моделью.

К сильным сторонам относятся компактная архитектура ALBERT и возможность получать признаки для downstream-задач без специального классификационного слоя. Ограничения: карточка модели не содержит подробного описания обучения, датасетов, результатов оценки или гарантированных показателей качества; назначение и характеристики следует трактовать как доступные из метаданных и конфигурации. Модель распространяется по лицензии MIT.