esm1v_t33_650M_UR90S_3

ESM-1v — белковая языковая модель, разработанная исследовательской группой Meta AI и распространяемая в репозитории facebook. Это третий чекпойнт из ансамбля пяти моделей ESM-1v, предназначенного прежде всего для оценки эффектов аминокислотных вариантов. Модель представляет собой 33-слойный Transformer примерно с 650 млн параметров, обученный на последовательностях UniRef90; в Hugging Face она доступна для задачи fill-mask.

Модель принимает последовательности белков и предсказывает вероятности аминокислот в замаскированных позициях. Вариантные эффекты можно оценивать по изменению вероятности последовательности при замене аминокислоты; ансамбль ESM-1v разработан для таких предсказаний без необходимости строить множественное выравнивание последовательностей. Это специализированная модель для белковых последовательностей, а не генеративная модель естественного языка. Карточка Hugging Face не содержит отдельного описания лицензии; в репозитории указаны веса в форматах PyTorch и TensorFlow.