Характеристики

Контекст: 1 026 токенов
Параметры: 44,3 млн
Лицензия: MIT
Архитектура: esm · dense
Опубликована: 27 сен 2022

Ссылки

Hugging Face

esm2_t12_35M_UR50D

facebook

Заполнение пропусковТекст → текст3 профессии

Компактная модель Meta AI для заполнения пропусков и анализа аминокислотных последовательностей белков.

295 тыс.скачиваний за 30 дней25лайковвеса обновлены21 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ESM-2 — модель для белковых последовательностей, разработанная Meta AI. Она обучена на задаче masked language modeling и предназначена для восстановления скрытых аминокислот, а также для дообучения под другие задачи, принимающие белковые последовательности. Этот вариант использует архитектуру ESM с 12 слоями и примерно 44,3 млн параметров; максимальная длина контекста составляет 1026 токенов. Доступны веса в форматах PyTorch, Safetensors и TensorFlow.

Модель подходит для анализа последовательностей белков и экспериментов по предсказанию их свойств после дообучения. По сравнению с более крупными версиями семейства она требует меньше вычислительной памяти и времени, но более крупные варианты обычно показывают несколько более высокую точность. Лицензия — MIT.

Сценарии применения

восстановление пропущенных аминокислот в белковой последовательности
получение представлений белковых последовательностей для последующего анализа
дообучение для предсказания свойств белков
эксперименты с языковым моделированием белковых последовательностей

Ограничения

Для сложных задач анализа свойств белков модель может требовать дообучения на целевых данных; более крупные варианты ESM-2 обычно обеспечивают несколько более высокую точность, но требуют больше памяти и времени.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ESM-2

ESM-2 is a state-of-the-art protein model trained on a masked language modelling objective. It is suitable for fine-tuning on a wide range of tasks that take protein sequences as input. For detailed information on the model architecture and training data, please refer to the accompanying paper. You may also be interested in some demo notebooks (PyTorch, TensorFlow) which demonstrate how to fine-tune ESM-2 models on your tasks of interest.

Several ESM-2 checkpoints are available in the Hub with varying sizes. Larger sizes generally have somewhat better accuracy, but require much more memory and time to train:

Checkpoint name	Num layers	Num parameters
esm2_t48_15B_UR50D	48	15B
esm2_t36_3B_UR50D	36	3B
esm2_t33_650M_UR50D	33	650M
esm2_t30_150M_UR50D	30	150M
esm2_t12_35M_UR50D	12	35M
esm2_t6_8M_UR50D	6	8M

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: EsmForMaskedLM
Ревизия весов: 6fbf070