Характеристики
- Контекст
- 514 токенов
- Параметры
- 137 млн
- Архитектура
- mpnet · dense
- Опубликована
- 2 мар 2022
Ссылки
mpnet-base
Базовая текстовая модель Microsoft на архитектуре MPNet для заполнения пропущенных токенов и донастройки под задачи понимания языка.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
microsoft/mpnet-base — базовая языковая модель Microsoft на архитектуре MPNet, предназначенная для понимания текста и последующей настройки под задачи обработки естественного языка. Её предобучение сочетает masked и permuted language modeling: модель учитывает зависимости между предсказываемыми токенами и позиционную информацию всей последовательности. В конфигурации base — 136,7 млн параметров; архитектура включает 12 слоёв, скрытый размер 768 и 12 голов внимания. Контекст — до 514 токенов по метаданным. Модель работает с текстом; карточка Hugging Face не приводит список языков, поэтому поддержка английского в этом описании не заявляется.
На Hugging Face модель размечена для fill-mask: она предсказывает пропущенные в тексте токены. Предобученные веса также служат основой для настройки на задачи понимания языка, например классификацию и ответы на вопросы; для таких сценариев обычно требуется соответствующая донастройка. Ограничение — это masked language model, а не готовая разговорная модель для свободной генерации ответов. Карточка Hugging Face не содержит сведений о лицензии.
Сценарии применения
- предсказание пропущенного слова в предложении
- восстановление маскированных токенов в тексте
- дообучение классификатора текстов
- настройка модели для ответов на вопросы по контексту
Ограничения
Модель предназначена для предсказания маскированных токенов и сама по себе не является готовой чат-моделью или универсальным генератором ответов. Сведения о лицензии в карточке Hugging Face отсутствуют.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- MPNetForMaskedLM
- Ревизия весов
- 6996ce1