Thanks for checking this out! This video explains the ideas behind KerasBERT (still very much a work in progress) https://www.youtube.com/watch?v=J3P8WLAELqk
Характеристики
- Контекст
- 514 токенов
- Параметры
- 98,5 млн
- Архитектура
- roberta · dense
Ссылки
KerasBERTv1
Заполнение пропусковТекст → текст
Экспериментальная модель RoBERTa для предсказания замаскированных токенов в тексте.
13скачиваний за 30 дней6лайковвеса обновлены17 дек 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
HenryAI/KerasBERTv1 — экспериментальная модель семейства RoBERTa для предсказания замаскированных токенов в тексте. В карточке указано, что проект находится в разработке; README также ссылается на видео с объяснением идей KerasBERT.
Модель содержит 98,5 млн параметров, использует архитектуру RobertaForMaskedLM и принимает контекст длиной до 514 токенов. Она предназначена для заполнения пропусков в тексте и может использоваться для исследования представлений языка и экспериментов с masked language modeling. Данных о поддерживаемых естественных языках и лицензии в предоставленных сведениях нет.
Сценарии применения
- подстановка пропущенного слова в предложении
- предсказание замаскированного токена по контексту
- эксперименты с masked language modeling
Ограничения
Проект обозначен как находящийся в разработке. Языковая поддержка и лицензия в предоставленных материалах не описаны.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- 926606c