Nystromformer for sequence length 4096 trained on WikiText-103 v1.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 136 млн
- Архитектура
- nystromformer · dense
- Опубликована
- 18 апр 2022
Ссылки
nystromformer-4096
Заполнение пропусковТекст → текст
Русское описание этой модели ещё готовится. Пока можно заглянуть в карточку модели от автора ниже.
107скачиваний за 30 дней3лайкавеса обновлены18 апр 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- NystromformerForMaskedLM
- Ревизия весов
- 0f14ced