Англоязычная Nyströmformer на 136,3 млн параметров для предсказания замаскированных токенов в последовательностях длиной до 512 токенов.
Подходит для: восстановление пропущенных слов в английском тексте · контекстное предсказание слов при анализе текста · эксперименты с эффективным механизмом внимания Nyströmformer