Англоязычная предварительно обученная модель BigBird с разреженным вниманием для представления и дообучения на текстах длиной до 4096 токенов.
Подходит для: получение признаковых представлений длинных текстов · дообучение для суммаризации длинных документов · дообучение для ответов на вопросы по длинному контексту