TinyBERT_General_6L_768D

TinyBERT_General_6L_768D — компактная предварительно обученная языковая модель на основе BERT, разработанная лабораторией HUAWEI Noah’s Ark Lab. Это общая версия TinyBERT, полученная дистилляцией BERT-base; она предназначена как начальная модель для задач понимания естественного языка и может дообучаться под конкретные задачи. Модель содержит около 80,1 млн параметров, имеет 6 слоёв Transformer, скрытый размер 768 и принимает последовательности длиной до 512 токенов.

Модель работает с текстом и рассчитана на английский язык. Разработчики сообщают, что TinyBERT в целом существенно меньше и быстрее при инференсе, чем BERT-base, сохраняя конкурентное качество на задачах понимания языка. Сам репозиторий содержит базовую модель без отдельной классификационной или иной task-specific головы, поэтому для прикладного использования её обычно дообучают. Карточка Hugging Face не содержит сведений о лицензии.