GujiBERT_fan

GujiBERT_fan — это языковая модель семейства BERT, разработанная командой hsc748NLP для интеллектуальной обработки древнекитайских текстов. Модель ориентирована на традиционную китайскую письменность и создана как базовая модель понимания естественного языка для задач, связанных с древними книгами.

Модель содержит около 139,9 млн параметров, работает в архитектуре BERT и поддерживает контекст до 512 токенов. В Hugging Face она опубликована для задачи заполнения пропусков (fill-mask), поэтому подходит для восстановления скрытых фрагментов и получения контекстных представлений текста. Исследовательские материалы также связывают семейство GujiBERT с сегментацией предложений, пунктуацией, токенизацией, разметкой частей речи, распознаванием сущностей и автоматическим переводом древних текстов.

Основное преимущество модели — специализация на древнекитайском языке и традиционных иероглифах, а не на современном общем корпусе. Она не является генеративной моделью для свободного продолжения текста и предназначена прежде всего для понимания и анализа древних текстов. Модель распространяется по лицензии Apache-2.0.