kcbert-large

beomi/kcbert-large — крупная корейскоязычная модель семейства KcBERT, разработанная Beomi. Это двунаправленная Transformer-архитектура BERT для masked language modeling, обученная на корейских интернет-комментариях и предназначенная прежде всего для последующего дообучения на задачах обработки корейского текста.

Модель содержит около 433,4 млн параметров, использует 24 слоя, 16 attention-heads, скрытое представление размером 1024 и поддерживает контекст до 300 токенов. Основной сценарий применения — заполнение маскированных токенов; после fine-tuning модель может использоваться для классификации тональности, распознавания сущностей, определения сходства и классификации текстовых пар, ответов на вопросы и других задач корейского NLP.

Модель не является генеративной диалоговой моделью общего назначения и не предназначена для длинной генерации текста. Она ориентирована на корейский язык и домен интернет-комментариев, поэтому её качество может снижаться на других языках, специализированных корпусах и текстах, существенно отличающихся от обучающих данных. Для конкретной карточки модели условия лицензирования следует проверять в репозитории перед распространением или коммерческим использованием.