koelectra-small-v3-discriminator

KoELECTRA-Small-v3-discriminator — компактная корейская предобученная языковая модель на архитектуре ELECTRA, разработанная Jangwon Park (monologg). Она обучена распознавать заменённые токены: дискриминатор определяет, является ли каждый токен исходным или подменённым. Модель предназначена для дообучения и использования как текстовый энкодер в корейских задачах понимания языка, включая классификацию, распознавание именованных сущностей, оценку сходства и ответы на вопросы.

Модель содержит около 21,5 млн параметров, имеет 12 слоёв, скрытый размер 256, 4 головы внимания и максимальную длину последовательности 512 токенов. Обучалась на корейских текстах; вариант v3 использует корпус Everyone’s Corpus и словарь WordPiece размером 35 000 токенов. В карточке Hugging Face указано использование с Transformers и PyTorch. Ограничение — это дискриминатор для кодирования и дообучения, а не генеративный чат-бот; для решения прикладных задач обычно требуется дополнительная настройка. Лицензия не установлена по доступным источникам.