Nordic ELECTRA-Small — компактная модель семейства ELECTRA, предварительно обученная jonfd на корпусах исландского, норвежского, шведского и датского языков. Она содержит 37,2 млн параметров, использует архитектуру ElectraForPreTraining и токенизатор WordPiece со словарём из 96 105 токенов; длина контекста составляет 512 токенов. Веса доступны в форматах PyTorch и TensorFlow.

Модель предназначена как предварительно обученная основа для задач понимания текста на четырёх скандинавских языках, например классификации и извлечения признаков после адаптации под конкретную задачу. Для обучения использовались корпус Icelandic Gigaword, Icelandic Common Crawl, Icelandic Crawled Corpus и mC4; совокупный объём после фильтрации и удаления дубликатов составил 14,82 млрд токенов, поровну для каждого языка.

Это чекпойнт предварительного обучения, а не готовая разговорная модель или генератор связного текста: архитектура ElectraForPreTraining ориентирована на предобучение и требует подходящей донастройки для прикладных задач. Лицензия — CC BY 4.0.