Базовая корейская модель ELECTRA для получения контекстных представлений текста и дообучения под задачи понимания языка.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
kykim/electra-kor-base — базовая модель семейства ELECTRA для корейского языка. В README указано, что для обучения использовался корпус корейских текстов объёмом 70 ГБ и словарь из 42 000 приведённых к нижнему регистру субслов. Модель содержит 145,5 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow.
Модель предназначена для извлечения контекстных представлений корейского текста и может служить основой для дообучения под задачи понимания языка. В карточке показан пример загрузки токенизатора и базовой модели через Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.
Контекст ограничен 512 токенами; модель является базовой и для прикладных задач может потребовать дообучения. Лицензия в предоставленных источниках не описана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
from transformers import ElectraTokenizerFast, ElectraModel
tokenizer_electra = ElectraTokenizerFast.from_pretrained("kykim/electra-kor-base")
model = ElectraModel.from_pretrained("kykim/electra-kor-base")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.