Базовая корейская модель BERT для заполнения пропусков в тексте и задач понимания корейского языка.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
kykim/bert-kor-base — базовая модель BERT для корейского языка. В README указано, что она обучена на корпусе корейских текстов объёмом 70 ГБ с использованием словаря из 42 000 токенов в нижнем регистре. В метаданных указаны архитектура BertForMaskedLM, размер 145,5 млн параметров и контекст до 512 токенов; доступны версии весов для PyTorch, TensorFlow и Flax.
Модель предназначена для предсказания замаскированных токенов в корейском тексте и может служить основой для задач понимания корейского языка. README показывает загрузку через Transformers с токенизатором BertTokenizerFast и моделью BertModel. В карточке не указаны отдельные оценки качества и условия лицензии.
Контекст ограничен 512 токенами. В карточке не приведены оценки качества и условия лицензии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
from transformers import BertTokenizerFast, BertModel
tokenizer_bert = BertTokenizerFast.from_pretrained("kykim/bert-kor-base")
model_bert = BertModel.from_pretrained("kykim/bert-kor-base")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…