Корейская BERT-модель для предсказания скрытых токенов и дальнейшего обучения маскированной языковой модели.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
KoBERT-LM — корейская модель на базе BERT, разработанная monologg и дополнительно предварительно обученная для повторного обучения маскированной языковой головы. Она предназначена для предсказания скрытых токенов и дальнейшего обучения языковой модели на корейских текстах. Модель содержит 119,4 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch, Flax и safetensors.
Модель подходит как основа для экспериментов и задач восстановления пропущенных слов в корейском тексте. README указывает, что для загрузки токенизатора через AutoTokenizer требуется trust_remote_code=True. Распространяется по лицензии Apache-2.0.
Контекст ограничен 512 токенами. Для загрузки токенизатора через AutoTokenizer требуется trust_remote_code=True.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
If you want to import KoBERT tokenizer with
AutoTokenizer, you should givetrust_remote_code=True.
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("monologg/kobert-lm")
tokenizer = AutoTokenizer.from_pretrained("monologg/kobert-lm", trust_remote_code=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…