Корейская модель DistilBERT для предсказания пропущенных токенов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
monologg/distilkobert — корейская языковая модель семейства DistilBERT, опубликованная пользователем monologg. Она предназначена для задачи fill-mask: по контексту с пропущенным токеном модель предсказывает подходящее продолжение. Модель работает с текстом и использует архитектуру DistilBertForMaskedLM; максимальная длина контекста составляет 512 токенов.
Модель подходит для корейского текста и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Для загрузки токенизатора через AutoTokenizer в Transformers в README указано включить trust_remote_code=True.
Модель предназначена для корейского языка и ограничена контекстом до 512 токенов. Для загрузки токенизатора через AutoTokenizer требуется trust_remote_code=True.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
If you want to import DistilKoBERT tokenizer with
AutoTokenizer, you should givetrust_remote_code=True.
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("monologg/distilkobert")
tokenizer = AutoTokenizer.from_pretrained("monologg/distilkobert", trust_remote_code=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…