Базовая корейская модель ALBERT для предсказания замаскированных токенов и задач понимания текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
kykim/albert-kor-base — базовая корейская модель семейства ALBERT, представленная автором kykim. Она обучена на корпусе корейских текстов объёмом 70 ГБ с использованием словаря из 42 000 подслов в нижнем регистре. Модель содержит 145,5 млн параметров, принимает последовательности длиной до 256 токенов и доступна в форматах PyTorch и TensorFlow.
Модель предназначена для заполнения пропусков в тексте: она предсказывает замаскированные токены и может служить основой для задач понимания корейского языка. Лицензия в предоставленных данных не указана.
Контекст ограничен 256 токенами. В предоставленных данных нет сведений о лицензии и результатах оценки качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
from transformers import BertTokenizerFast, AlbertModel
tokenizer_albert = BertTokenizerFast.from_pretrained("kykim/albert-kor-base")
model_albert = AlbertModel.from_pretrained("kykim/albert-kor-base")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…