Характеристики

Контекст: 512 токенов
Параметры: 25,7 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

bert-ko-small

lassl

Заполнение пропусковТекст → текст3 профессии

Компактная корейская модель BERT для предсказания замаскированных токенов и экспериментов с текстом.

92скачиваний за 30 дней2лайкавеса обновлены12 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lassl/bert-ko-small — компактная модель семейства BERT от LASSL, предназначенная для восстановления замаскированных токенов в корейском тексте. Она содержит 25,7 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch и Safetensors. Модель обучена на корпусах общим объёмом около 3,6 млрд токенов; карточка также содержит пример загрузки через Transformers.

Модель подходит для заполнения пропусков и как основа для экспериментов с корейским языком. Используется лицензия Apache 2.0. Результаты оценки в карточке не приведены, поэтому качество для конкретных задач по этим данным оценить нельзя.

Сценарии применения

подстановка пропущенного слова в корейском предложении
предсказание замаскированного токена в корейском тексте
создание признаков для корейских NLP-экспериментов

Ограничения

В карточке отсутствуют результаты оценки качества, поэтому пригодность модели для конкретного сценария не подтверждена. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LASSL bert-ko-small

How to use

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("lassl/bert-ko-small")
tokenizer = AutoTokenizer.from_pretrained("lassl/bert-ko-small")

Evaluation

Evaulation results will be released soon.

Corpora

This model was trained from 702,437 examples (whose have 3,596,465,664 tokens). 702,437 examples are extracted from below corpora. If you want to get information for training, you should see config.json.

corpora/
├── [707M]  kowiki_latest.txt
├── [ 26M]  modu_dialogue_v1.2.txt
├── [1.3G]  modu_news_v1.1.txt
├── [9.7G]  modu_news_v2.0.txt
├── [ 15M]  modu_np_v1.1.txt
├── [1008M]  modu_spoken_v1.2.txt
├── [6.5G]  modu_written_v1.0.txt
└── [413M]  petition.txt

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForPreTraining
Ревизия весов: 948f9c1