Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
beomi/kykim-gpt3-kor-small_based_on_gpt2 — корейская авторегрессионная языковая модель для генерации текста, разработанная BEOMI. Модель построена на архитектуре GPT-2 и обучалась на 70 ГБ корейского текста с токенизатором BERT, содержащим 42 000 подслов в нижнем регистре. Она принимает текстовый префикс и продолжает его; в карточке приведён пример генерации корейского текста. Модель подходит для экспериментов и приложений, которым требуется продолжение корейского текста.
Поддерживаются форматы PyTorch, TensorFlow и Flax; контекст составляет 2048 токенов. Карточка не сообщает лицензию и численное количество параметров.
Сценарии применения
генерация продолжения корейского текста
создание черновиков корейских публикаций
автодополнение корейских фраз
эксперименты с генерацией текста на корейском языке
Ограничения
Модель ориентирована на корейский язык и имеет контекст длиной 2048 токенов. Карточка не приводит оценок качества и не указывает лицензию.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Update at 2021.11.17 : Add Native Support for BERT Tokenizer (works with AutoTokenizer, pipeline)
70GB Korean text dataset and 42000 lower-cased subwords are used
Check the model performance and other language models for Korean in github
from transformers import pipeline
pipe = pipeline('text-generation', model='beomi/kykim-gpt3-kor-small_based_on_gpt2')
print(pipe("안녕하세요! 오늘은"))
# [{'generated_text': '안녕하세요! 오늘은 제가 요즘 사용하고 있는 클렌징워터를 소개해드리려고 해요! 바로 이 제품!! 바로 이'}]
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров