GPT2 Japanese base model version 2
Prerequisites
transformers==4.19.2
Model architecture
This model uses GPT2 base setttings except vocabulary size.
Tokenizer
Using BPE tokenizer with vocabulary size 60,000.
Training Data
- wiki40b/ja (Japanese Wikipedia)
- Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data
Usage
from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)
(Japanese description) GPT2 日本語 ベースモデル・バージョン 2
前提条件
transformers==4.19.2
モデル・アーキテクチャ
このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。
トークナイザー
語彙サイズ 60,000 の BPE トークナイザーを使用しています。
訓練データ
- wiki40b/ja (日本語 Wikipedia)
- CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。
使用方法
from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)