NICT BERT 日本語 Pre-trained モデル

概要

このページでは、日本語Wikipediaを対象に情報通信研究機構データ駆動知能システム研究センターで事前学習を行ったBERTモデルをクリエイティブ・コモンズ表示 4.0 国際ライセンス (CC BY 4.0)のもとで公開しています。

BERTモデル [1] の学習では、バッチサイズやステップ数を増やすことで性能が向上することが報告されています [2]。そこで本ページのモデルでは、[2] のRoBERTa-500Kと同等の計算量となるよう、ステップ数を [1] と同様に100万に保ちつつ、バッチサイズを [1] の16倍の4,096にして学習を行いました。

作成したBERTモデルの評価として、NICTで作成した (fine-tuning用) 学習データと評価データ (これらのデータは大規模Web情報分析システムWISDOM X、対災害SNS情報分析システムDISAANA、災害状況要約システムD-SUMM、次世代音声対話システムWEKDAの研究開発でも利用) 、さらには一般に公開されている学習・評価データを用いて評価を行いました。具体的には、(1) 因果関係認識 (Hashimoto et al., ACL 2014) [3]、(2) ファクトイド質問応答のランキング (関ら, NLP 2020) [6]、(3) バイナリパタン間含意関係認識 (Kloetzer et al., EMNLP 2015) [7]、(4) 東北大乾・鈴木研究室が公開している解答可能性付き読解 (鈴木ら, NLP 2018) [9] の実験を行いました。いずれのタスクにおいても、すでに公開済みのBERTモデルよりも高い性能が得られており、本ページで公開するBERTモデルを利用することで他の日本語の言語処理のタスクでも性能向上を見込めると考えております(詳しい性能差については評価実験の実験結果を参照)。

ダウンロード

BERTモデルはbyte pair encoding (BPE) [10] を使用したバージョンと使用しないバージョンの2種類を公開します。BPEを使用しないバージョンは、モデルの語彙数を10万語としています。

BERT_BASEモデル (12-layer, 768-hidden, 12-heads)
- BPEなし、100,000語: NICT_BERT-base_JapaneseWikipedia_100K.zip (781M)
- BPEあり、32,000語: NICT_BERT-base_JapaneseWikipedia_32K_BPE.zip (531M)

配布ファイルは、BERTオリジナル版 (Google AI Research)ならびにHugging Face版 (Transformers, pytorch-transformers, pytorch-pretrained-bert) のpre-trainedモデルと同様に、以下のファイルを含んでいます。

Tensorflow checkpoint (model.ckpt.meta, model.ckpt.index, model.ckpt.data-00000-of-00001, checkpoint)
PyTorch用モデル (pytorch_model.bin)
語彙ファイル (vocab.txt)
bert_configファイル (config.json)
Hugging Face版トークナイザ用configファイル (tokenizer_config.json, special_tokens_map.json)

モデルの詳細

以下の設定でpre-trainingを行いました:

コーパス: 日本語Wikipedia全て (タイトルを除く)
- 半角を全角に正規化し、MeCab-Juman辞書で形態素に分割、BPEありのモデルについてはさらにsubword-nmtで生成した語彙を用いてsubwordに分割
ステップ: 計2ステップ
1. バッチサイズ: 4,096 (=256×16)、max_seq_length: 128、100万ステップ
2. バッチサイズ: 4,096 (=256×16)、max_seq_length: 512、10万ステップ
Whole word maskingは使用しない
学習は32枚のNVIDIA Tesla V100を使用し、BPEなしで9日、BPEありで7日で完了

使用方法

本ページで公開する BERT のモデルは、BERTオリジナル版や Hugging Face版に含まれるスクリプト (run_classifier.py など) を用いて、追加のfine-tuningを行うことができます。

注意点として、以下があります。

入力テキストは、事前に半角を全角に正規化し、MeCab-Juman辞書 [11, 12] で形態素に分割しておく
オリジナル版では --do_lower_case=False オプションをつける。Hugging Face版では --do_lower_case オプションをつけない
オリジナル版、もしくはバージョン1.0未満のHugging Face版 (pytorch-pretrained-bert) を使用する場合は、tokenization.py の以下の行をコメントアウトする (Hugging Face版のバージョン1.0以降では、tokenizer_config.json ファイルの設定が反映されるため、この対応は不要)
```
 # text = self._tokenize_chinese_chars(text)
```
なお、BPEの有無についてはいずれもtokenization.py等に含まれるWordpieceTokenizerで対応できるため、特別な修正は不要です

具体的な使用例については、解答可能性付き読解データセットを利用した既存の日本語BERTモデルと比較を行った実験手順をご参照ください。

評価実験

実験の概要

以下の各タスクを用いて、現在公開されているいくつかのBERTモデルと、本ページで公開するモデルの比較を行いました。

タスク
- 因果関係認識 (Hashimoto et al., ACL 2014; Kruengkrai et al., AAAI 2017; Kadowaki et al., EMNLP 2019) [3, 4, 5]
- ファクトイド質問応答のランキング (関ら, NLP 2020) [6]
- バイナリパタン間含意関係認識 (Kloetzer et al., EMNLP 2015; 二宮ら, NLP 2020) [7, 8]
- 解答可能性付き読解 (鈴木ら, NLP 2018) [9]
比較対象のモデル
- BERT-Base, Multilingual Cased (Google AI Research) (URL)
- BERT日本語Pretrainedモデル (BASE WWM版) (京都大学黒橋・河原・村脇研究室) (URL)
- BERT日本語Pretrainedモデル (LARGE WWM版) (京都大学黒橋・河原・村脇研究室) (URL)
- Pretrained Japanese BERT models (MeCab + WordPiece, WWM) (東北大学乾・鈴木研究室) (URL)
- BERT with SentencePiece for Japanese text (Yohei Kikuta氏) (URL)
- hottoSNS-BERT (株式会社ホットリンク) (URL)

このうち、解答可能性付き読解データセットによる実験については、こちらの手順で再現が可能です。

実験結果

実験の結果、いずれのタスクにおいても、現在公開されている他のBERTモデルよりも高い性能が得られています。

モデル	因果関係認識 [3]		ファクトイド質問応答 [6]		バイナリパタン間含意関係認識 [7]		解答可能性付き読解 [9]
モデル	F1	平均精度	F1	平均精度	F1	平均精度	EM	F1
NICT BERT 日本語 Pre-trained モデル BPEなし	58.56	59.01	73.47	82.52	57.92	63.01	76.42	77.75
NICT BERT 日本語 Pre-trained モデル BPEあり	56.34	57.96	69.72	77.20	59.18	61.16	77.92	79.49
BERT-Base, Multilingual Cased	48.48	47.19	48.27	61.75	51.51	54.01	70.10	70.16
BERT 日本語 Pretrained モデル (BASE WWM版)	53.06	51.76	67.48	75.29	53.90	56.06	73.89	75.65
BERT 日本語 Pretrained モデル (LARGE WWM版)	54.74	54.76	70.34	77.89	56.62	61.18	75.79	77.49
Pretrained Japanese BERT models (MeCab + WordPiece, WWM)	54.99	54.63	67.00	75.08	57.86	62.45	77.68	78.87
BERT with SentencePiece for Japanese text	54.76	55.67	72.87	80.28	55.53	58.74	73.66	76.83
hottoSNS-BERT	48.94	47.09	67.26	73.43	49.04	48.22	61.14	64.93

参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. of NAACL:HLT, pp. 4171-4186, 2019. (PDF)
[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv e-prints, arXiv:1907.11692, 2019. (PDF)
[3] Chikara Hashimoto, Kentaro Torisawa, Julien Kloetzer, Motoki Sano, Istvan Varga, Jong-Hoon Oh and Yutaka Kidawara. Toward Future Scenario Generation: Extracting Event Causality Exploiting Semantic Relation, Context, and Association Features. In Proc. of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 987-997, 2014. (PDF)
[4] Canasai Kruengkrai, Kentaro Torisawa, Chikara Hashimoto, Julien Kloetzer, Jong-Hoon Oh and Masahiro Tanaka. Improving Event Causality Recognition with Multiple Background Knowledge Sources using Multi-Column Convolutional Neural Networks. In the Proc. of the 31st AAAI Conference on Artificial Intelligence, pp. 3466-3473, 2017. (PDF)
[5] Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, Jong-Hoon Oh and Julien Kloetzer. Event Causality Recognition Exploiting Multiple Annotators’ Judgments and Background Knowledge. In the Proc. of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing, pp. 5820-5826, 2019. (PDF)
[6] 関直哉, 水野淳太, 門脇一真, 飯田龍, 鳥澤健太郎. ファクトイド質問応答におけるBERTのpre-trainedモデルの影響の分析. 言語処理学会第26回年次大会 (NLP2020), 2020.
[7] Julien Kloetzer, Kentaro Torisawa, Chikara Hashimoto, Jong-Hoon Oh. Large-Scale Acquisition of Entailment Pattern Pairs by Exploiting Transitivity. In Proc. of EMNLP, pp. 1649-1655, 2015. (PDF)
[8] 二宮大空, 門脇一真, 飯田龍, 鳥澤健太郎, Julien Kloetzer. BERTを用いたバイナリパタン間の含意関係認識. 言語処理学会第26回年次大会 (NLP2020), 2020.
[9] 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による解答可能性を付与した質問応答データセットの構築. 言語処理学会第24回年次大会 (NLP2018), pp. 702-705, 2018. (PDF)
[10] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proc. of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016. (PDF)
[11] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proc. of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230–237, 2004. (PDF)
[12] Sadao Kurohashi, Toshihisa Nakamura, Yuji Matsumoto, and Makoto Nagao. Improvements of Japanese morphological analyzer JUMAN. In Proc. of The International Workshop on Sharable Natural Language, pp. 22–28, 1994.

更新情報

2020/3/13 モデルを公開しました

ライセンス

このページで配布するモデルは、クリエイティブ・コモンズ表示 4.0 国際ライセンス (CC BY 4.0)の下で利用可能です。

ご利用にあたっての注意事項

本ページで公開するモデルは、統計的機械学習を用いた言語モデルです。モデルの性格上、事実とは無関係な単語列を出力したり、公序良俗の観点で不適切な単語列を出力する可能性があります。モデルの学習は統計的機械学習を用いて行われており、その出力は国立研究開発法人情報通信研究機構の意思決定・判断を示すものではありません。本ページで公開するモデルの使用に関連して生ずる損失、損害等について、いかなる場合においても一切責任を負いません。以上の点について十分注意した上で自己責任の下でご利用ください。