Google発のNLP用事前トレーニング・ツールBERTの評価とコメント

[professor]

深層学習（ディープラーニング）の欠点は、膨大で良質な教師データ（解答と質問のセット）を準備しなくてはならないことだ。その数は数億から数十億に至らないと理論上精度が出ない。これを解決しようとしたのがBERTだ。簡単に仕組みを言うとTensorFlowの形態素解析を使って膨大な自然文（テキスト）の「名詞」だけをマスキング（変数化）して前後の単語の列ベクトルのパターン化をするだけ。これで「類似文」と「前後の文」を抽出できる。従来のWord2VecやGloVeとの違いは、Context-freeではなく、Contextualであることだという。要するに「単語の集合」ではなく、「列を保持している」だけであって、構文解析（連文節+係り受け）を行っているわけでもなく、ましてや照応解析（代名詞+ゼロ代名詞の補完）や意味解析（概念タグ+意味タグ）をした上で「理解」をしているわけでないので、精度も危なっかしい。「読解力テスト」とは、単なる類似文の検索なので、人間よりもテキスト類似検索エンジンの方がはるかに速く精度が良いのは当たり前だ。また、「タスク別」にとは、「Chatbot」や「レコメンド」などですが、これらは「類似文」や「前後文（連結文らしい）」という簡単な処理ではなく、「知識」を抽出した上で、「知識の構造化」をしないと人間らしい「問い返し、聞き返し、切り返し」ができなく、曖昧な質問Qに対するガイドやナビができない。ただ、これを昨年の11月に公開したということは、この次のNLP用ツールの成功が見えてきたからであるので、今後のGoogleのAI研究者に期待しましょう。

[投稿者]

投稿