自然言語処理トピック
NLP-数理モデル比較表
NLPモデルと数理モデルについて解析項目ごとに例文を交えて比較します。
|
NLPモデル |
解析項目 |
数理モデル |
例文 |
|
|
|||
|
最長一致法 字種結合 |
分ち書き Chunking |
N-gram、ベイズ定理 Latticeアルゴリズム DP（動的計画法） CRF（条件付き確率場） HMM（隠れマルコフ） VA（ビタビアルゴリズム） 有限オートマトン… |
太郎/は/会社/へ/行っ/た/。 彼/は/５G/の/スマホ/を/買/った/。 |
|
助詞探索法 品詞列文法 文法依存法 |
品詞付与 基本品詞 詳細品詞 活用型 活用形 |
太郎(名詞)は(助詞)会社(名詞)へ(助詞)行っ(動詞)た(助動詞)。(記号) 彼(人称代名詞)は（助詞）５G（未知語；名詞）の（助詞）スマホ（名詞）を（助詞）買（動詞）った（助動詞）。（記号） |
|
|
辞書 品詞文法 |
基本言語処理 |
線形代数 統計学、確率論 |
有償・無償の形態素解析ソフト多々 品詞種の相違が特徴になっている |
|
|
|||
|
文脈自由文法 句構造文法 |
連文節統合 文節結合 |
カーネル法 Polynominal kernel 多項式モデル 系列モデル… |
主部（（大きな）主語（太郎は））修飾部（修飾語（会社へ））述部（（すぐに）述語（行った）） |
|
LFG GPSG |
係り受け付与 |
SP主述（太郎は，行った） MP修述（会社へ，行った） |
|
|
国文法に依る処理系 |
形態素解析+構文解析＝統語解析Parse |
解析幾何学 微分幾何学 |
構文解析ソフトは数が少ない 精度に問題が残る |
|
|
|||
|
談話表示理論 |
照応付与 |
HMM、ベイズの定理 Kalman’s filter Attention（BERT） Transformers… |
彼（太郎）はそこ（会社）で会議をした。 |
|
概念依存論 |
共参照付与 |
そこ（会社=意味研㈱） |
|
|
シャンク概念 |
結束性付与 |
会議（原因=コロナ休暇）因果関係 |
|
|
フレーム意味 |
結束構造 |
会議（∈会社）包含関係 |
|
|
意味概念論に依る処理系 |
文の意味解釈には重要なファクター |
微分幾何学 線形代数 |
文脈解析ソフトはほとんどない 世界中が研究中である |
|
|
|||
|
カテゴリー文法 語用論 |
概念タグ付与 固有表現 |
Clusetring Classification… |
太郎=固有名詞∈人名⊂人間 会社=組織∈機能 |
|
格文法 概念依存文法 |
意味タグ付与 意図タグ付与 |
Heuristic method … |
AgentMoveOrg（太郎行った会社） AgentDiscuss(topic)（参加者?会議） |
|
カテゴリーや概念に依る処理系 |
アプリ用タグ |
線形代数 ユークリッド空間 凸系近傍処理 |
Googleなど世界中でトライ中 スマートスピーカーやChatbotなどのアプリの命令系に使う意味タグ |
|
|
|||
|
モンタギュ文法 述語論理 |
知識生成 |
半正定値対称行列 … |
地球は太陽を中心に公転している。 地球は地軸を中心に自転している。 |
|
様相論理 |
知識構造化 |
意味概念包含 双曲幾何学 |
KE1⊂KE2、KE3∈KE4 |
|
記号論理学 |
知識推論 |
組合せ最適化 |
newKE←Inference（KE５、KE６） |
|
論理系 形式論理学 |
NLPの最終目的 知識構造体 |
組合せ論 微分幾何学 |
クラウドに全ての分野の専門知識をアップして自動更新 |
|
|
|||
|
空間認知 状況表現
|
クラスタリングClustering |
凝集型 ｋ-平均法 混合正規分布 EMアルゴリズム… |
Sim（疫病、新型コロナウイルス） ユークリッド空間 ベクトル空間上での類似や距離 |
|
概念依存法
|
分類 Classification |
ナイーブベイズ SVM カーネル法 対数線形モモデル … |
CF（品詞｜単語） CF(ジャンル｜文書) 同型 同相 |
|
シーン表現 |
トピック抽出 |
トピックモデル |
Vtopic_viewpoint（トピック｜文書） |
|
概念構造 |
要約生成 |
特徴抽出モデル TF-IDF |
「ズバリ要約」「SP-Summary」 抄録、ダイジェスト、アブストラクト |
|
概念構造 |
分類系 |
統計学 |
語彙系の辞書作りに活用 |
|
|
|||
|
|
素性Feature特徴 |
Heuristic method TF-IDF… |
頻度（単語｜ジャンル） |
|
|
スパース性 |
線形回帰、Lasso ℓ1ノルム… |
|
|
|
連続性と離散性 |
多様体論… |
|
|
|
汎化性と近似 |
深層学習 直交補空間… |
|
|
|
相関性と類義性 |
情報幾何学… |
|
|
|
階層化シソーラス Ontology |
Poincare embeddings Lorentzモデル… |
|
|
|
有向非巡回グラフ |
層、コホモロジー |
|
|
|
|
|
|