文節数最小法を用いたべた書き日本語文の形態素解析

• 吉村, 賢治

• 日高達

• 吉田, 将

書誌事項

タイトル別名

• Morphological Analysis of Non -marked- off Japanese Sentences by the Least BUNSETSU's Number Method

抄録

文節内における単語間の連接規則を記述した文法規則を用いるべた書き日本語文の形態素解析では 日本語文としては不適当な解析を含む多くの解析結果が生じる.これらの解析結果から正しい解析を効率的に得る方法として ヒューリスティックな構報が利用される.従来 この手法としては最長一致法が用いられているが 根拠が明らかでないうえに解析結果に尤度による優先順位をつけることができないという根本的な欠点がある本論文では 解析結果の文節数によってその尤度を評価する文節数最小法を提案し この手法に適した表方式の形態素解析アルゴリズムを与える.アルゴリズムの能率は 最悪の場合に必要とするステップ数 メモリ数ともに入力文字列の長さnに対してΟ(n^2)である.また 1 000文の入力文に対して解析実験を行い 文節数最小法の有効性を確認した.その結果 960文については文節数が最小となる解析に正解が存在し 残り40文も一つ文節数が多い解析に正解が存在した.その他 能率 最初に出力される解析結果の誤り率 尤度による順位付けの能力についても最長一致法と比較実験を行った.最初に出力される解析結果の誤り率は 文節数最小法で7.0% 最長一致法で12.4%であり このことも文節数最小法の有効を十分示している.

収録刊行物

• 情報処理学会論文誌

  情報処理学会論文誌 24 (1), 40-46, 1983-01-15

  一般社団法人情報処理学会

キーワード

• 論文

詳細情報

• CRID: 1050282812867091328
• NII論文ID: 110002723740
• NII書誌ID: AN00116647
• ISSN: 18827764
• Web Site: http://id.nii.ac.jp/1001/00016097/
• 本文言語コード: ja
• 資料種別: journal article
• データソース種別:
  • IRDB
  • CiNii Articles