予測単位の変更による n-gram モデルの改善

• 森 信介

  京都大学工学研究科

• 山地 治

  京都大学工学研究科

• 長尾 眞

  京都大学工学研究科

書誌事項

タイトル別名

• An Improvement of n-gram Model by a Change of the Prediction Unit

抄録

本論文では、文字n-gramモデルや形態素n-gramモデルの予測単位を文字列や形態素列に拡張した連文字n-gramモデルや連語n-gramモデルを定義し、予測力という観点でモデルを改善する方法を提案する。モデルの探索における目的関数は、形態素クラスタリングで有効性が示されている平均クロスエントロピーである。これは、削除補間のように、評価用のコーパスとモデルの推定用のコーパスとを別に用意するというアイデアに基づいている。日本語コーパスを用いた実験の結果、クロスエントロピーを計算すると、連文字n-gramモデルは4.3791であり文字n-gramモデルの5.4105より低く、連語n-gramモデルは4.4555であり形態素n-gramモデルの4.6053より低く、モデルの改善が観測された。

収録刊行物

• 電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション

  電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション 97 (440), 35-42, 1997-12-12

  一般社団法人電子情報通信学会

キーワード

• n-gram モデル
• 確率的言語モデル
• 連文字
• 連語
• EDRコーパス

詳細情報

• CRID: 1571698602392955136
• NII論文ID: 110003278252
• NII書誌ID: AN10091225
• 本文言語コード: ja
• データソース種別:
  • CiNii Articles