人の発声単位を考慮した日本語言語モデルの検討 : 日本語における単語とは

• 伊東 伸泰

  日本アイ・ビー・エム 東京基礎研究所

• 西村 雅史

  日本アイ・ビー・エム 東京基礎研究所

• 荻野 紫穂

  日本アイ・ビー・エム 東京基礎研究所

• 山崎 一孝

  日本アイ・ビー・エム 東京基礎研究所

書誌事項

タイトル別名

• A Japanese Language Model Based on Human Utterance Units : word in Japanese

抄録

日本語では単語の境界があいまいで、文法的に定義された単位は必ずしも人が認知している単語単位と一致しない。本研究では人の発声単位を考慮した単語単位の構成方法とそれに基づいた日本語言語モデルを提案する。本手法では人が単語境界と考える点で分割した比較的少量のテキストデータと形態素解析による分割結果とを照合することにより、人が潜在意識としてもつ単語単位を形態素レベルのパラメータでモデル化した。そして多量のテキストを同モデルにしたがった疑似乱数で分割することにより、単語単位のセットと言語モデルの訓練用データを自動生成した。

収録刊行物

• 情報処理学会研究報告. NL,自然言語処理研究会報告

  情報処理学会研究報告. NL,自然言語処理研究会報告 116 57-64, 1996-11-18

  一般社団法人情報処理学会

詳細情報

• CRID: 1573105977036355200
• NII論文ID: 110002934983
• NII書誌ID: AN10115061
• 本文言語コード: ja
• データソース種別:
  • CiNii Articles