自然言語解析のためのMSLRパーザ・ツールキット MSLR Parser Tool Kit : Tools for Natural Language Analysis

この論文にアクセスする

この論文をさがす

著者

    • 白井 清昭 SHIRAI Kiyoaki
    • 東京工学大学大学院情報理工学研究科計算工学専攻 Department of Computer Seience, Graduate School of Information Science and Engineering, Tokyo Institute of Technology
    • 植木 正裕 UEKI Masahiro
    • 国立国語研究所日本語教育センター日本語教育普及指導部日本語教育教材開発 Teaching Materials Development Section, Depaerment of Educational Support Services, Center for Teaching Japanese as a Second Language, The National Language Research Institute
    • 橋本 泰一 [他] HASHIMOTO Taiichi
    • 東京工学大学大学院情報理工学研究科計算工学専攻 Department of Computer Seience, Graduate School of Information Science and Engineering, Tokyo Institute of Technology
    • 徳永 健伸 TOKUNAGA Takenobu
    • 東京工学大学大学院情報理工学研究科計算工学専攻 Department of Computer Seience, Graduate School of Information Science and Engineering, Tokyo Institute of Technology
    • 田中 穂積 TANAKA Hozumi
    • 東京工学大学大学院情報理工学研究科計算工学専攻 Department of Computer Seience, Graduate School of Information Science and Engineering, Tokyo Institute of Technology

抄録

本論文では, 我々が現在公開している自然言語解析用ツール「MSLRパーザ・ツールキット」の特徴と機能について述べる. MSLRパーザは, 一般化LR法の解析アルゴリズムを拡張し, 日本語などの分かち書きされていない文の形態素解析と構文解析を同時に行うツールである. MSLRパーザを用いて解析を行う際には, まずLR表作成器を用いて, 文法と接続表からLR表を作成する. このとき, LR表作成器は, 接続表に記述された品詞間の接続制約を組み込んだLR表を生成する. このため, 接続制約に違反する解析結果を受理しないLR表が作られるだけでなく, LR表の大きさを大幅に縮小することができる. 次に, MSLRパーザは, 作成されたLR表と辞書を用いて辞書引きによる単語分割と構文解析を同時に行い, その結果として構文木を出力する. さらに, MSLRパーザは, 文中の括弧の組によって係り受けに関する部分的な制約が与えられた文を入力とし, その制約を満たす構文木のみを出力する機能を持つ. また, 文脈依存性を若干反映した言語モデルのひとつである確率一般化LRモデル (PGLRモデル) を学習し, 個々の構文木に対してPGLRモデルに基づく生成確率を計算し, 解析結果の優先順位付けを行う機能も持つ.

In this paper, we describe a tool kit for natural language analysis, the MSLR parser tool kit.The 'MSLR parser' is based on the generalized LR parsing algorithm, and integrates morphological and syntactic analysis of unsegmented sentences. The'LR table generator'constructs an LR table from a context free grammar and a connection matrix describing adjacency constraints between part-of-speech pairs. By incorporating connection matrix-based constraints into the LR table, it is possible to both reject any locally implausible parsing results, and reduce the size of the LR table. Then, using the generated LR table and a lexicon, the MSLR parser outputs parse trees based on morphological and syntactic analysis of input sentences. In addition to this, the MSLR parser accepts sentence inputs including partial syntactic constraints denoted by pairs of brackets, and suppresses the generation of any parse trees not satisfying those constraints. Furthermore, it can be trained according to the probabilistic generalized LR (PGLR) model, which is a mildly context sensitive language model. It can also rank parse trees in order of the overall probability returned by the trained PGLR model.

収録刊行物

  • 自然言語処理 = Journal of natural language processing

    自然言語処理 = Journal of natural language processing 7(5), 93-112, 2000-11-10

    言語処理学会

参考文献:  11件中 1-11件 を表示

被引用文献:  10件中 1-10件 を表示

各種コード

  • NII論文ID(NAID)
    10008830154
  • NII書誌ID(NCID)
    AN10472659
  • 本文言語コード
    JPN
  • 資料種別
    NOT
  • ISSN
    13407619
  • NDL 記事登録ID
    5562178
  • NDL 雑誌分類
    ZU8(書誌・図書館・一般年鑑--図書館・ドキュメンテーション・文書館)
  • NDL 請求記号
    Z21-B168
  • データ提供元
    CJP書誌  CJP引用  NDL  IR  J-STAGE 
ページトップへ