点予測による形態素解析  [in Japanese] Morphological Analysis with Pointwise Predictors  [in Japanese]

Access this Article

Search this Article

Author(s)

Abstract

本論文では、形態素解析の問題を単語分割と品詞推定に分解し、それぞれの処理で点予測を用いる手法を提案する。点予測とは、分類器の素性として、周囲の単語境界や品詞等の推定値を利用せずに、周囲の文字列の情報のみを利用する方法である。点予測を用いることで、柔軟に言語資源を利用することができる。特に分野適応において、低い人的コストで、高い分野適応性を実現できる。提案手法の評価として、言語資源が豊富な一般分野において、既存手法である CRF と形態素 n-gram モデルと品詞 2-gram モデル (HMM) との解析精度の比較を行い、同程度の精度を得た。さらに、提案手法の分野適応性を評価するための評価実験を行い、高い分野適応性を示す結果を得た。This paper proposes an approach to Japanese morphological analysis that divides the prediction process into word segmentation and part-of- speech estimation, then solves each step with pointwise predictors. Pointwise prediction uses as its feature set only surface information about the surrounding character strings, without relying on predicted information such as surrounding POS tags or word boundaries. This allows for the flexible use of a variety of linguistic resources, making it possible to achieve domain adaptation with a minimum amount of annotation. An evaluation was performed on a well-resourced general domain morphological task, and it was found that the proposed method achieved results comparable to those of existing methods such as CRFs, morpheme n-gram models, and POS 2-gram models (HMM). In addition, a domain adaptation experiment found that the proposed method was able to achieve effective domain adaptation with a smaller amount of annotation.

Journal

  • 研究報告自然言語処理(NL)

    研究報告自然言語処理(NL) 2010-NL-198(8), 1-7, 2010-09-09

    情報処理学会

References:  13

Cited by:  1

Codes

  • NII Article ID (NAID)
    110008003301
  • NII NACSIS-CAT ID (NCID)
    AN10115061
  • Text Lang
    JPN
  • Article Type
    Journal Article
  • ISSN
    09196072
  • NDL Article ID
    025244774
  • NDL Call No.
    YH247-911
  • Data Source
    CJP  CJPref  NDL  NII-ELS  IPSJ 
Page Top