拡張ストリングカーネルを用いた要約システムの自動評価法

情報処理学会 Web Site 被引用文献5件 参考文献15件

書誌事項

タイトル別名
  • カクチョウ ストリングカーネル オ モチイタ ヨウヤク システム ノ ジドウ ヒョウカホウ
  • An Automatic Evaluation Method for Summarization Systems with Extended String Subsequence Kernel
  • 自然言語

この論文をさがす

抄録

近年，言語生成技術を含む自然言語処理，たとえば，自動要約や機械翻訳の評価型ワークショップがさかんに開催されており，システム評価のためのコーパスが整備されつつある．しかし，こうした自然言語処理技術の評価は，多くの場合，人間の評価に頼らざるをえない．よって，再評価実験が困難である，多大なコストがかかるという問題がある．そこで，人間の評価に匹敵する正確な自動評価法の確立に大きな期待が寄せられている．本稿では，コンボリューションカーネルの1 つである拡張ストリングカーネル（Extended String Subsequence Kernel）を用いた要約システムの自動評価法を提案する．Text Summarization Challenge 3（TSC-3）のデータを用いて提案手法を従来手法であるROUGE と比較した結果，人間の評価結果との相関において，提案手法がより高く，頑健性に優れていることが分かった．

Recently, several evaluation workshops for automatic summarization are held. These evaluation workshops employ human evaluations, which are essential in terms of achieving high quality evaluations results. However, human evaluations require a huge effort and the cost is considerable. Moreover, we cannot automatically evaluate a new system even if we use the corpora built for these workshops, and we cannot conduct re-evaluation experiments. In order to promote the study of automatic summarization, we need an accurate automatic evaluation method that is close to human evaluation. In this paper, we present an evaluation method that is based on extended string subsequence kernel that measure the similarities between texts considering their substructures. We conducted an experiment using automatic summarization evaluation data developed for Text Summarization Challenge 3 (TSC-3). Our method shows higher correlation than ROUGE family with human evaluation.

収録刊行物

被引用文献 (5)*注記

もっと見る

参考文献 (15)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ