抜粋による複数文書要約を評価するためのコーパスと評価指標 Corpus and Evaluation Measures for Extractive Multiple Document Summarization

この論文にアクセスする

この論文をさがす

著者

    • 平尾 努 HIRAO TSUTOMU
    • 日本電信電話株式会杜NTTコミュニケーション科学基礎研究所 NTT Communication Science Laboratories, NTT Corporation
    • 奥村 学 OKUMURA MANABU
    • 東京工業大学精密工学研究所 Precision and Intelligence Laboratory, Tokyo Institute of Technology
    • 福島 孝博 [他] FUKUSHIMA TAKAHIRO
    • 追手門学院大学国際教養学部英語コミュニケーション学科 Department of English, Faculty of International Liberal Arts, Otemon Gakuin University
    • 磯崎 秀樹 ISOZAKI HIDEKI
    • 日本電信電話株式会杜NTTコミュニケーション科学基礎研究所 NTT Communication Science Laboratories, NTT Corporation

抄録

複数文書要約の対象となる文書群には,ある文に対して,意味的に似通った文やまったく同じ文が含まれていることが多い.こうした傾向は,要約のための文書群を複数の情報源から得た場合に特に顕著である.しかし,従来のコーパスには,このようなよく似た文,あるいは同一の文の間に注釈付けが存在しない.これは,抜粋を評価するための指標を定義するうえで致命的な問題となる.本稿では,こうした冗長性を考慮したコーパスへの注釈付けの枠組みを提案し,それに基づき,抜粋の情報量を測る指標である被覆率,抜粋に含まれる重要文の冗長度を測る指標である重要文冗長率を提案する.これらの指標による抜粋の順位付けと被験者による順位付けとの間の順位相関係数は,ともに0.7以上であり,人間の順位付けとの間に高い相関があることが分かった.In multiple document summarization, input documents have many similar (or even identical)sentences. However, conventional corpora for multiple document summarization do not include links between similar sentences. This is a critical problem with regard to the definition of evaluation measures for sentence extraction. In this paper, we propose both annotation scheme for corpus and evaluation measures, "coverage" and "redundancy." "Coverage" measures the content information of the system extract and "redundancy" measures the redundancy of the important sentences contained in system extract. We evaluate "coverage" and "redundancy" by comparing their ranking correlation coefficients with subjective human rankings. The results show that both measure attained enough high correlation coefficients, which were more than 0.7 correlation coefficients.

In multiple document summarization, input documents have many similar (or even identical) sentences. However, conventional corpora for multiple document summarization do not include links between similar sentences. This is a critical problem with regard to the definition of evaluation measures for sentence extraction. In this paper, we propose both annotation scheme for corpus and evaluation measures, "coverage" and "redundancy." "Coverage" measures the content information of the system extract and "redundancy" measures the redundancy of the important sentences contained in system extract. We evaluate "coverage"and "redundancy" by comparing their ranking correlation coefficients with subjective human rankings. The results show that both measure attained enough high correlation coefficients, which were more than 0.7 correlation coefficients.

収録刊行物

  • 情報処理学会論文誌データベース(TOD)

    情報処理学会論文誌データベース(TOD) 48(SIG14(TOD35)), 60-68, 2007-09-15

    社団法人情報処理学会

参考文献:  17件中 1-17件 を表示

被引用文献:  1件中 1-1件 を表示

各種コード

  • NII論文ID(NAID)
    110006390951
  • NII書誌ID(NCID)
    AA11464847
  • 本文言語コード
    JPN
  • 資料種別
    Article
  • ISSN
    1882-7799
  • NDL 記事登録ID
    8909079
  • NDL 請求記号
    Z74-C192
  • データ提供元
    CJP書誌  CJP引用  NDL  NII-ELS  IR  IPSJ 
ページトップへ