言い換えを用いたテキスト要約の自動評価  [in Japanese] Automatic Evaluation of Text Summaries by Using Paraphrase  [in Japanese]

Access this Article

Search this Article

Abstract

コンピュータにより生成された要約の評価は,近年の自動要約研究における重要な研究課題の 1 つと認識されている.従来は,抜粋形式の要約を,正解要約との文字列の一致度により評価するのが一般的であった.しかしながら,生成要約には原文にはない独自の表現が含まれることがあるため,従来の評価手法では,生成要約を抜粋要約と同様の精度で評価することができないという問題があった.そこで,本稿では,言い換え技術を用いることにより,従来の評価手法の改善を試みる.提案手法の有効性を確認するため,テキスト自動要約タスク TSC2 のデータを用いて実験を行った.実験の結果,提案手法は,抜粋要約と生成要約のいずれの評価においても従来の評価手法を改善できることが確認された.The evaluation of computer-produced summaries has been recognized as an important research problem for automatic text summarization. Traditionally, computer-produced summaries were evaluated automatically by n-gram overlap with human-produced texts. However, these methods cannot evaluate summaries correctly, if the n-grams do not overlap between computer-produced and human-produced summaries, even though the two summaries convey the same meaning. We explored the use of paraphrases for the refinement of traditional automatic methods for summary evaluation. To confirm the effectiveness of our method, we conducted some experiments using the data from the Text Summarization Challenge 2. We found that the use of paraphrases created using a statistical machine translation technique improved the traditional evaluation methods.

Journal

  • 情報処理学会論文誌データベース(TOD)

    情報処理学会論文誌データベース(TOD) 3(2), 91-101, 2010-06-24

    一般社団法人情報処理学会

Codes

  • NII Article ID (NAID)
    110007990084
  • NII NACSIS-CAT ID (NCID)
    AA11464847
  • Text Lang
    JPN
  • Article Type
    Article
  • ISSN
    1882-7799
  • NDL Article ID
    024298971
  • NDL Call No.
    YH247-812
  • Data Source
    NDL  NII-ELS  IR  IPSJ 
Page Top