抄録
近年,人間と対話のできるコンピュータ(対話エージェント)は様々な分野で利用されている.このようなエージェントの実現のためには,対話エージェントの性能を定量的に評価できることが不可欠である.以前我々は,テキスト対話を対象とし,非タスク指向型対話エージェントの客観的・定量的な評価法を提案し,その有効性を確認した.この評価法では,タグ系列に変換された対話からHMM(Hidden Markov Model)を作成し,このHMMの出力確率を評価値として用いた.本論文では,前回の提案における一連の処理のうち,手動タグ付与の部分をCRF(Conditional Random Fields)によって自動化する方法を提案する.実験の結果,自動タグ付与の正解率は75.77%,意味的に近いものを許容した場合で83.20%であった.また,HMMによる対話の評価では手動タグ付与と同等の性能を実現できた.これにより,以前提案した評価法の全処理が自動化され,評価法としての有用性を確認できた.
