百花春至為誰開

There is more to life than increasing its speed

Introduction method for argumentative dialogue using paired question-answering interchange about personality (SIGDIAL 2018)

PDFはこちらからどうぞ.

モチベ

  • Argumentative dialogue system [1] のアップグレードをしたい
  • なぜ?
    • システムの応答性能が高くても議論を体験した人の満足度が低い
    • そもそも人は関心/興味のないトピックについて議論をするモチベーションは低い
  • どうやって解決?
    • 世間話を挟んでシステムと人が関係構築するプロセスを挟む
    • 特に個人の体験や考えをシェアするような話に着目

Personal Database(PDB)

  • 端的に言えば質問-回答pairのデータベース
    • 質問は個人の経験やアイデアについて問うもので,回答はその質問への実際の回答例
      • 質問「旅行は好きですか?」
      • 回答「私も好きです.週末に旅行に行きたいですよね」
  • システムが質問 -> ユーザが回答 -> ペアの回答を用いてシステムが返答の流れで使用
    • これによってユーザがシステムに対して関心を持つことを期待
    • ユーザは自身とシステムの意見差について考えたり,尊重の大切さを認識することも期待

PDB-QA dialogue

  • 以下の4パートから構成された対話をPDB-QA dialogueと定義

    1. PDBから抽出されたシステムの質問
    2. ユーザのその質問に対する回答
    3. 質問に対する回答例を用いたシステムの回答
    4. システムの回答に対する応答
  • 質問の選定方法

    • Figure 1の流れ
    • W2Vで議論トピックと質問の類似度を計算し,N-bestの対を抽出
    • 類似度の最も低いものから高いものの順番に質問をユーザに提出
      • 議論トピックに違和感少なく話しを近づける狙い
  • このdialogueをargumentする前に差し込む

Experiment & method

  • QDB-QA dialogueを入れた群と入れない群で比較実験
  • 定性的評価としてアンケート,定量的評価として単語/内容語の数を使う
  • 実験条件は以下の形
    • 被験者32人(男女16人ずつ)から16人(男8女8)グループを2作る
    • テキストチャットベースで実験
    • 対話の構成
      • オープニングトーク 2ターン
      • PDB-QA dialogue / Argumentation 各6ターンずつ
      • Argumentationのトピックは5つ用意し,ランダムに割り当て

Likert scale questionnaire

  • 対話に対する印象についての質問
    • システムの生成する日本語は正しかったか?
    • システムとの対話はわかりやすかったか?
    • システムとの対話は親しみやすかったか?
    • システムの対話には沢山の内容が含まれていたか?
    • システムとの対話は自然であったか?
  • 議論パートについての質問
    • 議論トピックについて深く議論することができたか?
    • トピックについての議論をスムーズに始めることができたか?
  • 議論に対する意欲についての質問
    • 意見をちゃんと伝たいと思ったか?
    • システムの意見を理解したいと思ったか?
    • システムが意見を伝えたいと思っているように感じたか?
    • システムがあなたの意見を理解しようとしていると感じたか?

Results

  • Figure 6(アンケート)について

    • マンホイットニーのU検定を使用
      • 2つの母集団が違うことを,差がないという仮説の基に検定
    • PDB-QA dialogueの可能性は示唆された(?)
      • 人間が実際に行うマナーに従ったプロトコルであるから
      • ユーザとシステムの間にその対話を通して関係が構築されたから(?)
  • Figure 7(語彙数)について

    • 1発話中の単語数/内容語数に2群間で有意差がある
      • PDB-QA有りのグループの方が単語数が少なかった
    • システム-ユーザ間の距離が遠いと主張を正しく伝えようと語彙数が増加
    • 逆に距離が近いと少ない単語で表現しようとすることを示唆

Results between gender

(個人的に一番面白かった)

  • 男女で結果を分割し,上記の比較を実施
  • FIgure 8 と Figure 9

    • PDB-QA dialogueありの男性群と女性群の間でQ7に有意差
      • 女性の方がよりQA dialogueを自然であると感じている
      • 女性を深い議論へと導く機能をQA dialogueが果たしている
  • Figure 10 と Figure 11

    • 単語数/内容語の数についても有意差
      • 男性集団については内容語の数についてのみ有意差
      • 女性集団では両方の数に有意差
    • 正確な理由は不明
      • 女性は親しみを持つと語彙数が減少することが示唆

まとめ

  • 得られた知見
    • PDB-QA dialogueの挿入で議論の自然さや親やすさの向上が示唆
    • ユーザとシステムの距離で使用される単語数が変化する
    • 性別によってシステムに対する感じ方の差がある可能性
  • 今後の課題
    • 質問の抽出処理の向上
    • 質問の順番や数,システム回答の情報量のチューニング
    • システムの有生性の考慮
      • 「気持ち」や「意思」をどうオブジェクトに持たせるか

感想など

  • 研究室で論文紹介をしたときはあまり反応がよくはなかった()
  • 男女で思考が違って,システムへの感情や思いが異なるかもというのは確かにという印象
  • 女性が親しみを持つと語彙数が下がるというのは直感に合致
    • 個人的経験の範囲ですが,仲の良い女友達のLINEとかすごく崩れた日本語の印象
  • 紹介したときに「ナンパ術や!これ!」とコメントいただいた
    • 世の男性がナンパするときにこれと近いことをやっているのか気になった
    • いきなり本題ではなく雑談でアイスブレイキングはやはり重要
    • 逆にナンパ術がこんな簡単なアルゴリズムで動いてるなら逆にそれはそれで面白い