質問の選択に

視線情報を利用した

面接練習システム

西野研究室 M1 柴田 佳祐

概要

・背景 (面接練習と対話システム)

・提案手法 (視線を利用した掘り下げ質問制御)

・提案手法詳細 (視線推定)

・対話システムの実装

・対話システムのデモ・評価

・結論・今後の課題

​

背景

・就職の面接の機会は限られている．

・対話システムで，本番に近い面接練習ができると良い．

・面接で確認したいのは，その応募者の人となり．

・事実だけでなく，Why，Howを聞く．

・掘り下げ質問の進行は，制御する必要がある．

・掘り下げ質問をする対話システムで，応募者の自分を表現する力を向上させる

参考: 松下直子，採用・面接で「採ってはいけない人」の見きわめ方，同文館出版

提案手法

・ベース質問 (話題の提示)

・掘り下げ質問レベル1 (話題の詳細)

・掘り下げ質問レベル2 (踏み込んだ事実についての質問)

・例: サークル活動で直面した困難なことは何ですか．

・掘り下げ質問レベル3 (人柄を知るためのWhy, Howの質問)

・例: その時どう対処しましたか．

参考: 井上 昂治 他, 自律型アンドロイドERICAによる就職面接対話

提案手法

レベル1

レベル2�(視線測定)

レベル3

話題の提示

ベース

質問

話題の詳細

事実についての

掘り下げ

Why，Howの

掘り下げ

レベル2質問をし終える

視線が前を向いている

視線をそらす

参考: A. McCarthy et al, Cultural display rules drive eye gaze during thinking, Journal of Cross-Cultural Psychology, 2006

視線推定

・視線が逸れているかの判定

・利用した視線検出器: swook/GazeML

・視線がそれている度合い

・ の平均

・これが大きいと視線が逸れている．

・レベル3の掘り下げの回避に利用．

図引用元: https://slideplayer.com/slide/5996892/

対話システムの実装

視線検出プログラム

Dialogflowサーバー

ブラウザ

自前サーバー

視線情報をWebSocketでリアルタイムに送信

面接官のセリフ要求

提案手法の遷移で

面接官のセリフを

送信

応募者の返答音声

面接官のセリフ

読み上げデータ

対話システムのデモ・評価

対話システムのデモ・評価

​

​

評価

・カメラを向いて喋らないといけないが，意識すると画面をずっと見てしまう

→自然な視線のためには，ロボットや画面上のキャラクターが必要

・視線が泳いでいるかは，視線の逸れ具合の平均には現れない

→分散を見たらよいかもしれない．

・応募者が困惑しているかどうかは，発言の「間」にも出るので，文章にすると情報が落ちてしまうような「間」の情報が音声からとれると面白そう．

結論・今後の課題

結論

・視線情報を用いた対話システム(面接練習)を提案する．

・掘り下げ質問(レベル2→3の遷移)の進行を視線によって制御する．

・視線を取るには，目を向ける対象(ロボット・キャラクター)の存在が重要．

今後の課題

・目を合わせ，うなづいてくれるキャラクターを表示する．

・応募者の質問への回答に対して．自然言語処理を行って反応させる．

質疑応答