机上の片付け

&

ちゃぶ台返し

機械情報工学科 B3 末次凜乃介

自己紹介

名前：末次凜乃介（スエツグ　リンノスケ）

所属：機械情報工学科、RoboTech

趣味：ボードゲーム

自慢：トライアスロンとフルマラソンを完走したことがある。

ゼミでの目的

・ドラえもんみたいに人間と交流する振る舞いを再現したい

・認識した結果を用いて行動させたい

・最終的にロボットに悪態をつかせてオチをつけたい

システム構成図

初期姿勢

deticからの認識結果を受け取る

机の上空に左手を伸ばす

認識した座標へ上空から手を移動する

左手を閉じる

腕を持ち上げる

ボールをつかんだ

箱の上空へ腕を移動する

左手を開く

捨てたボールの個数を+1

これまで捨てたボールの個数をパブリッシュ

pr2のイライラ度をサブスクライブ

イライラ度が一定値以上

ちゃぶ台返し

これまで捨てたボールの個数をサブスクライブ

gemini

pr2のイライラ度とメッセージをパブリッシュ

捨てたボールの個数をgeminiに送信

pr2のイライラ度とメッセージをgeminiから受信

pr2の動き

chatbot部分

メッセージを読み上げ

システム詳細

・gemini APIを利用して、ボールを片付けるpr2の機嫌とコメントを生成

・geminiに毎ターン（ボールを1回片付けるごとに）片付けたボールの数を入力、機嫌レベルとコメントを出力

・事前に渡すプロンプトによって機嫌の振れ幅を変更可能

geminiを用いたchatbot

片付けたボールの数

機嫌レベル

コメント

事前

プロンプト

ターン毎

1ターン目

ボールのつかみ判定

・pr2の手の関節角度を取得して、閾値以下の場合（手が閉じきっている）は初期姿勢に戻り、つかみなおす。

・腕を持ち上げて判定をすることで、より精度良く判定できるように意図

ボールを掴む

腕を持ち上げる

手の関節角度が閾値以上か

腕を動かす

動画