みかん収穫サポートロボットを作って

試してみた

橋本　俊治

自己紹介

• 昨年3月 神戸大学機能ロボット学研究室 卒業
• 昨年4月 株式会社アールティ 技術開発部（ソフトウェア開発）入社　

福島第一原子力発電所2号機　格納容器内部

お弁当盛りつけロボット Foodly

発表概要

• 発表概要
• 開発背景・目的
• 関連研究
• 開発したロボット
• まとめと今後について
• 最後に

• 今回ご紹介するロボット
• みかん収穫サポートロボット

開発背景と目的

2019年 研究室でのトマトチャレンジ

ROSやハードウェア研修

2020年 みかん農業に出会う

・みかん収穫を体験

・収穫作業が超大変

　- 重たいかごを背負いながら収穫するの

がしんどかった

・腰の負担が大きく、農家さんの中には

　ヘルニアになった方もいた

2018年 機能ロボット学研究室配属

作業負荷を軽減するため�農家さんの収穫作業をサポートする必要がある

お世話になっている和歌山のみかん農家のみっちゃん

開発背景と目的

ロボットで農家さんの作業負荷軽減

• 開発目的

• 農業において、収穫物を運ぶ運搬ロボットが

人に追従することで腰への負担を軽減する

関連研究

• 世の中にある代表的な人追従ロボット、運搬サポートロボット
• Lidarを使ったロボット
• 人の足位置を見て追従対象か否かを判別し追従する
• RGBDカメラを使ったロボット

神奈川工科大学　ルチア

Doog　Thouzer

関連研究

• 世の中にある代表的な人追従ロボット、運搬サポートロボット
• Lidarを使ったロボット
• RGBDカメラを使ったロボット
• 画像認識を用いて、人を検出追従

Piaggio Fast Forward社　“Gita”

関連研究

• 世の中にある代表的な人追従ロボット、運搬サポートロボット
• Lidarを使ったロボット
• RGBDカメラを使ったロボット

• それぞれの手法の特徴
• RGBD
• 安価、物体のコンテキストを理解するのに適している
• 視野角が限られている
• ？さん）全方位カメラあるじゃん
• 高価
• Lidar
• （今のところ）高価？、高精度な測定ができる
• 360°見れる

関連研究

• 世の中にある人追従ロボット、運搬サポートロボット
• Lidarを使ったロボット
• RGBDカメラを使ったロボット
• タグを使ったロボット

• それぞれの手法の特徴
• RGBD
• 安価、物体のコンテキストを理解するのに適している
• 視野角が限られている
• ？さん）全方位カメラあるじゃん
• 高価
• Lidar
• （今のところ）高価、高精度な測定ができる
• 360°見れる

RGBDカメラを用いた既存研究

佐竹純二, 三浦純 (2010). 日本ロボット学会誌 Vol 28 No.9 pp.1091 ~ 1099 豊橋技術科学大学

ステレオビジョンを用いた移動ロボットの人物追従制御

• 概要
• ステレオカメラを用いた高速かつ安定な人物検出・追跡の方法を提案
• 方法と結果
• 検出
• 距離画像から作成した人物のシルエット形状をテンプレートとし、単純なテンプレートマッチングによって高速に人物を検出する
• 追跡
• 拡張カルマンフィルタを用いて各人物の三次元位置と移動速度を推定する

​

https://www.jstage.jst.go.jp/article/jrsj/28/9/28_9_1091/_pdf

ここまでのおさらい

• 収穫作業において腰への負担を軽減するために�収穫サポートロボットを自作する
• 個人の農家さんにも使ってもらえるように安価なロボットを目指す
• RGBDカメラを用いて人検出、追従を行う
• RGBDカメラを用いた人追従手法
• 豊橋技術科学大学の佐竹先生の手法を参考にする

開発したロボットのご紹介

• ハードウェア
• クローラ
• センサ
• CPU
• ソフトウェア
• 人検出
• 拡張カルマンフィルタを用いた人物追従手法

ハードウェア - クローラ

CuboRex社 CuGoV3

農地のような不整地に適したクローラ

24V DCモータを使用

ハードウェア - センサ

• RGBDカメラ
• Intel Realsense D435i
• IMUセンサ
• WitMotion WT901C
• 角速度を推定
• ROSパッケージが公開されていて、便利
• 非接触回転速度センサ
• 秋月電子 OH182/E
• ロボットの移動速度推定
• 2つで300円

​

WitMotion WT901C

秋月電子 OH182/E

ハードウェア - 非接触回転速度センサ

① ギアにセンサを仕込む

② コンパレータ回路を用いて、�　出力をHIGH＆LOWにする

使い方の詳細はブログ（https://agrirobotics.net/2022/06/25/gear-sensor/ ）にまとめました。

ハードウェア - CPU

• 制御
• Raspberry Pi 4
• モータに指令値を送る
• 画像認識
• Jetson Nano 4GB
• 人検出

​

教授からもらった

1万2,300円くらい

開発したロボット

• ハードウェア
• クローラ
• センサ
• CPU
• ソフトウェア
• 全体のアーキテクチャ
• 人検出
• 拡張カルマンフィルタを用いた人物追従手法

ソフトウェア - 全体のアーキテクチャ

Jetson

• Object Detection
• EKF

Raspberry Pi 4

• PD Control

IMU

Gear Sensor

RGBD Camera

Motor Driver

Motor①

Motor②

角速度ω

ギアの回転数

カメラ画像

Depth画像

推定した

人の座標 ( x, y, z )

追従モード、�遠隔操作モードの切り替え

PWM

ソフトウェア - 人検出

• NVIDIAが公開しているRealTime ObjectDetectionを使用
• 検出速度は20FPS
• 精度も高い

ここまでのおさらい

• 収穫作業において腰への負担を軽減するために�収穫サポートロボットを自作する
• 個人の農家さんにも使ってもらえるように安価なロボットを目指す
• RGBDカメラを用いて人検出、追従を行う
• RGBDカメラを用いた人追従手法
• 豊橋技術科学大学の佐竹先生の手法を参考にする

• ハードウェア
• CuboRex社のクローラを使う
• 回転速度を得るためにIMU、移動速度を得るために引っせ食回転速度センサを使用
• CPUはラズパイとJetson
• ソフトウェア
• 全体のアーキテクチャ
• 人検出はNVIDIAのObject Detectionを使用した

ここからが本題です

ソフトウェア - 人追従

• 以下の論文を参考に拡張カルマンフィルタを用いて、人物の位置を推定してみた。

拡張カルマンフィルタとは？

やりたいこと

1. システム方程式から得られる人の座標
2. カメラからの得られる人の座標

• 以下の２つの情報をもとに、尤もらしい人の座標を推定する

• 実装できると何が嬉しいか？
• オクルージョン対策
• カメラの視野外に人が移動したときにも追従可能にする

オクルージョン

カメラの視野外に人が移動したとき

やりたいこと

• システム方程式から得られる人の座標
• カメラからの得られる人の座標

• 以下の２つの情報をもとに、尤もらしい人の座標を推定する

• 実装できると何が嬉しいか？
• オクルージョン対策
• カメラの視野外に人が移動したときにも追従可能にする

ソフトウェア - EKFを用いた人追従（1/6）

• まずはロボットが動いていない状態での人物位置推定
• 求めたい情報は以下の通り
• ロボット座標系における時刻tでの�人の座標(x, y, z)
• 人の移動速度

• ロボットが移動せず、人物の移動のみを考えたとき、�時刻t+1におけるシステム方程式は以下の通り

σωは人の入力に対する雑音

ソフトウェア - EKFを用いた人追従（2/6）

• ロボットが動いている状態での人物位置推定
• 求めたい情報は以下の通り
• ロボット座標系における時刻tでの�人の座標(x, y, z)
• 人の移動速度

• 下準備① ロボットの角速度ω,移動速度v,旋回半径ρ

• 下準備② ロボットの回転角度Δθ, 移動距離ΔL

Δθ

ρ

ρ

90°

ΔL

ソフトウェア - EKFを用いた人追従（3/6）

• ロボットが動いている状態での人物位置推定
• 求めたい情報は以下の通り
• ロボット座標系における時刻tでの�人の座標(x, y, z)
• 人の移動速度

• 下準備③ ロボット位置から見た移動量ΔX, ΔY

ソフトウェア - EKFを用いた人追従（4/6）

• ここまでで右図に記されている必要な式が出揃った

• 時刻t+1のロボット位置から見た時刻t+1の人物位置

• ロボットが移動していないときのシステム方程式と�上式を組み合わせると

ソフトウェア - EKFを用いた人追従（5/6）

σvはセンサに対する雑音

• 観測方程式は以下の通り

• システム方程式は以下の通り

• これでEKFに必要な素材は揃った、ただしこれ以降の計算は論文に記載されていなかった

ソフトウェア - EKFを用いた人追従（6/6）

• 時間更新ステップ�����������
• 観測更新ステップ����������

ノイズが無い場合の人の座標をシステム方程式から計算

信念分布の共分散行列を更新

カルマンゲイン

推定値

共分散行列を更新

実験結果

• ロボットが動かない状態で人の位置を推定

実験結果

• ロボットが前後方向に動作したときの推定結果

実験結果

• 人が左右方向に移動したときの推定結果
• 推定結果が大きくずれることがある

考察

• 推定結果が大きくずれる原因
• ソフトウェア
• 計算式が間違っている？
• ロボットが動かないときは正常に検出できている
• ノイズの値の調整がうまくいっていない？
• 物体検出の速度不足？
• 実際の検出速度はだいたい10FPSくらいしか出ていなかった
• もっと検出速度を上げて、より正確な人物の速度を推定する
• ハードウェア
• 回転速度検出センサ
• 速度推定がうまくいっていない？
• 検証したがおおよその速度は計測できていたはず

ロボゼミ(6/17〜9/10)以降やったこと

• 技術ブログ
• ​

ロボゼミ(6/17〜9/10)以降やったこと

• ハードウェア見直し
• 課題
• 重たい
• 持ち運びにくい
• 地方への移動するときにばらしたあとの組み立て大変
• デバッグ大変
• 見た目があんまりイケてない
• 原因
• 重たい）バッテリーが鉛畜使っていて重たい
• 持ち運びにくい）
• 組み立て大変）各機能毎でそれぞれ分離する。
• デバッグ大変）制御ボックスに色々とインターフェース取り付ける
• 見た目があんまりイケてない

まとめと今後について

• まとめ
• みかん収穫サポートロボットを作ってみた
• RGBDカメラだと視野外にいったときや、オクルージョンが発生したときに人追従が困難になる場合がある
• 本発表ではEKFを用いた人物追従制御を実装した
• 結果は、
• ロボットが動かない場合は、人物位置の推定がおおよそ可能である
• 一方で、ロボットが動く場合、推定結果が大きくずれることがある��
• 今後について
• 何が原因で大きく推定結果がずれてしまうのかデバッグ
• 今年の冬もロボット連れてみかん収穫に行く

​

ご清聴ありがとうございました

https://twitter.com/23232871hashimo