自作運搬ロボットによる

みかん・ぶどう収穫のサポート

橋本　俊治

自己紹介

• お仕事
• 社会人3年目
• ソフトウェアエンジニア @東京のどこかのロボットベンチャー
• 現場に導入するためのロボット開発を担当

�

​

• 趣味開発
• 大学院2年生 ~ 社会人3年目�収穫サポートロボット開発をコツコツやっています

​

１年目

4年目

発表概要

• 今回ご紹介するロボット
• 収穫サポートロボット「TANG」
• 人に追従して、かつ収穫物を運搬するロボット
• 実地実験を山梨・静岡の農園で行ったのでその結果や知見を共有します��������
• 発表概要
• 開発背景・目的
• 開発したロボットの紹介
• ぶどう・みかんの収穫実験
• 農家さんからのフィードバック、反省点など
• 今後の開発
• LiDAR使った追従システムの実装

目次

• 開発したロボットについて
• 開発背景・目的
• 開発した収穫サポートロボット
• 実験
• ぶどう収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• みかん収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• 今後の開発
• LiDAR使った追従システムの実装
• まとめと今後の予定

目次

• 開発したロボットについて
• 開発背景・目的
• 開発した収穫サポートロボット
• 実験
• ぶどう収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• みかん収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• 今後の開発
• LiDAR使った追従システムの実装
• まとめと今後の予定

開発背景と目的

2019年 研究室でのトマトチャレンジ

ROSやハードウェア研修

2020年 みかん農業に出会う

・みかん収穫を体験

・収穫作業が超大変

　- 重たいかごを背負いながら収穫するの

がしんどかった

・腰の負担が大きく、農家さんの中には

　ヘルニアになった方もいた

2018年 機能ロボット学研究室配属

作業負荷を軽減するため�農家さんの収穫作業をサポートする必要がある

開発背景と目的

ロボットで農家さんの作業負荷軽減

• 開発目的

• 農業において、収穫物を運ぶ運搬ロボットが

人に追従することで腰への負担を軽減する

開発した収穫サポートロボット

• RGBDカメラを用いた人追従
• カメラ画像内の人をリアルタイム物体検出モジュールを使って検出
• カメラ画像内の人の座標をもとにロボットの移動方向を決定する
• 深度情報をもとに人とロボットとの距離を求める
• 距離情報をもとにロボットの速度制御を行う
• 人が近ければ近いほど速度を落とす

↑ 物体検出結果

人の矩形内で最も近い点を目標値としてロボットに与える

Human

カメラ映像

カメラ映像

Target Position（x, y）

x

y

2022年6月 第25回ロボゼミ

開発した収穫サポートロボット

みかん収穫用

ぶどう収穫用

RealSense D435i

CuboRex

CuGo V3

Jetson Xavier

各種センサ類

みかん収穫かご

ぶどう収穫かご

目次

• 開発したロボットについて
• 開発背景・目的
• 開発した収穫サポートロボット
• 実験
• ぶどう収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• みかん収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• 今後の開発
• LiDAR使った追従システムの実装
• まとめと今後の予定

ぶどう収穫実験

• 実験目的
• ぶどう農家さんからのフィードバックをもらう
• 頂いた意見をもとに今後の開発・改良に活かす�
• 実験概要
• ぶどう収穫を今回開発したロボットを使って実施する�
• 実験場所と日時
• 2023/8/26 ~ 27@山梨�
• 実験計画
• 1日目
• 午前：千葉→山梨まで車でロボットを輸送
• 午後：ハードウェアとソフトの結合テスト�※2ヶ月前くらいに一度ハードとソフトの結合テストは完了済み
• 2日目
• 午前：収穫実験
• 午後：撤収作業

ぶどう収穫実験 - 結果

従来の手作業の様子

収穫サポートロボットを使った場合

ぶどう収穫実験 - 得られた知見・反省点

• 農家さんからのフィードバック
• ロボットの急発進、急減速を控える
• ぶどうはみかんと比較するとかなりデリケートは果実
• ちょっとした衝撃でぶどうの実が落ちて�市場価値を下げる可能性があるため、�より滑らかな制御が求められる�→ 物体検出結果のうち最近点を目標値として与える、�　 加速度の制限を加える�
• ハードウェアの改良
• 段替えの効率化

ぶどう収穫実験 - 得られた知見・反省点

• 良かった点
• 農家さんからの受けが良かった
• 「首に常にかごを下げているので肉体的にしんどかった、�こういったロボットが使えたら助かる」といった好意的な意見をもらえた
• また次回の収穫シーズンに実験したいと話したら快く承諾してもらえた
• 実験させていただく上で、農家さんのご協力は不可欠であるため、�こういった関係性構築は非常に重要なので良かった
• 採れたてのぶどうはとても美味しい
• 日経新聞、日刊新聞に取り上げてもらえた���
• 反省点
• 結合テスト→実験までの期間が２日で短すぎた
• 学生のように自由に休みを取るのも難しいので今回は実験日も十分に取ることができなかった
• 前もって仕事の調整するなど、実験をもう少し余裕持ってやるべき
• 予期せぬ事態に遭遇したときは冷静かつ全力で対応する
• 前日に急に大粒の通り雨が降ってびしょびしょになったり、�ハンダが甘くて配線を作り直したり

みかん収穫実験

• 実験目的
• 同様にして）みかん農家さんからのフィードバックをもらう
• 頂いた意見をもとに今後の開発・改良に活かす�
• 実験概要
• みかん収穫を今回開発したロボットを使って実施する�
• 実験場所と日時
• 2023/10/13 ~ 15@静岡県三ケ日�
• 実験計画
• 1日目
• 前日入り
• 一通り動作確認
• 2日目
• 午前：収穫実験
• 3日目
• 予備日

@和歌山県有田市

@静岡県三ケ日

みかん収穫実験 - 得られた知見・反省点

• 農家さんからのフィードバック
• 課題：ロボットの移動速度をもう少し上げてほしい
• 原因：人がゆっくり歩かないと�カメラの視野外にすぐに行ってしまって見失う�
• 課題：小回りが効かない
• 原因：カメラの視野角の問題で人がゆっくり動かないと行けない�
• 課題：正常に動作しているかが分かりづらい
• 原因：インジケータで起動しているかどうかがわかるが、やっぱり音で知らせる機能もあったほうがよい。あとインジケータもわかりづらいところにあるのでわかりやすい位置に移動させる

みかん収穫実験 - 結果

• 良かった点
• ぶどう農家さん同様、みかん農家さんたちからの受けが良かった
• はじめて農家さんに自分が作ったロボットを使ってもらえた
• 今までは安全のため基本的には自分が使ってフィードバックをもらっていた
• 使ってもらって得られるフィードバックは現場の生の声なのでとても重要����������
• 反省点
• 前日に仕込んだソフトの更新内容の中に、バグが仕込まれており実験日午前中はロボットが期待通りに動かなかった
• なるべく前日は何もしない
• 実験日までに1週間くらい稼働試験してから実験する

目次

• 開発したロボットについて
• 開発背景・目的
• 開発した収穫サポートロボット
• 実験
• ぶどう収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• みかん収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• 今後の開発
• LiDAR使った追従システムの実装
• まとめと今後の予定

今後の開発について

• カメラの限界を感じつつある
• 課題：ロボットの移動速度をもう少し上げてほしい
• 原因：人がゆっくり歩かないとカメラの視野外にすぐに行ってしまって見失う
• 課題：小回りが効かない
• 原因はカメラの視野角の問題で人がゆっくり動かないと行けない

�

• 人の移動スピードに付いていきながら、精度良く追従させたい、、！�→ LiDARなら視野角がかなり広い

→ とりあえず実装してみよう！

LiDARを使った人追従ロボット開発

• 人追従アルゴリズム
• LiDARを使って人の足を検出
• 測距範囲の角度は最大240°（RealSenseの場合は約70°）
• はじめに登録されたクラスタを追従し続ける
• 追従対象者ははじめにロボットの前に立つ

scanデータ

scanデータ

ID: 0

点群が�人の足の形状

ID: 1

LiDARを使った人追従ロボット開発

• 人追従アルゴリズム
• 初期化処理が完了すれば、あとは下記の処理をループする
• クラスタ番号が割り振られた全ての点の中心座標を目標位置としてトラッキング��������������

実装結果

実装結果

• 壁などの静止障害物近くに追従対象者が行くと対象が乗り移ってしまう

乗り移りの原因

( i ). 追跡対象のクラスタ①が�　　最初に登録されていないクラスタに移動する

��

( ii ). ２つのクラスタが一つになる

​

​

​

( iii ). 　　　　　　　　　����　　　　　　　　　　　\ より、追跡対象が増加　

​

目次

• 開発したロボットについて
• 開発背景・目的
• 開発した収穫サポートロボット
• 実験
• ぶどう収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• みかん収穫実験
• 農家さんからのフィードバック
• 良かった点、反省点
• 今後の開発
• LiDAR使った追従システムの実装
• まとめと今後の予定

まとめと今後の予定

• まとめ
• ぶどう収穫とみかん収穫で自作運搬ロボットの実証実験を行った
• はじめてロボットを農家さんに使ってもらうなど大きな進捗があった一方で、�まだまだ人の役に立つには課題が多い�
• 今後の予定
• カメラの限界を感じつつあったので、LiDAR使った人追従システムの開発を行う
• 早くてぶどう収穫シーズンである8月あたりを目処に実証実験をおこなう
• 将来的には、自分が作ったロボットを農家さんに使ってもらい、�「助かった」という一言がもらえれば自分の目的は達成

最後に

• このロボットを一緒に開発してくれるメンバーを探しています！
• ソフトウェア（ナビゲーション）興味ある方歓迎
• 屋外、実環境でロボットを動かせる！
• リモートで開発、週2定例会
• 農家さんからもぎたてみかん・ぶどうが食べられる福利厚生付き🍊

希望される方はTwitterのDMもしくはリプライでお待ちしてます！

橋本俊治 (@23232871hashimo) / X

質疑応答

• 乗り移り問題はgmappingを組み合わせて解決しようとしたことがある
• 静的障害物を検出し、あらかじめ点群データから削除したうえで、人の足の検出を行う�
• LiDARやカメラは見失うことがあるが、GPS Trackerを使えば見失うことはなくなる、実際に作ったことがある
• ロボットに搭載する用と人が持つ用で2つのモジュールを用意した
• 参考）https://x.com/7oei/status/1707157595348144345?s=20
• 環境によってはGPSの精度が悪く上手く動かない可能性はある
• 1モジュール当たりだいたい10万円�
• LiDARで人追跡は調べたことがあるのですが、下記のが性能よかったです。静的障害物と動的障害物の切り分けが性能のポイントでした
• https://github.com/angusleigh/leg_tracker �
• 質問なのですが、地面からLiDARの高さはどのくらいなのでしょうか？
• 橋本）まだロボットに搭載していないので具体的にはわからないです。とりあえず人のすねあたりの高さにしようかと思います�
• このRGBDカメラがFOV広くて気になっているので注文しました
• https://www.tangramvision.com/pre-order �
• Bluetooth, AirTagを使って人追従実装できないか？
• AirTagは更新がめっちゃ遅い、
• Bluetoothは測位精度の誤差（数mオーダー）が大きい
• UWBだと数十センチオーダーの誤差ですが、技適通っているモジュールが流通していません。
• 先ほど言っていた京都工芸繊維大学のUWDを用いたドローンの位置推定の研究
• https://www.kit.ac.jp/chuumokukenkyu/chuumokukenkyu202107/