1 of 26

Wander: An AI-driven Chatbot to Visit the

Future Earth

作者：Yuqian Sun, Chenhang Cheng, Ying Xu, Yihua Li, Chang Hee Lee, Ali Asadipour

出處：ACM MM’22

論文連結：https://dl.acm.org/doi/10.1145/3503161.3549971

​

Keywords : Intelligent interactive system, co-creative AI, chatbot, metaverse, gaming

​

​

報告者：跨院博 111003853 劉士達

2 of 26

Abstract

This artwork presents an intelligent chatbot called Wander. This work used knowledge-based story generation to facilitate a narrative AI chatbot on daily communication platforms, producing interactive fiction with the most accessible natural language input: text messages. On social media platforms such as Discord and WeChat, Wander can generate a science-fiction style travelogue about the future earth, including text, images and global coordinates (GPS) based on real-world locations (e.g. Paris). The journeys are visualised in real-time on an interactive map that can be updated with participants’ data. Based on Viktor Shklovsky’s defamiliarization technique, we present how an AI agent can become a storyteller through common messages in daily life and lead participants to see the world from new perspectives. The website of this work is:

https://wander001.com/

  • Wander是一個基於AI機器人的科幻藝術文字遊戲
  • 基於現實生活中的GPS地理位置 + 文字對答的結果，對未來世界的空間進行虛擬探索!
  • 透過自然語言輸入方式，在WeChat(微信)與Discord之中進行對談，讓使用者透過文字方式與AI機器人進行未來世界對接。
  • 未來世界的互動方式全部都基於即時互動方式，與實際地圖進行互動。
  • 基於俄羅斯形式主義者 Viktor Shklovsky的陌生化(defamiliarization)技法將AI agent變成故事敘述者，將所見所聞引導觀者看見未來世界的樣貌

3 of 26

发送 我想去： 即可开始旅程。在随机的年份降落后，Wander还可以根据 行动： 指令，自由探索目的地。每次旅行都会是一次自由的，没有固定选项的文字冒险游戏。

所有的旅程都是基于真实世界展开的——我们会与Wander一起记录未来的地球编年史！

操作方式：

1. 進入Wander的Discord

2. 輸入"我想去": XXX (地理位置是現在身旁認知的地理位置)

3. AI回傳抵達的GPS座標(與真實地理座標相同

4. AI根據周遭景象進行AI繪圖

5. AI的chatbot回傳所看見的景象

​

4 of 26

5 of 26

6 of 26

https://wander001.com/

7 of 26

Yuqian Sun 孫玉倩

  • PhD Student�英國Royal College of Art, (皇家藝術學院)�Computer Science Reserach Centre
  • MFA�英國University of London,�Computational Arts, Goldsmiths
  • BA�北京清華大學�美術學院, 信息藝術設計系
  • 研究領域

新興科技、機器人、

AI、數位敘事

​

https://www.rca.ac.uk/research-innovation/research-degrees/research-students/yuqian-sun/

​

8 of 26

Introduction

  • 在Wander這個Project，核心技術採用AI 對談機器人(chatbot)，自動生成文字對答，並根據兩個關鍵詞：Visit與 Action來跟使用者進行深度的未來世界探索。
  • 在目前的探索介面採用WeChat與Discord兩大熱門社群訊息對談軟體，透過軟體方式實現數位孿生的概念，Physical-virtual reality。
  • 在AI agents 透過 AIGC(人工智慧生成內容)與UGC(使用者生成內容)系統方式進行科幻視覺風格產生AI agents的意象，實際上並不是一個3D遊戲畫面的樣子，本質上還是一個文字對談機器人。
  • 對談機器人根據提詞(prompt)的內容，進行真實地理資訊搜索位置，再透過Google Knowledge Graph知識圖譜進行搜尋，再把過程文字化改寫描述給使用者，甚至繪製出該AI繪製出來的地景繪製的畫面。

9 of 26

Relatework

Defamiliarization 陌生化(去熟悉化)

  • 由俄羅斯形式主義者 Viktor Shklovsky評論家�在1917年的論文「Art as Device」或稱�「Art as Technique」一文中所提出。
  • Defamiliarization用於一種故事敘事手法，�以陌生或奇怪的方式向讀者進行展示，將�日常生活中"熟悉"的事物讓人感到陌生，使�讀者或觀眾從新的角度觀看世界。
  • 後來影響了20世紀的藝術與藝術理論，包�括達達主義、後現代主義、科幻小說...等。
  • 例如「Comedian」一個價值12萬美元的香蕉

Comedian by Maurizio Cattalen

10 of 26

Relatework

Ai dungeon ( AI龍與地下城)

  • 基於AI的智慧型文字奇幻故事�線上遊戲。
  • 基於GPT-3 自然語言模型NLP。
  • 沒有固定的情節與故事線，完�全依據使用者的選擇跟文字內�容進行隨機的故事情節。
  • 目前的缺陷是對於中文沒辦法�支援，並且生成的文字內容跟�劇情會有所謂的AI黑暗面( 涉及�色情或暴力內容)，因此不適合�一般玩家使用。

11 of 26

Relatework

Animal Crossing ( 動物森友會)

  • 基於UGC-driven 3D視覺生成遊戲
  • 虛擬與現實社交遊戲方式進行人與�人之間進行互動，遊戲中玩家採用�擬人化的動物村莊，在村莊中進行�各式各樣的活動，類似虛擬社交。
  • 遊戲中可以根據不同事件進行，而�事件的發生時間根據真實世界時間�包括季節、天氣、晝夜系統。
  • 遊戲中的全部外觀都可以訂製，甚�至還有一套交易系統，可以換續遊�系的虛擬錢幣進行跟其他玩家交易。

12 of 26

Relatework

Crytovoxels ( www.voxels.com )

  • 基於區塊鏈的虛擬世界。
  • CV由Ben Nolan所建構，基於以太坊的�加密技術而視覺化的虛擬地皮。
  • CV的地皮只有3026塊，每一塊地皮上�可以搭建自己的NFT或要放什麼都可以
  • CV如同3D版本的Facebook，每一塊�地皮就是自己的Facebook首頁，要發�佈的訊息可讓其他地皮的人被觀看到
  • ​

13 of 26

14 of 26

The Artwork - WanderBot

核心技術：

  • Image and style transfer : Google MAP API技術搭配GPS地理座標，把搜尋的關鍵詞轉成Google MAP搜尋的結果，並回傳該地理座標的街景畫面，然後透過AI技術的style transfer進行AI繪圖。
  • 演算法運用Runway.ml 的Machine Leraning ，採用Arbitrary Style Transfer Model進行繪製。
  • 文字產生模型，採用Dreamily.ai的文字模型自動生成對談內容，並支援英文與中文的語言模型，已經預先訓練的超過100GB科幻情節文字的data set來應對使用者的問題。
  • Google Knowledge Graph知識圖集的描述與地點特色說明，來用WanderBot敘述出未來世界的樣貌。

15 of 26

16 of 26

The Artwork - Future Map

核心技術：

  • 未來世界的地圖使用3D虛構的繪圖方法進行地理資訊紀錄，每一次的Visit的結果，都會被記錄在現在地時空與地理資訊位置，也就是地理資訊不變，但時空環境會有現在跟未來的不同。
  • 每一次的探索未來世界的時間都是隨機產生，介於公元3000~5000年(Common Era)之間。
  • 手機版的Discord可以查看GPS實體位置與被探索過的未來世界位置，曾被人Visit的未來世界樣貌。
  • 旅途(Journey Histories)功能會紀錄全部的Visit過的文字與影像，使用者可以查看每一個未來世界的被人們探索的過程。
  • 當未來的地球就會不斷被完善與被探索，最終可透過Wander進行人與AI共同探索的未來世界樣貌。

17 of 26

Workflow of Wander - Part 1

18 of 26

Workflow of Wander - Part 2

19 of 26

Workflow of Wander - Part 3

20 of 26

Workflow of Wander - Part 4

21 of 26

Workflow of Wander - Part 5

22 of 26

User Study

相關問卷設計與調查人數

  • 問卷工具使用WeChat Moments與Groups平台進行收集受測者，共取得268位體驗使用者，其中103位男性、143位女性、9位不表態性別以及3位不填寫。
  • 問卷設計參考Arnold M. Lund於2001年所提出的USE問卷："Measuring Usability with the USE Questionnaire"，有四大類別進行問卷設計：
    • Usefulness 有用處
    • Ease of Use 使用方便
    • Ease of Learning 容易學習
    • Satisfacetion 滿意

23 of 26

User Study

相關問卷結果

  • 問卷結果對於AI robots部分64.9%感到有趣且覺得互動性很好，Future Map部分54.5%使用者感到可以藉由Wander允許他們"旅行"。
  • 有22.4%的使用者使用者感到Wander協助了他們到達無法去的地方，特別是因為COVID-19的情況。
  • 有60%以上的使用者認為，文字的描述與圖像與他們的想像接近。
  • 有91%的使用者認為感受到這些圖像相當熟悉。
  • 有82.4%的使用者認出了正確的地標位置，並從一些style transfer後還可以認出來。
  • 有13.1%的使用者認為Wander讓他們在孤獨時候有一種陪伴感。
  • 令人驚豔的是34.3%的使用者認為Wander像是朋友一般的漫步在未來世界之中。
  • 另外填寫問卷的使用者，都會得到一枚專屬的NFT作為回報。

24 of 26

Conclusion

  • 以AI chatbot的方式，用Wander這個系統讓使用者在真實世界與虛擬世界之中搭起了一個橋樑。
  • 利用NLP自然語言方式可更讓Human-AI的共同創作這事情更具體，並更加沉浸在科幻世界盪中。
  • 因為使用真實世界的地理資訊與圖片，透過AI生成圖片的技術使AI創作的經驗更加特別，不再是漫無目的的生成一堆抽象圖片，而是期待哪個地點有更多特別的地景結合AI 之後繪製出更科幻的場景。
  • 期盼Wander計畫可開啟另外一種對於未來世界觀看的方式。

​

25 of 26

Connection & Comments

世界級最期待！Apple 革命性 AR 頭戴式裝置 Apple Vision Pro 正式登場

https://www.youtube.com/watch?v=TX9qSaGXFyg&t=39s

26 of 26

References

​