科技藝術書報討論

跨院國際博士學程 科技藝術組 iPHD TechArt

114003881 李鍵 KIN LI

2025/10/29

Proceedings of the ACM on Computer Graphics and Interactive Techniques, Volume 7, Issue 4

ReCollection: Creating synthetic memories with AI in an interactive art installation

拾憶

ReCollection (2022-2025)

生成式 AI 互動裝置 Interactive AI Art Installation

Weidi Zhang,〈拾憶〉, 裝置外觀 , 2022-2025。

圖片來源 :https://www.zhangweidi.com/recollection

「隨著阿茲海默症病例的急劇增加，以及機器製造的虛假記憶，記憶正面臨危機。在《ReCollection》中，藝術家受到祖母因癡呆症導致的記憶衰退的啟發，精心設計了一款定制的人工智能應用程式，該應用程式使用語音識別、文本自動完成和文字轉圖像技術，透過實驗性的視覺化技術將語言輸入轉換為新記憶的圖像序列。

創作團隊

羅傑樑

JIELIANG LUO

Autodesk Research

​

​

張味迪

WEIDI ZHANG

美國亞利桑那州立大學

DR LIJIAOZI CHENG

英國雪菲爾大學

Table of Contents

​

1. Introduction
2. Background: Memory, Imagination, and an Inter-Embodied Self as a Montage
3. Relevant Work: Artistic Reconstruction of Memories
4. Intelligent System, Experimental Visualization, and Installation Design� 4.1 Machine’s Creation: Interactive Intelligent System Design� 4.2 Artistic Decision: Generative Artifacts as Digital Ready-made� 4.3 Interactivity and Exhibition Design: An Inclusive and Intimate Art Experience
5. Discussions and Future Direction: Synthetic Memory, Collective Storytelling, and Cultural Reproduction
6. Conclusion
7. Acknowledgments
8. References

• 本文介紹了互動式人工智慧藝術作品《ReCollection》的概念背景、AI 系統設計與視覺化策略。此作品透過參與者的語言輸入，生成集體性的視覺記憶，並藉由智慧系統設計與實驗性視覺化手法，模糊了「回憶」與「想像」之間的界線。

​

• 本研究提出一種非線性敘事的概念框架，構成「記憶的共生性想像」，旨在創造一種包容性的藝術體驗，藉由人與裝置之間的親密互動，啟發觀眾對集體記憶再生的思考。

​

• 本作品作為一種未來原型，嘗試透過探討「視覺再現與敘事」之間，以及「過去、現在與未來」之間的張力，培養人們對失智症社群的同理與關懷。

​

關鍵字:

實驗視覺化、智慧系統設計、互動藝術

Experimental Visualization, Intelligent System Design, Interactive Art

�

摘

要

• 《ReCollection》的創作靈感來自藝術家親眼見證祖母因失智症導致的記憶退化——那些珍藏的故事逐漸瓦解為零碎的語句。
• 根據《Alzheimer’s Disease International, 2024》報告，全球已有超過 5,500 萬人正面臨阿茲海默症與相關失智症造成的記憶喪失。
• 2022 年興起的文字生成圖像（text-to-image）AI 技術為「重構記憶」帶來新的契機，使語言得以重新想像並拼湊被時間與疾病奪走的片段。

​

研

究

動

機

�為想像未來「合成記憶（synthetic memory）」的可能場景，《ReCollection》圍繞以下三個核心問題展開：

​

• 當人類與機器共存，我們是否會累積出「共生的合成記憶」？
• 語言是否能重新編織並合成視覺記憶？
• 集體記憶如何啟發新的視覺形式與替代性敘事？

​

研

究

問

題

與

意

識

• 回憶療法（Reminiscence Therapy）是「以人為中心照護」（Person-Centered Care）的核心方法，透過多感官刺激喚起記憶、重建身份，試圖「恢復失落的自我」〔Katz & Leibing, 2023；Fazio et al., 2018〕。

​

• 然而這種治療同時對照護者造成結構性壓力，因為它要求在缺乏制度支援下進行密集的「人性工作（person-work）」〔Leibing, 2019；Grenier & Phillipson, 2023〕。

​

• 學者 Sandberg 與 Ward 指出 (2023)，這種模式仍延續了西方「主動、理性、能動的個體」理想，而 Braidotti（1994）提出應重新思考主體性為「多重、開放、相互連結」的存在。

​

• Jenkins（2014）進一步主張，與其企圖「修復」或「恢復」失智者原本的狀態，不如理解失智為「自我持續變化的過程」。他提出「互嵌的自我（inter-embodied self）」概念，認為自我並非統一、連貫的敘事，而是一種蒙太奇式的多聲共構，不斷更新、變化與對話。

​

文

獻

探

討

​

​

​

《ReCollection》的藝術轉譯

​

• 《ReCollection》主張以「互嵌自我」為基礎的記憶觀。

​

• 想像力（Imagination）在此扮演關鍵角色——它使個體得以超越時間與連續性的限制，透過共創與再敘事建立新的存在關係。

​

• 安妮·巴斯汀 Anne Basting 指出，「創造性照護（creative care）」是一種重構自我與世界的行為：

當我們從「記憶的期待」轉向「想像與表達的自由」時，連結與關懷才真正萌生。

​

• 這種合作不僅發生於人與人之間，也包括人與非人（如 AI）共同參與的「世界建構（worldmaking）」行動〔Katz & Leibing, 2023〕。

​

文

獻

探

討

​

​

​

AI 在《ReCollection》中的角色 ?

​

• 當前 AI 在失智研究中主要應用於早期診斷、病程追蹤或作為陪伴輔助〔Heine, 2022〕，如「Agent-based Memory Prosthesis」計畫嘗試以 AI 協助喚醒患者的個人記憶〔Alzheimer Scotland, 2022〕。

​

• 多數研究仍將 AI 限制於「照護工具」角色，缺乏對其想像性、共創性潛能的探索。

​

• 《ReCollection》則將 AI 引入為非人敘事主體（non-human narrative agency），透過語言、記憶與想像的整合，嘗試開啟一種「人機共生的藝術式世界建構」，以創造性實驗回應記憶與主體性之間的張力。

​

文

獻

探

討

​

Robert Twomey《Megahal Grandmommy》（2005）

案

例

分

析

​

作品以語言與記憶喪失為主題，訓練了一個聊天機器人作為罹患阿茲海默症祖母的「替身」。�他與此程式進行了數月的私人對話，內容關於祖母的生活與疾病，藉此預演「即將到來的失去」。

�作品以互動裝置形式呈現，觀眾可與該聊天機器人對話，從機器語句中拼湊出支離的記憶片段與敘事。

�這件作品揭示了語言失序與情感連結之間的張力，也開啟了 AI 作為「情感代理者」的早期藝術實驗。

Robert Twomey,〈 Megahal Grandmommy 〉,影像內容, 2005。

圖片來源 :https://roberttwomey.com/megahal-grandmommy/

George Legrady《Pocket Full of Memories》（2002）

案

例

分

析

​

作品的先驅性互動裝置邀請觀眾掃描自己口袋中的物件，這些圖像成為集體記憶資料的一部分。系統利用 Kohonen 自組織映射（Self-Organizing Map, SOM）演算法即時分類，生成一個不斷演化的視覺化圖譜。

�此作品將資料視覺化（data visualization）與個人記憶的物質性（materiality of remembering）融合，呈現「個體性」與「集體性」間的詩性關係。

George Legrady,〈 Pockets Full of Memories 〉,影像內容, 2002。

圖片來源 :https://roberttwomey.com/megahal-grandmommy/

​

與《Pocket Full of Memories》及《Megahal Grandmommy》相似，《ReCollection》同樣透過互動與機器判斷探索記憶的再現；然而，它的獨特性在於：

​

1. 著重於合成記憶（synthetic memory）的「親密性」與「想像力」；
2. 以語言作為橋樑，連結文字與視覺表達；
3. 進一步以層疊的生成影像美學探索敘事與再現的藝術性。

​

• 《ReCollection》不僅延續了新媒體藝術中對人機共創記憶的實驗傳統，也在當代語境下推進了

「語言—影像—記憶」三者間的共構關係。

​

案

例

分

析

​

智能系統、實驗性視覺化與裝置設計

整體概念

​

《ReCollection》是一個由人與機器共構的親密性藝術組合（assemblage of intimate human–machine artifacts），�強調藝術家、人工智慧系統與參與者三方的協作。

​

作品不僅探討人機之間的互動過程，更關注「記憶的生成」如何在此過程中被重新想像與再現。

智能系統、實驗性視覺化與裝置設計

本章將進一步說明以下幾個層面：

​

1. AI 系統設計的概念方法論（design methodology）
2. 實驗性視覺化（experimental visualization）的技術與美學策略
3. 互動裝置的空間構成與觀眾參與機制（installation and interactivity）

​

這些層面共同構成《ReCollection》的整體設計思維，旨在將參與者的語言輸入轉化為跨媒介的「視覺記憶生成體驗」，�並進一步探討人機協作如何在藝術語境中形成新的感知模式與敘事方式。

智能系統、實驗性視覺化與裝置設計

AI 系統設計與技術架構

​

本研究開發了一套客製化的人工智慧應用系統，整合多種 AI 技術以實現語言與影像的轉譯，包括：

​

1. 語音辨識（speech recognition）：將參與者的語音輸入轉換為文字；
2. 文字自動補全（text auto-completion）：根據語義上下文生成補充語句，模擬記憶的延伸與重組；
3. 文字生成圖像（text-to-image）模型：將語言轉化為影像序列，形成「合成記憶（synthetic memories）」的視覺表徵。

​

這一系統作為創作的技術核心，模糊了「人類敘事者」與「非人敘事主體」之間的界線，強調 AI 作為共創者（co-creator）在敘事與記憶重構中的參與角色。

智能系統、實驗性視覺化與裝置設計

第一階段：語音轉文字（Speech-to-Text）

​

系統首先使用 OpenAI 的 Whisper 模型（Radford et al., 2023），�這是一個支援 98 種語言 的先進語音辨識系統，能將使用者的語音輸入精確地轉錄成文字。�Whisper 的多語言能力使得作品能夠在不同文化語境下被體驗，強調包容性與多語互動性。

智能系統、實驗性視覺化與裝置設計

第二階段：文字生成與雙代理敘事（Text Completion with Dual Agents）

​

接著，系統透過 GPT-4 模型（Achiam et al., 2023）進行文字補全與敘事生成。�設計中引入了 「雙代理」（dual-agent）敘事策略，靈感來自阿茲海默症紀錄片 A Marriage to Remember：

​

代理一（內容代理）：控制敘事內容，使文本具備語意連貫性與情境相關性；

代理二（視覺代理）：控制敘事風格與氛圍，類似於電影中的鏡頭語言或拍攝角度。

​

這種雙重結構讓系統生成的文本同時具備劇情與視覺層次，形成文字版的「分鏡腳本（storyboard）」，�為後續的影像生成提供美學基礎。

智能系統、實驗性視覺化與裝置設計

第三階段：文字轉影像（Text-to-Image Visualization）

​

最後，系統整合 Stable Diffusion（Rombach et al., 2022）API，�將文本內容轉化為具象的視覺圖像，透過 Replicate 平台實現即時生成。�此階段不僅提供故事的視覺化補充，也讓敘事過程更具沉浸感與感染力。

智能系統、實驗性視覺化與裝置設計

文化適應性與倫理反思

系統能根據輸入語言自動調整文化脈絡與視覺風格，展現文化敏感度：

​

E.g. 輸入日文時，生成的角色與場景會反映日本人物特徵與環境；

若輸入法文，畫面可能呈現巴黎街頭的咖啡館場景等文化元素。

​

然而，這些大型模型同時也反映人類社會的偏見與倫理議題，例如當談及家務時，生成影像往往預設女性角色。

�在《ReCollection》中，這些偏見被公開展示於互動裝置中，讓觀眾在參與過程中意識到 AI 生成影像與自身記憶之間的差異，�從而促發關於記憶、再現與社會性別的批判性討論。

智能系統、實驗性視覺化與裝置設計

裝置互動與呈現方式

作品於 2023 年參加了三個重要展覽：

​

1. SIGGRAPH Art Gallery（洛杉磯）
2. Signal 展（捷克布拉格）
3. Media and Immersive experience Center（美國亞利桑那州）

​

在這些展出過程中，團隊根據觀眾互動的觀察，不斷改進裝置設計，使體驗更具沉浸性與參與感。目前已完成兩個主要版本的迭代。

​

裝置互動與呈現方式

作品以 互動式藝術裝置 的形式呈現，由投影牆面（或 LED 螢幕）與一座對向擺放的基座組成。�基座上設有 麥克風 與 USB 按鈕，作為主要的互動介面。

展場設計成 低光環境，僅以投影光與聚焦於基座上的微光照明，營造出私密而沉靜的氛圍。

​

互動步驟：

1. 觀眾進入展場後，由工作人員簡介作品操作方式；
2. 被光線引導至基座前，按下按鈕並在麥克風前輕聲說出一段記憶（約 10 秒、一句話長度）；
3. 系統錄音後將語音上傳雲端，AI 約需 20 秒 生成對應的視覺化影像；
4. 在等待的過程中，觀眾會看到前一位參與者的影像逐漸淡化、消融，轉化為屬於自己記憶的視覺形象。

​

這種「記憶交疊與替換的過程」成為體驗的一部分，象徵記憶之間的連續性與共享性。

裝置互動與呈現方式

AI 系統支援 98 種語言輸入，鼓勵觀眾以母語述說記憶，突顯作品的包容性與文化多樣性。

​

在展覽中，來自日本、伊朗、韓國、法國、德國、美國等地的上千名國際觀眾參與其中，�許多人因母語記憶被重現而深受感動，甚至流下眼淚。

�這些生成影像喚起了觀眾對往事的想像與情感共鳴，呈現出「個人回憶的再生與再詮釋」。

裝置互動與呈現方式

聲音設計與氛圍營造 :

​

裝置中搭配了循環播放的音景（looped soundtrack），以模擬「列印、重印、消融與編織」的聲響節奏。

�聲音素材來自城市環境錄音，經過**顆粒合成（granular synthesis）**處理，�營造出層次豐富的聽覺質地，使參與者能在半私密的聲音空間中，安心地分享個人記憶。

設

計

理

念

總

結

第一版：SIGGRAPH Art Gallery（洛杉磯，2023）

• 靈感來自 拍立得照片的懷舊氛圍；
• 影像如相簿般呈現，圖像被框起並搭配文字敘述。
• 然而觀察發現，觀眾感受到文字與影像間的疏離感，難以產生情感連結。

​

第二版：Signal 展（布拉格，2023）

• 重新設計的靈感來自 人們凝視水中倒影 的經驗，水面波紋映照出自我，同時扭曲、重構記憶。
• 新版本以 圓形構圖 呈現，並將文字 融入畫面 成為視覺組成的一部分。
• 當觀眾凝視影像時，彷彿見到自己的記憶被重新編織、反射與想像。

​

展覽設計追求一種兼具包容性、可親近性、開放性與親密感的體驗形式。�作品並非意在「修復」記憶的失落，而是讓人重新感受記憶生成與想像的流動過程，�在個人與集體之間、真實與合成之間，建立一種情感上的連結與對話。

未

來

發

展

參與性延伸：與記憶退化者的互動

​

研究團隊計畫將下一階段的研究對象擴展至記憶退化患者群體（如阿茲海默症與失智症患者），�此族群尚未直接參與過本系統的實際互動。

透過與《ReCollection》的互動，患者可在個人化的體驗中

�促進認知參與（cognitive engagement）與情感共鳴（emotional resonance）。�這樣的參與形式或可挑戰現有的失智照護模式，�讓「記憶」不再被視為需修復的固定體，而是流動、想像與重組的敘事過程。

未來團隊將在獲得正式同意的情況下進行訪談與觀察，�期望能從中獲得對未來藝術介入療法（art-based therapy）的啟發。

​

未

來

發

展

視覺化的擴展 走向三維世界

​

作品後續將發展為三維視覺體驗，�

透過建構「語音轉世界（speech-to-world）」的生成系統，結合虛擬實境（VR）與人工智慧技術，以強化沉浸感與互動性。

​

此方向不僅延伸了「記憶的可視化」，更嘗試打造 沉浸式的語言—影像—情感交互場域，�讓參與者在虛擬空間中體驗「合成記憶」的生成與流動。

總

結

• 《ReCollection》是一件互動式藝術裝置，透過語音輸入捕捉參與者的個人記憶，並即時生成持續演化的視覺敘事。這個過程將語言轉化為影像，交織出「記憶與想像之間的模糊地帶」，在回憶與再創之間生成新的「合成記憶」。

​

• 作品強調人與機器的共創與共同決策（collective decision-making），試圖在自動化運算與藝術創作意圖之間尋求平衡。它將人工智慧系統設計與實驗性視覺化方法結合，創造出一種兼具親密性、可親近性、互動性與不可預測性的藝術體驗。

​

• 《ReCollection》以詩意的方式將語言與生成式影像相互連結，邀請觀眾思考「集體記憶」的未來形態，並提出一種關於文化再製與再想像（cultural reproduction and re-imagination）的批判性構想。

微膠細胞迷蹤 19622018

Microglial Cell Disconnection 19622018 (2022)

錄像裝置

林月霞,〈 微膠細胞迷蹤19622018〉, 裝置外觀 , 國立臺灣美術館, 2022。

圖片來源 :

https://www.ntmofa.gov.tw/News_Content.aspx?n=1383&sms=11440&s=67036

「微膠細胞迷蹤19622018」以追蹤數位阿茲海默症病患病史為依據，從普遍中再選取個別病例，並以其個案的核磁共振影像（MRI）與 EEG 數據做為創作圖像的參考依據。希冀在實證醫學、運算美學和新媒體科技藝術的揉合中，重新解讀「生命價值」的截點。

參考資料:

​

ReCollection: Creating synthetic memories with AI in an interactive art installation

https://dl-acm-org.nthulib-oc.nthu.edu.tw/doi/pdf/10.1145/3664207

​

zhangweidi.com

https://www.zhangweidi.com/recollection

​

​

​

​

​

​

​

​

​

報告完畢

Thank You!