1 of 14

Embodied Ink: A Multisensory Reinterpretation of Chinese Calligraphy Through Digital Twins and Immersive Realities

The 35th ACM International Conference on Multimedia

https://doi.org/10.1145/3746027.3756139

​

1

114003816 林佩穎

2 of 14

2

3 of 14

3

作品論述

具身 (Embodied)： 強調書法不只是視覺結果，更是身體能量的具象化。捕捉書寫者在三維空間中的呼吸、速度與力度。

​

墨形 (Ink)： 代表數位媒介對傳統墨跡的重構。透過粒子系統與生成式演算法，將墨的靈魂注入虛擬空

​

  • CCS Concepts�以人為中心的計算(Human-centered computing ) → 互動設計(Interaction design ) → 互動設計流程與方法(Interaction design process and methods ) → 以活動為中心的設計(Activity centered design)

​

  • Keywords�中國書法(Chinese calligraphy)、動作捕捉 (motion capture)、生成式人工智慧(generative AI)、多媒體裝置(multimedia installation)

4 of 14

4

MY STUDIO

作者介紹

MYStudio 是位於波士頓的跨領域創意設計工作室，結合建築、劇場、影像、展覽、舞蹈與音樂等媒介，關注數位文化遺產的當代轉譯、身體與劇場的跨媒介轉換，以及混合實境空間設計。團隊作品曾於 Ars Electronica Festival、ACM SIGGRAPH Asia Art Gallery 等平台展出。

5 of 14

Anna Borou Yu

  • 新媒體藝術家、跨領域研究者、舞者
  • 創作涵蓋表演、裝置、展覽、影像、VR/AR 與沉浸式劇場
  • 長期關注身體與空間、延展實境中的具身經驗，以及文化遺產的當代轉譯

​

Jiajian Min

  • 建築師、新媒體藝術家、跨領域研究者
  • MYStudio 共同創辦人與主持人，也曾擔任 Harvard FAS CAMLab Project Lead
  • 主要關注 XR、互動空間、數位文化遺產與跨媒介創作

5

作者介紹

6 of 14

6

  • 在當代螢幕文化中，傳統書法的「儀式感」與「體現感」逐漸消失。年輕一代往往只能看到複製品，卻無法感受筆尖與紙張博弈時的張力。

​

  • 研究問題： 數位技術是否能不只是「模擬」紙筆，而是「進化」成一種全新的感知方式？

研究目的

7 of 14

7

作品背景：傳統書法的當代轉型

  • 經典書體的靈感來源： 深入研究篆書 (Zhuanshu) 的結構性、楷書 (Kaishu) 的規範美與草書 (Caoshu) 的動態能量

​

  • 非物質文化遺產再造： 書法不僅是視覺符號，更是呼吸 (Qi) 與動作的傳承

​

  • 當代議題： 探討軟體如何作為一種文化載體 (Software as Culture)，使傳統藝術在數位孿生技術中獲得二次生命

�

8 of 14

8

技術系統

9 of 14

9

  • 透過 Rhino3D 建立三維視覺示範與筆畫結構模型
  • 透過 Stable Diffusion 與 LoRA 進行 machine learning fine-tuning
  • 輸出整合到 TouchDesigner 中，形成可回應即時資料與觀眾動作輸入的互動視覺

視覺生成流程

10 of 14

10

  • Kinect 捕捉舞者的身體動作與姿態，作為即時視覺生成的輸入
  • EmotiBit 蒐集心率、肌肉張力等生理資料，並連動調整筆觸透明度、視覺強度與生成式聲景
  • 表演者因此不只是控制作品的人，而是成為一支 「活的毛筆」（living brush），讓身體的壓力、扭轉與節奏轉化為動態墨跡
  • 聲音系統由 music motifs、sound effects、Ableton、Max/MSP 組成，回應書法的節奏、力度與流動感
  • 作品的多感官特質來自 身體、影像與聲音的同步生成，共同重建書法的時間性與具身性

身體感測、生理回饋與聲音設計

11 of 14

11

技術細節

階段 (Phase)

使用工具 (Tools)

功能說明 (Functionality)

視覺建構 (Visual)

Rhino3D / TouchDesigner

3D 筆畫建模與即時粒子效果生成。

人工智慧 (AI)

Stable Diffusion + LoRA

書法風格訓練與影像合成微調。

音訊生成 (Music)

Ableton Live / Max MSP

將動作數據轉譯為生成式音效與動態音景。

硬體整合

Stereo Speakers / Projectors

建立沉浸式環繞視聽空間。

12 of 14

12

  • Embodied Ink 將中國書法從平面書寫轉化為一種具身化、多感官的生成經驗
  • 透過動作捕捉、生理感測與生成式 AI，使身體成為影像與聲音的即時生成來源
  • 書法不再只是視覺形式，而是一種由動作、節奏與時間構成的感知事件
  • 作品模糊了表演、運算與視覺藝術之間的界線，形成跨媒介創作模式
  • 在當代脈絡中，提出一種將傳統藝術轉譯為沉浸式與互動系統的方法
  • 重新思考：在科技條件下，文化如何被再現、被感知、並持續生成

13 of 14

13

Drawing Operations

14 of 14

Reference:

14