動作跟蹤互動技術是互動裝置藝術中常用的技術之一，它可以實現觀眾與 作品之間的實時互動。傳感器技術是動作跟蹤互動技術的基礎。傳感器可以通過測量物理量來感知環境和觀眾的動作，例如通過使用深度傳感器、RGB 攝像頭、紅外線傳感器等，來捕捉觀眾的位置、運動和姿態等信息。這種技術使用攝像機、傳感器、計算機視覺等技術手段，追蹤觀眾的動作和位置，從而實現實時的互動效果。
在動作跟蹤互動技術中，通常會使用多個攝像頭和傳感器，將觀眾的位置 和動作信息捕捉下來。這些信息經過計算機視覺處理后，可以生成三維模型或 二維圖像，以實現與觀眾的實時互動，通過對圖像和視頻進行分析，提取出觀 眾的動作信息，以實現與觀眾的實時互動。例如，計算機視覺技術可以通過圖 像處理算法識別觀眾的骨架，然后計算出每個關節的角度和位置，從而得出觀眾的動作和姿態。
此外，計算機視覺技術還可以識別觀眾的面部表情和手勢等信息，從而更加準確地捕捉觀眾的動作。 計算機控制技術是將觀眾的動作信息轉換為光影效果或聲音效果的關鍵。 通過將觀眾的動作信息與藝術作品的控制指令相結合，計算機可以實現實時的 互動效果。例如，當觀眾向左移動時，計算機會將這個動作信息轉換為一個控 制指令，然后將指令發送到作品中，使作品中的光影或聲音效果相應地發生變 化。例如，在一個使用動作跟蹤互動技術的藝術作品中，觀眾可以通過身體的 運動來控制光影效果或者聲音效果。當觀眾移動或者改變位置時，攝像頭或者 傳感器會捕捉到這些信息，將其傳送到計算機中進行處理。計算機通過算法解析這些信息，生成相應的控制指令，然后將這些指令發送到藝術作品中，從而改變光影或聲音等效果。
例如《Fragments》是 Random International 的一個藝術互動裝置作品。 這個裝置是由189面相同的小鏡子被安排在一個網格中，形成一個平坦的、同質的表面。這些鏡子被緊密的排列在墻上，表面上是靜止的，但它們擁有相互翻轉移動的能力。當觀眾慢慢靠近藝術品時，有序排列的小鏡子會追蹤觀眾的面部跟隨著一起轉過來，隨著參觀者的移動而移動。鏡子的表面會形成成不同 的三維形式，也許是波浪，也許是曲線，也許是圓形。
這些小的鏡子反射的對象看上去支離破碎，本來由無生命的物體變得類似有生命的東西一樣可以和鏡子對面的生命體產生互動交流。正如該作品的蘊意 就是創造人類和非人類的物體通過行為之間的互動產生對話。總的來說動作跟蹤互動技術的工作原理是實時的、高精度的，需要結合多種技術手段，從而實現與觀眾的實時互動效果。這種技術可以增強觀眾的參與感和體驗感，同時也對藝術家的技術能力和創意能力提出了更高的要求，其優點是實時性高、互動效果豐富，觀眾可以直接通過身體的運動與作品互動，增強了觀眾的參與感和體驗感。然而，這種技術的缺點也很明顯，需要較高的技術和成本支持，對硬件和軟件要求較高，同時也需要考慮觀眾的安全和隱私等問題。
