多模態學習分析中的時序延遲效應：生理—行為特徵化

教學問題

多模態學習分析雖然整合了視覺注意力與生理信號來推測學生狀態， 但現有研究多採用同步對齊或簡單的特徵堆疊方式， 缺少對生理反應與外顯行為之間「時序延遲」特性的深入考察。 這種跨模態的時間延遲關係可能蘊含重要的學習歷程資訊。

研究方法

本研究招募 6 名學生，於 Python 程式設計課程中進行為期三週的多模態資料收集。 使用 Garmin vívoactive 5 智慧手錶透過 Garmin Health Companion SDK 取得 一秒解析度的壓力指數（HRV 衍生）與五秒間隔的心率資料， 同時以攝影機擷取面部影像進行注意力推論。 透過時序對齊與交叉相關分析，在教學事件層級上量化生理—行為的時序延遲特徵。

主要發現

• 平均時序延遲與學業表現僅呈微弱關聯（壓力 r = 0.20，心率 r = 0.09）
• 時序延遲的「變異性」與學業表現呈中度正相關（壓力 r = 0.55，心率 r = 0.52），能更有效區分學習成效
• 實作（Lab）活動展現較強的生理—行為耦合，而講授等被動情境耦合較弱
• 能根據情境需求調整參與模式的學習者，可能展現更好的學習表現，符合自我調節學習理論

對教學的啟示

教師可利用即時耦合指標來調整活動的比例與順序—— 在實作環節鼓勵更緊密的生理—行為耦合， 在講授環節則容許較鬆散的參與模式。 時序延遲變異性可作為多模態學習分析的新型可解釋指標， 為教學調適與學習支援提供更細緻的分析依據。