康乃爾大學的研究人員開發了一種穿戴式耳機裝置，或稱耳戴裝置（earable），它可以發出聲納，並將從臉頰上反彈的回聲轉化成使用者整個臉部的虛擬化身，利用這種聲學技術可以更好地保障使用者的隱私。
由資訊科學助理教授 Cheng Zhang 和資訊科學教授 François Guimbretière 領導的團隊設計了這個名為 EarIO 的系統，它可以將臉部動作即時傳輸到智慧型手機，而且與市售耳機相容，能實現免手持、無線的視訊會議。Smart Computer Interfaces for Future Interactions (SciFi) 實驗室的首席研究員 Zhang 說：「使用攝影機追蹤臉部動作的設備又大、又重、又耗電，這對穿戴式裝置來說是個大問題。而且很重要的是，它們捕捉了很多私人資訊。透過聲學技術進行臉部追蹤可以保障隱私，並提供可負擔性、舒適性、和更長的電池壽命。」
研究團隊在 EarIO: A Low-power Acoustic Sensing Earable for Continuously Tracking Detailed Facial Movements 這篇論文中描述了他們的耳戴裝置，該論文這個月發表在IMWUT (Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies) 期刊上。EarIO 的運作原理和船發出聲納類似：耳機兩側的喇叭將聲音發送到臉的側面，然後由麥克風收取回音。當穿戴者說話、微笑、或揚眉時，皮膚會移動和延展，並改變回音的型態。研究人員開發的深度學習演算法，使用人工智慧來持續處理數據，並將不斷變動的回音轉化為完整的臉部表情。
實驗室過去是使用帶有攝影機的耳機追蹤臉部運動，根據從耳朵視角看到的臉頰運動重建整個臉部。論文共同作者，資訊科學博士生 Ke Li 說：「透過人工智慧的力量，該演算法可以找出人眼無法辨識的肌肉運動和臉部表情之間的複雜關係，我們可以用它來推算較難捕捉的複雜資訊 — 臉的整個正面。」且透過蒐集聲音而非數據密集型的圖像，耳戴裝置可以由無線藍牙與智慧型手機進行溝通，保障使用者的資訊隱私；對於圖像，裝置需要連接到 Wi-Fi 網路並將數據來回傳送到雲端，這可能會使它容易受到駭客的攻擊。
使用聲音訊號也比記錄圖像消耗更少的電力，EarIO 使用的電力，是實驗室之前開發的攝影機耳機系統的 1/25。目前耳戴裝置可以靠無線耳機電池持續使用約三個小時，不過未來的研究將會著重在延長使用時間。
研究人員找了 16 名參與者測試該裝置，並使用智慧型手機的攝影機驗證系統模仿臉部的準確性。初步的實驗顯示：裝置可以在使用者坐著和到處走動時運作，風、道路噪音、和背景討論聲都不會干擾它的聲音訊號。
在未來的版本中，研究人員希望提升耳戴裝置忽略附近噪音和其他干擾的能力。共同作者，資訊科學博士生 Ruidong Zhang 說：「我們使用的聲音感測方法非常敏感，好處是它能夠追蹤非常微妙的動作，但壞處是當環境中的某些東西變動時，或當你的頭部稍微移動時，我們也都會捕捉到。」
目前此技術的限制是：在第一次使用之前，EarIO 必須蒐集 32 分鐘的臉部數據來訓練演算法。Zhang 說：「我們希望使這個設備最終可以隨插即用。」
資料來源：Cornell Chronicle