上文已解釋了天貓精靈智能音箱是通過語音、音效兩條線的起伏錯落來表現。 接著要說明聲音特性與情感的相關研究，如何應用來打造聽覺互動體驗。
3. 天貓精靈聽覺體驗升級的方案設計
3.1 權衡音效在多模態交互中體驗比重
天貓精靈智能音箱是通過語音、音效兩條兩條主線連貫、交替、補充、共同形成節奏。（音樂為內容主線，圖示虛線表達，非本文重點將不以贅述。）
若以純語音互動的產品來說（例如：智能音箱），就像傳統的廣播電台一樣，因為缺少畫面的支持，所以除了要準確的傳遞訊息之外，還需要發揮本身的優勢，利用音效的特殊性，調動用戶的聽覺因素，達到語音交互產品生動的表達形式。聽覺器官對聲音的音高、音強、音色、音長感覺之外，對於音效還有一個時空屬性，時空屬性是一種從外延的擴展，用畫面之外的表達方式幫助你產生聽覺虛像，它包括了方位感、距離感、運動感、聲像感、層次感。在現實環境中，人們藉由聲音來判斷周圍物體的方位以及與你之間的關係，這就是方位感和距離感的體現。
若是以具備視覺通道（有界面）的雙模態產品來說，所使用的就是視聽語言。視聽語言是佔人生活中非常重要的感知渠道，透過「視」與「聽」的兩種接收模式將往來傳遞信息符號解析，用自己的知識與經驗吸收後進行解碼。雙模態之間的權重關係就需要去進行權衡，以致於影響用戶的心智負荷。
音效用於減輕用戶的認知負擔，但終究是屬於一個配角，而這個配角在整場戲中所佔的比重，是需要非常權宜的進行分配。音效運用得當，可以充分的調動用戶的互動情緒，帶動其展開豐富的聯想，從而豐富品牌形象，快速有效率的感知訊息。運用欠佳，輕則會使用戶感到莫名其妙，重則可能會引發使用者不同程度的反應及負面心理。一個語音互動的產品，時而音效占主導地位，需要加以強化。時而語言占主導地位，需要加以突出，兩者之間的訊息絕不能互相干擾。若是出現兩者混音的狀況時，音量上的控制需要拿捏妥當，調得過近則會影響到訊息的表達。
3.2 以人格化作為音效設計的起點
對智能化產品（特別是具備自然語言/情感表達的智能化產品）而言，新的自然互動方式繼承了用戶之間互動的認知模型，更容易與人產生共情以及共感。但同時，也繼承了用戶的期待。所以用戶對於可以自然互動但卻無法如同人一樣情感交流的產品更容易產生負面情緒，容忍度更低。因此在智能產品上進行人格化設計，體現智能化人格，能夠承接用戶的期待，降低認知落差，增強產品個性。藉由智能化人格喜好差異，從而增加用戶產品辨識度，強化情感粘性與認同感（包容度，依賴度），落實用戶情感歸屬。
同時，人格化也是建設用戶對產品心智的有效手段之一，一個人的聲音特色（聽覺）、穿著風格（視覺）、性格特徵以及由以上而建立的人物設定，就是幫助用戶形成產品心智的符號，在交互過程中，這些人設符號的融入與重複，就是在不斷加強用戶心智的過程。
舉例而言，一個有個性的智能音箱的回應：青花瓷這首歌我也很喜歡呢，主人跟我的喜好很像呢；跟一個沒有個性的智能音箱的回應：正在為您播放青花瓷。相比之下，肯定是有人格的音箱更容易與用戶達到共感。從另一個角度來看，當用戶的需求無法被滿足的時候，一個有個性的音箱回應：抱歉，我還在學習為您「打開廚房的燈」，請再給我些時間；對比：抱歉，無法執行「打開廚房的燈」，用戶的包容性會更高。
從上述舉例來看，一個有喜好，有個性的的智能化產品，比什麼都喜歡，無個性的智能化產品更容易被識別。而這也與社會學與心裡學中對「存在感」的定義相符，用戶對人事物「存在感」判斷，是根據自己的世界觀與他人的世界觀對比所產生的差異，或特定時刻、特定經驗的印象映射，而在自我心中表現出來的一種對人事物存在的肯定/否定的精神行為。因此我們有時候看到一些家中的物品即便沒有什麼實用的功能，但對自己還是有特別的意義，有著格外強烈的存在感，因此我們會包容他的存在，甚至捨不得丟棄。
清楚人格化對於智能自然互動產品的價值和重要性後，我們不僅會在話術上去進行人格規範，在各種不同的模態都會去做表達手段的拿捏。因此當我們在進行產品音效設計時，首先會將產品進行人格定位及分析，解構產品在互動過程中所需要展現的適當情緒表達，來規範產品與用戶的互動方式。
那我們如何通過人格來定位情感呢？
著名鋼琴家、文藝批評家查爾斯·羅森在《音樂與情感》這本書中從樂理出發，結合自身豐富的演奏經驗，向大家解釋了音樂怎樣對人的情感帶來波動，以及如何創作出蘊含情感的音樂，根據與情感識別的研究表明，聲音特徵中，音長和音強主要和喚醒度正相關，而音高主要和愉悅度正相關。可以理解為當節奏越快音強越強的一段音樂，喚醒度更為顯著，而旋律的高低則是用來展示情緒的變化。因此，我們可以通過聲音參數的調整來表現情緒的變化。我們使用情感模型進行音效的細節調控，最終得到符合預期的情感化音效，來進行聲音參數的示意。
當產品已經完成人格定位後，需要在當前的人格畫像下規範他的情緒區間，所想表達的是一個情緒偏穩定情緒的人呢？還是一個喜怒無常的人？舉例來說如果選擇的人格是一個本身性格文靜優雅的人，他的喜怒哀樂情緒區間或許就會比性格風風火火的人來得較穩定。我們的產品也是一樣，規範情緒區間幫助產品表達的一致性，讓用戶不會在和產品互動的過程中感到出乎意料或是不自在。
3.3 打通人格情感來形成具象的聽覺符號
首先我們形成了人格情感與聲學屬性對應邏輯：
不同情感的音樂具有自己特有的基礎聲學屬性。音效的旋律拆分到最基礎的聲學單元則是：音高、強弱（音強）和時值（音長）。音高就是我們平時說的“Do Re Mi”，強弱是指一個音的能量大小，這裡我們可以粗略的理解為音量的大小，而時值是指一個音的持續時間長短，時值長短會決定一段旋律的節奏快慢，時值短的節奏快，時值長的節奏慢。
而根據音樂情感相關的研究（如下圖），不同象限中情感的音效在這三個值上會有一些區別，在細微的音效調整上可以參考下表。例如：高喚醒度、高愉悅度的音效對應具有音高較高、時值較短、音強強的特點。低喚醒度、低愉悅度的音效對應具有音高較低、時值較長、音強較弱的表現（或許可以以貝多芬的歡樂頌和月光奏鳴曲第一樂章來對比一下之間所傳達的情緒感受）。
對應到音效設計上舉個簡單的例子，如果你想製作一個令人激動的敲門聲（喚醒度高愉悅度高），則可以使用一個聲音較大，頻率急促的敲門聲，並且所敲的門可以是一個可以發出音高較高的門（音色類比材質），音色的選擇就會類似金屬門而不會選擇一個聲音低沉渾厚的木質門。在這個例子裡，最終我們得到了一個令人激動的敲門聲作為好友上線的聲音，所傳達的意圖包含了：高喚醒度高愉悅度令人激動的情感，以及好友上線基礎狀態。
然後我們找到了人格與主音色的對應方式：
音效主音色的選擇代表的是「人設聲音中的物理屬性」部分，也是最基本的部分，是用戶聽覺心智的物理符號。情緒會隨著交互的過程有不一樣的波動，但聲音的主音色，是不會變的，變化的部分僅是基於基本音色以外的音量、音高(可以理解為旋律)及音樂速度。
我們在進行主音色選擇的時候，通過人格與樂器的本質對應進行選擇。每一件樂器發出的音色都有自己的個性，比如小提琴是優雅、大提琴沉澱、手風琴幽默、小號光輝燦爛等。我們要為已經設立好的人格尋找一個合適的主要聲音，除了主觀的去感受各種樂器音色的合適性之外，也可以通過這種方法。
我們已經為大家整理好一張樂器個性表，可以作為未來在做音效設計時的性格參考。
3.4 基於以上研究成果的天貓精靈音效設計
首先我們定位了天貓精靈的人格有三大特徵為善意、愛家庭、重和諧（MBIT16型人格中的ESFJ型人格），因此天貓精靈的音效主音色我們選擇了鋼片琴，它的個性是寧靜、纖雅的，音色清淨，象星光般皎潔。
而後我們通過梳理音效全鏈路FLOW的場景，對上文提到的音效情感，即愉悅度、喚醒度，進行了ESFJ型人格的反應定位。下圖為用戶體驗全鏈路FLOW結合ESFJ人格情緒表達所繪製出的反應曲線。圖中在模態的互動表包含了語音播報和音效其中的對應關係，並清楚說明每個互動節點音效所要傳遞的訊息類型（功能音效、真實沉浸、氣氛渲染）和每一個音效的長短值。
開機音效是一個產品的靈魂音效，就像Windows的開機音、Nokia的手機鈴聲，又或者是PS遊戲機歷代的開機音，長時間的使用讓你甚至不需要在視覺的輔助上都可以一聽就能認出他。當我們定義了開機音效的情緒是使人愉悅且快樂的，我們會在愉悅度高且喚醒度適中的範圍之下去對應音效所需要注意的單位參數，然後開始著手進行設計，在設計過程中我們模擬了閨蜜的對話情景，是強化了天貓精靈語音互動的特性。
連網中的音效會根據目前連網技術所需的基礎時間來進行判斷，循環的音效需要讓整體的喚醒度和興奮度降低，避免過度干擾用戶造成耐聽度下降。我們從下圖可看出連網音效與開機音效的情感定位差別：
開機的愉悅和關機的小失落產生一種對比，但旋律的失落程度上會拿捏妥當，不會過分表現。我們也會依照用戶的使用意圖，來將音效的音量進行漸強或者漸弱的調整。整個節奏從開機時的輕快到關機的輕柔緩慢，都做過多次的設計和調整。
斷網音效：許多效率型訊息表達音效，我們會引用許多生活中的聽覺經驗融入到音效設計當中。以斷網音效來做舉例，音效的意圖為了表現低愉悅度的異常狀態並且用高喚醒度來吸引用戶的注意，所以我們使用了吉他斷弦真實沉浸音效作為開頭起始音，用這種方式來傳達我們所要表達的意圖。
兒童版本的產品音效：針對高音靈敏度更高，在產品心智表達一致的規則下，保持旋律一致性並且針對兒童對音樂敏感的特性，我們選擇比鍾琴更加清脆的樂器。
3.5 對音效的走查
我們在完成音效的設計與輸出後，進行了五個維度的走查，它們分別是：
1）互動合理性：增強互動過程中的體驗，又不讓人產生聽覺疲勞；
2）心智一致性：音效風格可傳達品牌氣質，同時有品牌體系感；
3）訊息準確性：在場景中可獨立準確的傳遞出訊息，如無法獨立準確傳遞訊息，則需要考慮語言協同進行訊息傳遞；
4）情緒準確性：可準確調動場景中的用戶情緒；
5）設備還原度：音效在不同設備中的聲音還原度測試
走查過程中自然還會發現一些問題，比如有的音效使用了高低聲部的雙音，由於人們在聽覺上對高低頻率的靈敏度不一樣，有的會聽到上行旋律，有的會聽到下行旋律，這時我們會根據希望傳遞的情緒，去對和聲進行調整。除此之外包括音量（見下圖）、設備還原等細節，也是進行了各種細微調整，最後才完成了所有音效的發布。
綜上所述，整篇文章可總結為下圖所示
延伸閱讀： 天貓精靈智能音箱如何打造聽覺互動體驗？(上)
資料來源：還在做UI稿？阿里美女設計師開始對你的耳朵動手了！！