Allion Labs / Jason Wu

近幾年來,內建語音助理的智慧音箱,不僅在北美及歐洲都爆發性的熱賣,在中國也是掀起了一波熱潮。消費者對於此類的智慧型產品具有高度的興趣,因此每年的銷售量仍節節上升。而除了在手機及智慧音箱上導入語音助理外,這波語音助理風潮,也逐漸地蔓延至其它裝置,例如穿戴裝置、家電、車載導航系統以及PC。而本篇文章主要向大家說明的,就是Alexa在PC上的運用及認證測試。

圖1:Alexa for PC is ready!

What is A4PC(Alexa for PC) ?

相信有使用過Amazon的Alexa語音助理的消費者,對於Alexa能提供的幫助印象深刻。除了問時間、天氣以及播放音樂外,她還可以陪你聊天、說笑話、說故事給你聽;也可以幫你購買生活日常用品,並送到家門口,而不用出門。那麼這些功能,可以在PC上使用嗎?毫無疑問地,她完全可以在PC上讓你有同樣的體驗。只要PC經過了Amazon Alexa的認證測試,並拿到了A4PC的認證,使用者即可在PC上,同樣愉快地享受語音助理體驗。

How to Get A4PC Certification?

廠商若計畫支援A4PC,需經過兩個階段的測試,才能完整走完認證流程。

  • Self-Test

首先是廠商需先進行Self-Test,驗證A4PC的語音功能,在待測的PC上,是否能符合規範?在這個階段,廠商要盡可能地找出會影響語音收音的因素,並完全地改善它,然後先進行長時間語音功能的可靠性驗證,再做Acoustic Quick Test,並檢視測試結果是否已經合乎標準?若已經符合標準,便完成了進行認證測試的準備。

不過,除了語音功能的驗證外,同時建議廠商要確保系統的穩定性,長時間系統不可當機、網路不可失去連線,長時間麥克風都能有效的收音等等。

  • Certification Test

完成了以上的準備,則可以進到了第二階段的認證測試。廠商需聯絡Amazon或具有Amazon授權的認證實驗室,安排A4PC的認證測試。當實驗室收到了待測的PC後,即可開始進行測試。一旦測試完成並取得通過的報告,廠商即初步具備取得認證的資格了,此時廠商把收到的測試報告,遞交給Amazon負責窗口,待檢視無誤後,即正式取得了認證資格了。

圖2:PC with A4PC supported

How does A4PC certification test?

A4PC的測試驗證,現在都需要通過Amazon提供的測試tool來進行測試,一共分為幾個方向的驗證:

  • STT(Stability Test Tool)

一般語音助理的使用情境,都是24小時待命地,而此項目就是要驗證PC本身的穩定度,會不會在長時間使用語音助理之後,導致系統崩潰,或是語音助理停止回應。

  • FRR(Wake-Word False Rejection Rate)

這項是在驗證喚醒的正確率,透過播放預錄的測試語音,來記錄受測產品是否能每次被正確喚醒。

  • RAR(Response Accuracy Rate)

這項是在驗證回覆的正確率,透過播放預錄的測試語音,來記錄受測產品是否能每次正確的回覆問題,或是進行被要求的動作。

  • WWDD(Wake Word Detection Delay)

為了能達到更即時的反應,避免使用者等待的不良體驗,這項驗證受測產品,在收到喚醒語音跟後續的指示之間,所需要的時間長短。

  • FAR(Wake-Word False Alarm Rate)

一般使用者在對話時,不會特意去避開使用喚醒詞,或是難免會說了與喚醒詞發音相近的詞語。這項是驗證在長時間的測試語音進行中,受測產品不會被錯誤地喚醒。

圖3: Allion provided A4PC testing report.

What is the testing setup?

認證測試需在Amazon Alexa測試規範所定義的聆聽室中進行,此聆聽室除尺寸外,還需完全符合測試規範中,針對RT-60的各項指標要求。另外,測試設備的使用,也是要遵照規範來準備,不能任意更動。測試環境的架設,則需進行嚴格的測試前校正,不論是角度、高度、距離以及音量的大小,才能達到與Amazon的同樣的測試水準。

圖4: Testing environment for voice recognition

Additional validation items

雖然在完成並通過了前面說明的認證測試後,產品即可取得認證資格,不過,仍然有使用者在實際使用時,還是會遇上了無法喚醒,或是辨識不正確的狀況。這又是怎麼一回事呢?

通常使用者買了支援A4PC的產品回家,接上電源開機、連上網路及登入帳號,以為可以順利享受虛擬助理,幫忙解決生活中的大小事,幫忙提供問題的解答時,卻發現怎麼也叫不起來這個語音助理?問了幾個問題,有時卻答非所問!根據百佳泰的測試經驗,通常產品會有底下幾種使用者體驗上的風險:

  • 叫不醒
  • 回應不正確
  • 沒叫它時,自己卻醒來了
  • 回應緩慢
  • 網路連線不穩定
  • 聲音品質不佳

產品取得了認證資格,不代表使用者能得到絕佳的體驗,因此百佳泰提出了更多測試項目,協助廠商來驗證產品性能,找出更多消費者使用上面臨的風險,完善產品的使用經驗:

  • 不同的語音種類及更多的數量
  • 各種語音的口音及腔調
  • 更多的距離、高度變換
  • 更多的環境噪音
  • 不同家居裝潢材料旁的表現(玻璃、布窗簾、百頁窗、書本、電視…)
  • 不同受測產品擺設的位置(靠牆、靠窗、電視櫃、茶几、書桌、床頭櫃…)

圖5: Testing environment for voice recognition

百佳泰是Amazon授權的A4PC認證測試實驗室,同時間也正在進行AVS授權認證實驗室審核,現階段不只可以提供A4PC認證測試,協助廠商取得A4PC的認證。若客戶無合適的測試環境,百佳泰也可以提供self-test的服務。若是想在產品開發階段,得到部份項目的測試結果,以進行後續debug,這裡百佳泰同樣可以提供服務。而除了標準認證測試外,在產品性能驗證中,可以協助廠商為產品量身訂做出客製化的測試項目,進一步確保使用者買回家後,不會因家居裝潢的條件不同、家具擺放的位置不同,大大的影響了產品的表現。提前解決可能會面臨到的潛在問題,以期能更早期地解決這些會造成使者體驗不佳的問題。

請讓百佳泰為您Amazon Alexa for PC的產品計畫,得到更全面的品質進化,若需貴司有任何產品諮詢或服務需求,敬請來信至service@allion.com