扒一扒Force Touch的前世今生，談一談智能硬件時(shí)代的人機交互

蘋(píng)果iPhone6S的發(fā)布，通過(guò)siri、Force Touch、Haptics技術(shù)打開(kāi)了全新的人機交互時(shí)代。

 

從2011年開(kāi)始，智能手機與平板電腦歷經(jīng)爆發(fā)性成長(cháng)，手勢觸控技術(shù)開(kāi)始取代鍵盤(pán)鼠標，帶來(lái)了一場(chǎng)人機交互革命。2014年底，智能硬件迎來(lái)大爆發(fā)，預計2015年全球互聯(lián)設備將達到49億臺，到2020年更上看250億臺。隨著(zhù)智能硬件的迅速放量，從最早的單一控制功能，到最后實(shí)現復雜的應用場(chǎng)景，原有的人機交互技術(shù)，如觸控、語(yǔ)音、體感、生物辨識正逐漸融合，而類(lèi)似于觸覺(jué)反饋、虛擬現實(shí)(VR)等新興人機交互技術(shù)正逐漸顯現。

 

 

 

 

智能纖維：透過(guò)布料實(shí)現觸控交互

 

在智能手機上，觸控已經(jīng)是必不可少的操控方式。但是到了可穿戴設備以及智能硬件上，由于產(chǎn)品尺寸以及待機時(shí)長(cháng)的限制，觸控交互不如智能手機上那么方便了，可實(shí)現的功能也非常有限。因此，在最初一代產(chǎn)品中，類(lèi)似于智能手表這樣的產(chǎn)品只能成為手機配件，大部份的交互方式還需要透過(guò)手機來(lái)實(shí)現。

如何在方寸之間實(shí)現更多的功能，而且還得確保產(chǎn)品的美觀(guān)？

 

Apple Watch的解決方式是重新定義用戶(hù)的操作手勢及用戶(hù)體驗——“橫向滑動(dòng)”切換頁(yè)面、“點(diǎn)按”選擇內容，“長(cháng)按”則是打開(kāi)菜單。此外，Apple Watch還增加了表冠(crown)與實(shí)體按鍵。在操控方式上，表冠既可輕按又可以旋轉縮放屏幕大小。此外，Apple Watch還透過(guò)不同的震動(dòng)方式來(lái)提示如何轉向。Apple Watch出現的意義并不是為了顛覆手表產(chǎn)業(yè)，而是真正讓可穿戴設備可以脫離手機的的地心引力而存在，使其能夠獨立展開(kāi)形成完整的應用生態(tài)。

 

除了蘋(píng)果(Apple)，Google也在積極探索智能可穿戴設備的人機交互方式。早在幾個(gè)月前最新的Google I/O大會(huì )上，專(zhuān)攻尖端技術(shù)的ATAP團隊展示了透過(guò)衣物進(jìn)行交互的技術(shù)Project Jacquard。

 

 

Project Jacquard透過(guò)衣物進(jìn)行交互

 

這個(gè)技術(shù)的思路是在紡織品中加入電路，與康寧(Corning)發(fā)布的概念宣傳片《Glass 2塑造的一天》相較，未來(lái)人機交互的主角不再僅僅是各種玻璃，而是可以將衣服、褲子、汽車(chē)坐墊或窗簾都變成可交互的媒介。人們可以透過(guò)各種織物來(lái)控制手機、計算機、可穿戴設備甚至家電。

 

目前，ATAP團隊已經(jīng)與日本一家布料廠(chǎng)合作，將導電的線(xiàn)路與棉線(xiàn)編織在一起，并保留柔軟的觸感，以及支持不同色彩、棉質(zhì)/化纖/絲質(zhì)的質(zhì)料。另外，他們還與Levi's合作設計了一款搭載Project Jacquard的棉質(zhì)外套，外套的觸摸感應區可以辨識多點(diǎn)觸摸，并支持一定距離內的隔空操作。

 

這種新開(kāi)發(fā)的紗線(xiàn)能以3D技術(shù)來(lái)紡織，并與微控制器聯(lián)機以制作低功耗觸摸板；Schwesig表示，這種線(xiàn)路本身就具備低功耗特性，預期嵌入在衣物時(shí)能連續運作一星期。雖然能量采集是搭配這種紡織品會(huì )很不錯，但ATAP團隊還沒(méi)著(zhù)手開(kāi)發(fā)相關(guān)技術(shù)。

 

 

將導電的線(xiàn)路與棉線(xiàn)編織在一起，可實(shí)現交互功能

 

Google還展示了新開(kāi)發(fā)智能纖維的數種應用情境，包括用戶(hù)能用多種手勢來(lái)開(kāi)燈或是在手機上操作音樂(lè )播放。Schwesig表示這種紗線(xiàn)也能運用于汽車(chē)內裝，但Jacquard項目是以一種通用技術(shù)來(lái)進(jìn)行研發(fā)，未特別針對某個(gè)使用情境。

 

這種技術(shù)的應用想象空間非常大，例如早上穿外套準備上班的時(shí)候，手機就自動(dòng)預定Uber；穿上慢跑鞋后自動(dòng)追蹤運動(dòng)數據；在衣服袖子上滑動(dòng)一下，就可以解鎖手機并對它下達語(yǔ)音指令等。與其用手環(huán)監測運動(dòng)參數，不如直接用鞋子來(lái)得更精確。

 

Force Touch的前世今生，核心算法來(lái)自……

 

以觸控技術(shù)而言，手勢控制雖然無(wú)法實(shí)現更精準的控制，但是透過(guò)算法使得人機交互顯得更加“智能”，可以透過(guò)不同的手勢和姿態(tài)判斷用戶(hù)的使用場(chǎng)景，這似乎更適于應用在可穿戴設備上。Google眼鏡盡管是一款過(guò)于前衛的產(chǎn)品，但是它的人機交互方式主要還是采用手勢或自然動(dòng)作實(shí)現。例如用戶(hù)只要眨眨眼睛就能拍照。

 

Apple的手勢應用主要采用壓力觸控(Force Touch)技術(shù)，這項技術(shù)的軟件算法來(lái)自于生物識別安全公司Privaris。目前，該公司已經(jīng)把大部分專(zhuān)利轉移給蘋(píng)果。這種技術(shù)是一種可以區分輕觸和用力按壓的功能，可以支持大量的新手勢。它的原理是將壓力敏感融入多點(diǎn)觸控輸入機制中，用戶(hù)只要用力長(cháng)按，就可以啟動(dòng)二級動(dòng)作。Apple Watch的壓力觸控常被視為類(lèi)似Mac計算機右擊的功能，用以打開(kāi)下一層的設備和菜單選項，如果沒(méi)有這種機制，很難將這些操作融合到一個(gè)非常小的接口。

 

 

Apple Watch的壓力觸控技術(shù)

 

這種技術(shù)已經(jīng)從Apple Watch擴展到Apple的其它產(chǎn)品線(xiàn)，如新一代iPhone以及Macbook系列，未來(lái)可能將繼續使用到蘋(píng)果的其他產(chǎn)品線(xiàn)如ipad。此外，壓力觸控還將與實(shí)時(shí)的觸覺(jué)反饋配合使用，除了現有的多點(diǎn)觸控功能，還能讓開(kāi)發(fā)者為高端用戶(hù)開(kāi)發(fā)專(zhuān)有的功能。事實(shí)上，壓力觸控帶來(lái)的應用還不止是實(shí)現某些操控手勢，由于支持不同的壓力變化，使得用戶(hù)在觸控屏幕上實(shí)現精確的作畫(huà)及書(shū)寫(xiě)成為可能。在蘋(píng)果最新發(fā)布會(huì )上，展示了利用ipad Pro配合Applepencil制作出的精美畫(huà)作。

 

華為(Hwawei)在新一代iPhone上市之前搶先在手機上采用類(lèi)似的技術(shù)。華為消費者終端董事長(cháng)余承東在參展德國柏林IFA大會(huì )上發(fā)布了旗艦手機Mate S，現場(chǎng)展示的‘The Power of touch’壓力觸控技術(shù)，能夠稱(chēng)量橘子的重量。

 

實(shí)際上，美國Z-origin的 Z-Tohch則是較早的觸控探索者；TI公司早前推出過(guò)基于高電壓的新一代振動(dòng)馬達的驅動(dòng)芯片；美國“IMMERSION”公司擁有基于“觸覺(jué)交互”的大量技術(shù)儲備與專(zhuān)利；中國的衡業(yè)新材也在研發(fā)“新一代觸摸反饋”的核心硬件。早在2009年黑莓(Blackberry)就在Storm系列手機上采用過(guò)類(lèi)似的屏幕按壓技術(shù)SurePress了，不過(guò)用戶(hù)在使用時(shí)必須按壓很大的力量，因此用戶(hù)體驗非常糟糕。

谷歌逆天發(fā)明，精準的毫米波手勢控制

 

相較于A(yíng)pple Watch的Force Touch 壓力觸控方式，Google的手勢控制方案Project Soli更具有顛覆性，用戶(hù)可以透過(guò)搓動(dòng)手指實(shí)現控制音量大小、切換歌曲、隔空調節耳機音量等功能。

 

這項技術(shù)是一種60GHz的毫米波技術(shù)。也就是說(shuō)，無(wú)論是控制手表、平板，還是手機等設備接口，將不再受制于屏幕。不必再透過(guò)接觸觸控屏幕來(lái)實(shí)現觸控，通過(guò)脈沖雷達波在任意空間擷取用戶(hù)的手勢，即可實(shí)現對設備的控制。這也就是我們平常所說(shuō)的體感交互，而現在Google在這當中應用了更精準的新技術(shù)。

 

 

毫米波技術(shù)，手勢控制方案

 

 

透過(guò)搓動(dòng)手指控制手表

 

這是一種基于無(wú)線(xiàn)電波反射建立的交互系統，5mm波長(cháng)的無(wú)線(xiàn)電波能夠探測到5m空間范圍內的精細動(dòng)作，目前Soli可以感測/辨識手指的捏轉、搓動(dòng)與傳動(dòng)等動(dòng)作，感應誤差精密到毫米級。這種技術(shù)的困難在于要在盡量最小的尺寸范圍整合無(wú)線(xiàn)電波發(fā)射天線(xiàn)與接收天線(xiàn)。此外，這種操控方式在實(shí)際應用中是否有實(shí)際意義，例如打個(gè)響指切歌是否真的比單擊按鍵切歌方便？這些都缺少更加真實(shí)應用案例和用戶(hù)體驗。

 

 

手機震動(dòng)就是觸覺(jué)反饋Haptics的最初應用

 

蘋(píng)果在iphone6S上內置了一個(gè)振動(dòng)器，將Force Touch技術(shù)與觸覺(jué)反饋(Haptics)技術(shù)相結合。Haptics是一種透過(guò)馬達和觸摸板搭配實(shí)現不同觸覺(jué)體驗的技術(shù)。手機震動(dòng)就是Haptics最初的應用，目前幾乎大部份的智能手表和手環(huán)都具有振動(dòng)反饋功能。

 

這一技術(shù)最早從Sony開(kāi)始嘗試，并推出了第一代Haptics技術(shù)的手機，三星(Samsung)甚至生產(chǎn)了一款型號帶觸覺(jué)字樣的手機——三星Haptic 2。Apple在2007年提交了相關(guān)專(zhuān)利，在題為《光滑觸控表面實(shí)現按鍵觸感的若干方法》中描述了如何讓用戶(hù)感覺(jué)屏幕的凸起和凹陷。

 

比如，日本DOCOMO生產(chǎn)的一款“RAKURAKU”老人手機，其振動(dòng)回饋可以讓在老人觸摸屏幕有觸感，如按壓鍵盤(pán)一樣的實(shí)物感，還曾風(fēng)靡一時(shí)；日本松下也推出獨特振動(dòng)回饋的平板；韓國PANTECH（潘泰）也推出過(guò)精敏振動(dòng)的平板等等。

 

 

Haptics觸覺(jué)反饋技術(shù)

 

 

Haptics技術(shù)的3種振動(dòng)器應用形式

 

Haptics技術(shù)的建置目前有三種主要方式：偏轉質(zhì)量(ERM)、線(xiàn)性共振(LRA)、壓電傳動(dòng)。其中目前比較成熟的技術(shù)是ERM和LRA技術(shù)，主要透過(guò)轉自馬達和線(xiàn)性馬達實(shí)現振動(dòng)反饋，其中線(xiàn)性馬達更能實(shí)現不同方向的振動(dòng)。

 

在手機領(lǐng)域，線(xiàn)性馬達目前已經(jīng)逐漸普及，而在汽車(chē)電子領(lǐng)域，主要仍采用轉子馬達。至于采用壓電傳動(dòng)的稀土馬達，其原理主要是采用具有壓電效應的多晶體逆壓電效應，在該晶體產(chǎn)生形變時(shí)產(chǎn)生電流，而在為晶體施加電壓時(shí)，晶體產(chǎn)生形變。目前包括三星、AAC、村田(Murata)、TDK與TI都正積極開(kāi)發(fā)Haptics相關(guān)產(chǎn)品。

 

 

Haptics的壓電傳動(dòng)實(shí)現方式

 

在游戲與虛擬現實(shí)等應用中，Haptics技術(shù)可為用戶(hù)帶來(lái)身歷其境的觸覺(jué)體驗。微軟亞洲研究院正嘗試將Haptics技術(shù)應用在消費產(chǎn)品和可穿戴設備上。此外，透過(guò)對采用Haptics技術(shù)的鍵盤(pán)進(jìn)行測試，結果顯示擁有觸摸反饋的鍵盤(pán)，其輸入速度和正確率比單純利用視覺(jué)或聲音反饋單鍵盤(pán)更高許多。

 

未來(lái)在網(wǎng)購體驗中，Haptics將可能在手機或平板電腦的觸控屏幕上仿真商品的真實(shí)紋理與質(zhì)地。此外，在智能手表中采用Haptics技術(shù)，將可透過(guò)壓電效應實(shí)現各種控制。例如將壓電組件置于觸控表面下，透過(guò)電流實(shí)現類(lèi)似于實(shí)體按鍵的觸控效果，或者透過(guò)壓力實(shí)現待機一鍵啟動(dòng)等。

 

 

聰明如siri，語(yǔ)音交互只會(huì )更智能

 

蘋(píng)果最近正在大舉招募人工智能專(zhuān)家，旨在挑戰谷歌在人工智能領(lǐng)域的領(lǐng)先地位。在蘋(píng)果最新發(fā)布的iOS 9系統中，智能機器人Siri可通過(guò)學(xué)習辨識聲音ID。

 

在智能硬件時(shí)代，人機交互的核心需求正朝向處理復雜任務(wù)的趨勢變遷。直接透過(guò)語(yǔ)言對話(huà)是處理復雜任務(wù)的理想人機交互方式。用戶(hù)希望能有一個(gè)真正智能的“隨身管家/秘書(shū)/數字助手”，而不僅僅是一個(gè)語(yǔ)音轉文字的工具。從iPhone推出Siri開(kāi)始，包括Nuance等語(yǔ)音技術(shù)供貨商正持續優(yōu)化語(yǔ)音交互技術(shù)，以求實(shí)現最佳體驗，其主要發(fā)展方向集中于語(yǔ)音識別與語(yǔ)音合成。

 

智能手表廠(chǎng)商映趣科技(inWatch) CEO王小彬認為，智能手表的交互方式應該做到盡量減少設備接觸，透過(guò)語(yǔ)音技術(shù)解放雙手。這一點(diǎn)在車(chē)載設備上有更嚴格的要求，目前有不少智能硬件廠(chǎng)商正針對車(chē)載環(huán)境開(kāi)發(fā)智能后視鏡及導航產(chǎn)品。智能后視鏡廠(chǎng)商威仕特CEO聞?wù)硎?，過(guò)去語(yǔ)音技術(shù)只能由機械辨識“去哪兒”，而不能理解“我想去哪兒”，而現在要做到“我不知道去哪兒，你推薦我一個(gè)地方去”。

 

首家采用認知交互模型設計語(yǔ)音交互系統的思必馳(AI Speech)在傳統語(yǔ)音識別和合成技術(shù)上導入交互人工智能，透過(guò)情境理解和多輪交互，針對最終任務(wù)完成度和用戶(hù)體驗進(jìn)行系統設計和優(yōu)化。什么是“交互人工智能”？所謂的“人工智能”包括運算智能、感知/表達智能、認知智能與抽象思維等四大智能模塊。思必馳認為認知型的對話(huà)是語(yǔ)音交互的未來(lái)，不僅僅是簡(jiǎn)單的辨識語(yǔ)音，而是真正能夠讓機器像人一樣進(jìn)行分析、推理與處理指令。

 

在具體使用中語(yǔ)音交互面臨環(huán)境噪聲、辨識率的問(wèn)題。思必馳的解決方式是透過(guò)麥克風(fēng)數組模塊+云端服務(wù)來(lái)實(shí)現自動(dòng)回音消除以及遠程語(yǔ)音識別。

 

 

 

 

類(lèi)似蘋(píng)果的語(yǔ)音助手Siri，國內華為榮耀7的智靈鍵采用獨立物理按鍵語(yǔ)音連接互聯(lián)網(wǎng)。能夠喚醒語(yǔ)音助手，并且深化語(yǔ)音助手功能，將語(yǔ)音功能和很多日常軟件打通。例如嘀嘀打車(chē)、微博、備忘錄、菜譜、地圖等軟件都能夠實(shí)現語(yǔ)音操控。

 

 

人工智能+大數據，人機交互的究極形態(tài)

 

日前，百度結合語(yǔ)音識別和圖像識別功能，推出全新的機器人助理度秘（duer）——個(gè)人數字助理。

 

整體而言，單一的人機交互方式無(wú)法滿(mǎn)足智能硬件多元應用場(chǎng)景的需要，從自然人機交互的未來(lái)趨勢來(lái)看，高度便利的多模態(tài)自然人機口語(yǔ)交互方式是最自然且想的人機交互方式。所謂多模態(tài)人機交互是指融合視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)甚至味覺(jué)的交互方式，其表達效率和信息都優(yōu)于單一的視覺(jué)或聽(tīng)覺(jué)模式。

 

簡(jiǎn)單來(lái)說(shuō)，未來(lái)的人機交互模式中，輸入信息的方式將變得越來(lái)越簡(jiǎn)單、隨意與任性，例如隨口說(shuō)句話(huà)、比個(gè)手勢、打個(gè)響指或甚至使個(gè)眼色就能告訴機器一項信息。但是機器能否理解你發(fā)出的信息就是人工智能的范疇了，如果你不想出現機器聽(tīng)不懂你說(shuō)“我想靜靜”到底是什么意思，就有必要讓機器反問(wèn)你一句“你到底是想一個(gè)人靜靜？還是想念靜靜？”

 

甚至到了最后，用戶(hù)再也不用主動(dòng)發(fā)出信息，透過(guò)眼球追蹤、觸覺(jué)反饋、各種傳感器，機器將自動(dòng)監測分析用戶(hù)所在的環(huán)境、狀態(tài)甚至情感信息，協(xié)助用戶(hù)進(jìn)行選擇或提供服務(wù)。例如當你睡著(zhù)了，機器系統將主動(dòng)關(guān)燈、關(guān)電視甚至幫你蓋被子。這可以說(shuō)是人機交互的最高境界了，到了這個(gè)階段硬件才可以真正稱(chēng)得上是“智能”。不過(guò)要實(shí)現如此高度智能化的前提是，設備必須透過(guò)許多的“大數據”來(lái)進(jìn)行演算分析，讓智能設備記住你的行為習慣和偏好并越來(lái)越懂你，甚至有一天比你自己還要了解你。