對半導體供貨商來(lái)說(shuō)，Google新發(fā)表的虛擬現實(shí)(VR)平臺Daydream，是與它的名稱(chēng)(白日夢(mèng))正好相反、具備實(shí)際商機潛力的產(chǎn)物；高通(Qualcomm)虛擬處理技術(shù)部門(mén)主管Tim Leland，就是眾多與Google合作了好一段時(shí)間的廠(chǎng)商代表之一，協(xié)助催生了可支持移動(dòng)虛擬現實(shí)功能的新一代升級版Android手機，如三星(Samsung)以GearVR產(chǎn)品所展現的實(shí)例。
Leland的團隊協(xié)助開(kāi)發(fā)了一個(gè)針對單緩沖渲染(single-buffer rendering)優(yōu)化的Android架構，該整合于高通最新Snapdragon 820單芯片(SoC)的繪圖處理核心經(jīng)過(guò)調整，可提供精細紋理的搶占技術(shù)(fine grained pre-emption)，以降低移動(dòng)延遲(motion-to-photon latency)；移動(dòng)延遲是確保VR頭戴顯示器畫(huà)面變換速度與用戶(hù)頭部移動(dòng)速度一樣快的關(guān)鍵指針。
Leland表示，藉由深入SoC設計讓Android平臺的應用達到20毫秒(millisecond)的延遲目標是個(gè)大工程，Snapdragon芯片需要改變與各個(gè)傳感器之間的交握(handshake)方式才能降低延遲；而傳感器本身則需要支持更快速的、從100MHz到1GHz等級的采樣。
為此高通開(kāi)發(fā)了一種稱(chēng)為“視覺(jué)慣性測程(visual inertial odometry)”的算法，以追蹤六個(gè)自由度的頭部運動(dòng)；該算法會(huì )在Snapdragon內建的Hexagon數字信號處理器(DSP)中執行，將來(lái)自頭戴設備的加速度計、陀螺儀、磁力計、攝影機的數據相互關(guān)聯(lián)。
開(kāi)發(fā)工程師能透過(guò)高通即將上市的軟件開(kāi)發(fā)工具包(SDK)取得上述技術(shù)，而Google也打算在A(yíng)ndroid N操作系統加入能處理傳感器融合(sensor fusion)任務(wù)的功能，應該是為了那些采用未具備傳感器融合功能之SoC的廠(chǎng)商。
高通在一篇技術(shù)白皮書(shū)中聲稱(chēng)，Snapdragon 820的移動(dòng)延遲低于18毫秒；該白皮書(shū)寫(xiě)道：“以實(shí)際的角度來(lái)看這個(gè)挑戰，60Hz顯示器每17毫秒會(huì )更新一次畫(huà)面，而90Hz顯示器則是每11毫秒更新一次。”
結合頭戴式設備使用的手機通常會(huì )需要采用AMOLED顯示器，因為能比傳統液晶顯示器支持更快的切換時(shí)間，否則容易出現所謂的‘鬼影’；而繪圖處理核心則會(huì )采用一系列的渲染影像技巧，提供用戶(hù)運動(dòng)時(shí)的流暢感、同時(shí)最小化耗電量。
舉例來(lái)說(shuō)，該類(lèi)組件會(huì )盡可能時(shí)常重復使用宏區塊(macro-blocks；或譯“宏區塊”、“宏塊”)，以減少渲染影像的需要。一個(gè)簡(jiǎn)單的技巧是先在顯示器的中央渲染影像，假設用戶(hù)的目光聚焦于此；而更先進(jìn)的解決方案是使用智能手機攝影機來(lái)追蹤使用者的眼球運動(dòng)，來(lái)判定哪個(gè)角度的影像該優(yōu)先渲染。
繪圖數據的壓縮已經(jīng)成為在提升處理速率同時(shí)降低耗電的關(guān)鍵；另一個(gè)技巧是改變影像的色調，讓它看起來(lái)似乎更亮，因此不需要調高耗電量大的背光。這確實(shí)是個(gè)挑戰，因為目前的手機只是在車(chē)上開(kāi)個(gè)導航功能就會(huì )開(kāi)始發(fā)燙，而今年秋天上市的手機則是要能貼近使用者的臉。無(wú)論如何，VR功能期望能為成長(cháng)趨緩的手機市場(chǎng)注入新動(dòng)力。
對首批與未來(lái)VR手機產(chǎn)品的期望
大多數供貨商預期會(huì )推出類(lèi)似三星 GearVR設備的Daydream平臺產(chǎn)品，也就是需要搭配智能手機使用的被動(dòng)型VR頭戴式設備；不過(guò)Leland表示，該類(lèi)產(chǎn)品是Daydream平臺的典型頭戴式設備，也會(huì )有廠(chǎng)商推出特殊應用移動(dòng)VR頭戴式設備，甚至也有廠(chǎng)商在開(kāi)發(fā)擴增實(shí)境(AR)產(chǎn)品，但那會(huì )較晚問(wèn)世。
特殊應用移動(dòng)VR頭戴式設備可能包括一系列高價(jià)位產(chǎn)品，配備更昂貴的顯示器、更大儲存容量以及先進(jìn)的空間音頻(spatial audio)；該類(lèi)頭戴式顯示器預期價(jià)格范圍也會(huì )更廣。
Daydream平臺的最后一個(gè)部分硬件，就是內建軌跡板的雙按鍵控制手把，類(lèi)似第一代任天堂(Nintendo)游戲機Wii的手把；其中一個(gè)應用程序按鍵是為開(kāi)發(fā)廠(chǎng)商留的，另一個(gè)回到主頁(yè)(Home)按鍵則是保留給Android。根據曾經(jīng)開(kāi)發(fā)電玩、對游戲互動(dòng)十分熟習的Google VR部門(mén)主管Clay Bavor表示，該控制手把的精確度媲美雷射筆。
將在今年秋天陸續問(wèn)世的Daydream平臺產(chǎn)品只是個(gè)開(kāi)始，Leland 表示：“產(chǎn)業(yè)界將持續努力降低移動(dòng)延遲──這也會(huì )是接下來(lái)幾年大家會(huì )常聽(tīng)到的話(huà)題，因為雖然20毫秒的延遲性已經(jīng)很好了，15毫秒、甚至低于10毫秒當然更好，這能讓VR畫(huà)面看起來(lái)更真實(shí)，不會(huì )讓使用者感覺(jué)好像是畫(huà)面很努力要趕上自己。”
Leland指出，這類(lèi)需求將影響傳感器處理是如何完成，以及攝影機子系統如何開(kāi)發(fā)、繪圖渲染如何與顯示器接口協(xié)作，擴及所有的處理器。為此高通正在尋求新的SoC功能區塊，以說(shuō)服原廠(chǎng)愿意多花點(diǎn)錢(qián)取得差異化；而現在Daydream則是已經(jīng)準備好進(jìn)駐預計年底圣誕節/新年假期上市的產(chǎn)品。
至于Google本身則是積極為Daydream提供所需的內容，其地圖應用程序的街景服務(wù)(Street View)以及在線(xiàn)視頻平臺YouTube，都已經(jīng)準備好提供360度照片以及視頻，YouTube也能支持空間音頻以及運動(dòng)強度評分(motion- intensity ratings)。
此外Google也與好萊塢(Hollywood)與各家媒體商接觸，除了與Imax等廠(chǎng)商開(kāi)發(fā)配備16臺攝影機的360度影像拍攝設備，派拉蒙(Paramount)、發(fā)現頻道(Discovery)以及紐約時(shí)報(The New York Times)等都是其VR內容合作伙伴。
Daydream平臺開(kāi)發(fā)工具已經(jīng)開(kāi)始提供，能讓使用C++語(yǔ)言的程序設計師取得底層應用程序編程接口(API)與硬件；Google總部的Daydream實(shí)驗室一直試圖一天快速開(kāi)發(fā)兩個(gè)VR實(shí)驗性應用程序原型，將透過(guò)發(fā)表博客文章的方式分享其學(xué)習經(jīng)驗。
Leland 結論指出，Android平臺上的VR體驗，將會(huì )讓那些認為VR頭戴式設備都需要跟一臺PC綁在一起的人驚艷。而使用者只要耐心等待幾個(gè)月，就可以看到是否蘋(píng)果(Apple)也會(huì )加入這個(gè)趨勢，讓iPhone 7也有自己的VR方案…或者該公司看到的是另一種“現實(shí)”。
