微軟(Microsoft)在日前于布魯塞爾舉辦的IMEC技術(shù)論壇上揭密其HoloLens增強實(shí)境(AR)眼鏡及其專(zhuān)用加速器——Holographic Processing Unit(HPU)處理單元。
在今年3月下旬，微軟已經(jīng)開(kāi)始出貨HoloLens的開(kāi)發(fā)人員版了。這款開(kāi)發(fā)人員版HoloLens一發(fā)布，網(wǎng)絡(luò )上隨即充斥著(zhù)各種拆解分析，但至今卻未見(jiàn)來(lái)自這款頭戴式顯示器的設計者發(fā)表任何評論。
“我們已經(jīng)發(fā)表HoloLens約18個(gè)月了，通常僅強調使用體驗與軟件——這是第一次我們打算討論硬件部份，”微軟HoloLens開(kāi)發(fā)部門(mén)副總裁Ilan Spillinger表示。
微軟的HoloLens頭戴式顯示器包括4個(gè)環(huán)境傳感器、Kinect微型深度相機以及慣性量測單(IMU)。而在其核心部份的HPU基本上是一款數據融合傳感器，可以從HoloLens上的一連串傳感器擷取輸入。同時(shí)，它還能加速算法，以利于追蹤用戶(hù)的環(huán)境、運動(dòng)與手勢，以及顯示全息影像。
這款28nm HPU基本上采用高度客制化的DSP數組設計，運行功耗還不到10W。它包括多顆Tensilica DSP核心，從而為執行數百個(gè)HoloLens特定指令集實(shí)現優(yōu)化。每個(gè)核心都針對一種特定功能與功能子集而客制化。在聽(tīng)起來(lái)像是范紐曼(Von Neumann)的架構中，每個(gè)核心通常都有其獨特的內存單元組織，用于加速“需要特殊本地內存與獨特內存架構的新型算法，而不是典型的1-2-3級快取，”Spillinger解釋。
HoloLens頭戴式設備采用英特爾(Intel)14nm Cherry Trail SoC，以及執行于Windows 10的嵌入式繪圖核心。在主板的兩側還搭載64Gb閃存與2Gb外內存，平均分布于其HPU與Cherry Trail SoC之間。
Spillinger并未透露這款HPU的開(kāi)發(fā)藍圖，但表示他已經(jīng)“看到一些可執行該算法的新機會(huì )”。該HPU也適用于Google上周為其數據中心發(fā)布的新款加速器，以及一家新創(chuàng )公司正開(kāi)發(fā)中的設計。Spillinger呼吁半導體工程師盡快為開(kāi)發(fā)更高性能、更低功耗的芯片做好準備，從而協(xié)助其打造更輕巧、更低成本且搭載更多傳感器與功能的頭載式顯示器。
Ilan Spillinger的職業(yè)生涯一開(kāi)始是先在英特爾開(kāi)發(fā)Centrino——其首款筆記本電腦專(zhuān)用處理器。接著(zhù)曾經(jīng)在IBM設計Infiniband與Power芯片，后來(lái)則協(xié)助微軟與任天堂(Nintendo)為Xbox 360與Wii游戲機開(kāi)發(fā)ASIC芯片。
Spillinger在2007年底加入微軟，并開(kāi)始開(kāi)發(fā)Kinect。該計劃后來(lái)與其他工程師的計劃合并，共同開(kāi)發(fā)擴增實(shí)境頭戴式顯示器，而HoloLens計劃也隨之誕生。
如上圖中的HoloLens傳感器數組包括4顆環(huán)境傳感器，用于追蹤頭部動(dòng)作以及控制顯示器的手勢。深度傳感器是縮小版的Kinect，可支持手勢追蹤約1公尺范圍的短距離模式，以及映像室內的長(cháng)距離模式。200萬(wàn)畫(huà)素(2MPixel)的高分辨率視頻相機則用于投射用戶(hù)看到的影像。
光學(xué)子組件(上圖)包括合專(zhuān)用規格的慣性測量單元。光學(xué)組件使用由微軟開(kāi)發(fā)和生產(chǎn)的光柵技術(shù)，支持較寬廣的瞳孔間距離，并可為配戴隱形眼鏡或眼鏡的用戶(hù)進(jìn)行調整。
LCoS顯示器支持230萬(wàn)畫(huà)素與精確度，讓用戶(hù)預測與讀取Web瀏覽器上的精密文字。
早期的原型(上圖)采用全尺寸的Kinect深度傳感器和各種子組件，最終重新設計成封裝大量材料成本(BOM；見(jiàn)下圖)的簡(jiǎn)潔消費版)。
