微軟在本周舉行的Hot Chips高效能晶片研討會上首度對外揭露全像影像頭戴裝置HoloLens所使用的全息處理單元(Holographic Processing Unit,HPU)規格,掀開此一客製化協同處理器的神秘面紗。
HoloLens為一可獨立使用的全像圖像運算裝置,可將全像片投射在實體環境中並與之互動, 它內建了4個可感測環境的相機、1個深度相機、4個麥克風、1個環境光感測器與多個動作感測器, 以及1個用來拍攝畫面的相機,在今年8月初開放北美的開發人員購買,售價為3000美元。
HoloLens擁有高效能的CPU、GPU及HPU。其中的HPU屬於協同處理器, 負責將上述眾多感應器與攝影機所擷取的資料串流至HoloLens,同時也需處理手勢及語音識別。
HPU是由台積電以28奈米製程代工, 擁有24個Tensilica數位訊號處理器(DSP), 內含6500萬個邏輯閘,8MB的SRAM,上方則覆蓋一層1GB的低耗電DDR3 RAM,估計每秒可執行1兆次運算。
微軟替這些DSP設計了許多客製化指令,以加速HoloLens特定功能的運作。HPU的用電量低於10W,並有PCIe及標準序列介面,且其運算能力是採用純軟體的200倍。目前HPU只用了不到5成的能力,保留了微軟未來擴充HoloLens功能的空間。
HPU處理複雜環境數據的能力讓HoloLens中的CPU及GPU可各司其職,專心執行Windows 10或其他程式,也是讓HoloLens有別於其他VR裝置而可獨立運作的關鍵之一。