用單顆芯片實(shí)現(xiàn)出色的處理性能、能效和安全性
研究發(fā)現(xiàn)，我們?nèi)祟惿瞄L(zhǎng)與外界進(jìn)行可視化互動(dòng)，因?yàn)槲覀兲幚硪曈X圖像的速度遠(yuǎn)遠(yuǎn)快于其它形式的媒介，如書面文字。增強(qiáng)現(xiàn)實(shí)(AR)跟虛擬現(xiàn)實(shí)(VR)比較類似，能幫助我們更好地體驗(yàn)周邊環(huán)境，二者的主要區(qū)別在于 AR 能通過文字或其它視覺信息實(shí)現(xiàn)自然界的增強(qiáng)，從而讓我們更加安全高效地在自然環(huán)境中實(shí)現(xiàn)互動(dòng)，而VR則能讓我們浸入在綜合創(chuàng)建的環(huán)境中。增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)相結(jié)合通常被稱為混合現(xiàn)實(shí)(MR)。許多人已經(jīng)在日常生活中接觸過 AR 了，但卻沒有意識(shí)到，比方說我們用移動(dòng)設(shè)備實(shí)現(xiàn)街道導(dǎo)航或者玩 Pokémon Go 這樣的 AR 游戲。
圖1 - 虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)
抬頭顯示器(HUD)就是 AR 及其應(yīng)用的一個(gè)很好的例證。就比較簡(jiǎn)單的 AR 應(yīng)用而言，諸如HUD用于航空和汽車應(yīng)用領(lǐng)域，可讓駕駛?cè)藛T無需低頭看儀表盤就能直接了解車輛信息。有的 AR 應(yīng)用可提供更高級(jí)的功能，比方說可穿戴技術(shù)(通常稱為智能AR)，Tractica預(yù)計(jì)這樣的高端應(yīng)用到 2020 年將實(shí)現(xiàn) 23 億美元的市值。
增強(qiáng)現(xiàn)實(shí)有助于改善我們的生活
AR 正全面進(jìn)軍工業(yè)、軍事、制造、醫(yī)療和商業(yè)等各個(gè)不同應(yīng)用領(lǐng)域，顯著改善我們的生活。在社會(huì)商業(yè)領(lǐng)域，AR 用于社交媒體應(yīng)用，可添加生物信息，甚至能識(shí)別每個(gè)人。
許多 AR 應(yīng)用需要操作人員佩戴智能眼鏡。智能眼鏡通過取代手動(dòng)作業(yè)或者提供零部件組裝信息等，可大幅提高制造業(yè)的工作效率。在醫(yī)療領(lǐng)域，智能眼鏡能分享病例以及創(chuàng)傷和損傷細(xì)節(jié)等，從而讓抵達(dá)現(xiàn)場(chǎng)的急救人員獲得必要信息，隨后再提供給急診室。
圖2 - 智能眼鏡用于工業(yè)領(lǐng)域的實(shí)例
一家大型快遞公司目前正采用AR智能眼鏡讀取包裹條碼。掃描條碼后，智能眼鏡能通過 Wi-Fi 連接與公司服務(wù)器通信，明確包裹的最終目的地。知道目的地后，智能眼鏡能告知包裹應(yīng)該堆放在什么位置，以便發(fā)運(yùn)。
除了考慮最終應(yīng)用之外，AR 解決方案還要考慮性能、安全性、功耗、面向未來等一系列要求。不同要求之間可能會(huì)存在沖突，因此設(shè)計(jì)人員必須同時(shí)考慮到所有這些要求，力爭(zhēng)推出最佳 AR 系統(tǒng)解決方案。
利用AR系統(tǒng)贏得成功
復(fù)雜的 AR 系統(tǒng)要求能夠連接多個(gè)攝像頭傳感器并處理其提供的數(shù)據(jù)，以便了解周圍環(huán)境。這些攝像頭傳感器可能要處理電磁(EM)頻譜的不同頻段信息，包括紅外線或近紅外線等。此外，就像 MEMS 加速計(jì)和陀螺儀一樣，傳感器可能提供 EM 頻譜之外的信息，結(jié)合全球衛(wèi)星導(dǎo)航系統(tǒng) (GNSS) 提供的位置數(shù)據(jù)，可檢測(cè)移動(dòng)和旋轉(zhuǎn)情況。 對(duì)不同類型傳感器進(jìn)行傳感器融合的嵌入式視覺系統(tǒng)統(tǒng)稱為異構(gòu)傳感器融合系統(tǒng)。
AR 系統(tǒng)還需要實(shí)現(xiàn)高幀率，能逐幀進(jìn)行實(shí)時(shí)分析，從而提取和處理每幀所含的信息。能否為系統(tǒng)提供處理功能，滿足上述要求，這就成了組件選擇的一個(gè)決定性因素。
圖3 - 增強(qiáng)現(xiàn)實(shí)系統(tǒng)剖析
設(shè)計(jì)人員還可將 All Programmable Zynq?-7000 SoC 或 Zynq? UltraScale+? MPSoC 用作 AR處理系統(tǒng)的核心。這些 SoC將 ARM? 處理器和高性能可編程邏輯完美結(jié)合在一起，本身就是異構(gòu)化處理系統(tǒng)。作為新一代 Zynq-7000 SoC 的 Zynq UltraScale+ MPSoC 還采用了 ARM? Mali-400 GPU，該系列產(chǎn)品中有些產(chǎn)品還采用了硬化的視頻編碼器，能支持 H.265 和 HEVC 高效視頻編碼標(biāo)準(zhǔn)。
上述復(fù)雜器件有助于設(shè)計(jì)人員對(duì)其系統(tǒng)架構(gòu)進(jìn)行細(xì)分，優(yōu)化利用處理器進(jìn)行實(shí)時(shí)分析，并把傳統(tǒng)處理器任務(wù)轉(zhuǎn)交給生態(tài)系統(tǒng)來完成。設(shè)計(jì)人員可運(yùn)用可編程邏輯來支持傳感器接口和處理功能。這樣做的好處包括：
● 可根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個(gè)圖像處理流水線。
● 支持任意連接，能定義和連接任何傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，確保靈活性和未來升級(jí)路徑。
支持嵌入式視覺和機(jī)器學(xué)習(xí)
為實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，開發(fā)人員可采用支持嵌入式視覺和機(jī)器學(xué)習(xí)應(yīng)用的 reVISION? 加速堆棧。reVISION 主要是在軟件定義的 SoC 或 SDSoC? 工具集環(huán)境中開發(fā)的，能讓設(shè)計(jì)人員采用 OpenVX 等業(yè)界標(biāo)準(zhǔn)框架實(shí)現(xiàn)視覺處理、OpenCV 計(jì)算機(jī)視覺庫和 Caffe Flow 的跨平臺(tái)加速，以滿足處理器系統(tǒng)和可編程邏輯的要求。reVISION 可加速大量 OpenCV函數(shù)(包括核心 OpenVX 函數(shù))。
reVISION 還支持在可編程邏輯中直接用 Caffe prototxt 文件實(shí)現(xiàn)機(jī)器學(xué)習(xí)推斷引擎，這就能采用業(yè)界標(biāo)準(zhǔn)框架，不僅可縮短開發(fā)時(shí)間，盡可能減少高級(jí)系統(tǒng)模型和設(shè)計(jì)成品之間的差距，同時(shí)還可打造出響應(yīng)速度更快、能效更高(單位功耗像素更高)的靈活解決方案，而這一切要?dú)w功于處理系統(tǒng)和可編程邏輯的完美結(jié)合。
圖4 – reVISION 堆棧
設(shè)計(jì)人員還必須考慮 AR 系統(tǒng)的獨(dú)特因素，其不僅要連接攝像頭和傳感器以觀察周邊環(huán)境并根據(jù)應(yīng)用要求和使用情況執(zhí)行算法，而且還要跟蹤用戶的眼部，明確他們看什么東西，往什么方向看。這通常要采用額外的攝像頭來實(shí)現(xiàn)，既要觀察用戶面部，又要實(shí)現(xiàn)眼部跟蹤算法，讓AR 系統(tǒng)能跟蹤用戶的視線，從而確定向 AR 顯示屏提供什么內(nèi)容，并高效利用帶寬，確保處理要求得到滿足。執(zhí)行這種檢測(cè)和跟蹤工作可能是一項(xiàng)高計(jì)算強(qiáng)度的任務(wù)，可用 reVISION 實(shí)現(xiàn)加速。
高度關(guān)注便攜式設(shè)備的功耗問題
大多數(shù) AR 系統(tǒng)具有可移植性、不受限制性，而且許多情況下可搭配可穿戴產(chǎn)品，如智能眼鏡。這就帶來了獨(dú)特的挑戰(zhàn)，需要在功耗要求嚴(yán)格的環(huán)境中完成處理工作。Zynq-7000 SoC 和 Zynq UltraScale+ MPSoC 系列產(chǎn)品都能提供最佳單位功耗性能，進(jìn)一步降低工作期間的功耗，為此可采用不同選擇，如讓處理器進(jìn)入睡眠狀態(tài)，工作時(shí)候再喚醒，這可讓器件上一半的可編程邏輯斷電。檢測(cè)發(fā)現(xiàn)未被使用就進(jìn)入睡眠狀態(tài)，這樣 AR 系統(tǒng)的電池使用壽命會(huì)延長(zhǎng)。
在 AR 系統(tǒng)工作期間，當(dāng)前未使用的處理器元件可采用門控時(shí)鐘來降低功耗。設(shè)計(jì)人員可根據(jù)簡(jiǎn)單的設(shè)計(jì)原則實(shí)現(xiàn)可編程邏輯元件的極高效電源解決方案，包括高效利用硬宏、認(rèn)真規(guī)劃控制信號(hào)、考慮就當(dāng)前不需要的器件區(qū)采用智能門控時(shí)鐘等。這樣，相對(duì)于采用 CPU 或 GPU 的方法而言，能提供用電效率更高、響應(yīng)速度更快的單芯片解決方案。單芯片 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 解決方案采用 reVISION 來加速機(jī)器學(xué)習(xí)和圖像處理元件，這相對(duì)于類似的 GPU 解決方案而言能將單位功耗每秒幀率提高 6 倍(機(jī)器學(xué)習(xí))到 42 倍(圖像處理)之間，而時(shí)延則縮短到原來的五分之一。
滿足敏感的安全性要求
分享病例和生產(chǎn)數(shù)據(jù)這樣的 AR 應(yīng)用需要信息安全(IA)和威脅防護(hù)(TP)領(lǐng)域的安全性，而AR系統(tǒng)具有高度移動(dòng)性、可能錯(cuò)放，這就讓安全問題變得尤其重要。信息安全(IA)要求我們能夠信任系統(tǒng)中存儲(chǔ)的信息以及該系統(tǒng)接收和發(fā)送的信息。
就綜合而全面的信息安全而言，設(shè)計(jì)人員需要采用 Zynq 器件的安全啟動(dòng)功能，該功能支持加密。設(shè)計(jì)人員還應(yīng)通過高級(jí)加密標(biāo)準(zhǔn)(AES)、HMAC 和 RSA 公共密鑰加密等算法來進(jìn)行確認(rèn)。器件正確配置并運(yùn)行后，開發(fā)人員可用 ARM? Trustzone 和系統(tǒng)管理程序?qū)崿F(xiàn)正交世界，也就是說能確保自身安全性，別人無法訪問。
就威脅防護(hù)而言，設(shè)計(jì)人員可用系統(tǒng)中內(nèi)置的賽靈思 ADC(XADC)宏來監(jiān)控供電電壓、電流和溫度，并檢測(cè)有沒有修改 AR 系統(tǒng)的企圖。如果出現(xiàn)威脅性事件，Zynq 器件提供保護(hù)選項(xiàng)，包括記錄威脅企圖、擦除安全數(shù)據(jù)、避免 AR 系統(tǒng)再次連接支持基礎(chǔ)設(shè)施等。
結(jié)論
AR 系統(tǒng)會(huì)在商業(yè)、工業(yè)和軍事領(lǐng)域變得無所不在。這種系統(tǒng)的高性能、系統(tǒng)級(jí)安全性和能效要求之間往往是相互沖突的。設(shè)計(jì)人員可將 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，并結(jié)合 reVISION 加速堆棧來支持嵌入式視覺和機(jī)器學(xué)習(xí)應(yīng)用，從而應(yīng)對(duì)有關(guān)挑戰(zhàn)。
如需了解更多信息，敬請(qǐng)?jiān)L問以下網(wǎng)址：。
（轉(zhuǎn)載）
