不需要鼠標(biāo)、鍵盤，甚至接觸，計(jì)算機(jī)會(huì)“看到”你想告訴它的一切—在微軟的“未來科技”布局里，識(shí)別空中手書是一幕關(guān)于人機(jī)互動(dòng)的奇幻片段。
在2054年的華盛頓，湯姆·克魯斯飾演的安德頓戴著他有觸點(diǎn)的手套，邊打電話邊用雙手令人眼花繚亂地在透明顯示器上操作程序和窗口，酷勁十足。即使不是科幻迷和游戲迷，也會(huì)有很多人憧憬電影《少數(shù)派報(bào)告》里科幻般的生活。
事實(shí)上，你很有可能比湯姆·克魯斯更酷：當(dāng)你在空中對(duì)著機(jī)器比劃的時(shí)候，已經(jīng)不再是“對(duì)牛彈琴”。微軟亞洲研究院的識(shí)別空中手書技術(shù)使得計(jì)算機(jī)、智能家電、游戲機(jī)能夠認(rèn)識(shí)我們所比劃的文字，識(shí)別內(nèi)容包括了漢字、日文、韓文，數(shù)字和英文單字。就像“我來比劃你來猜”游戲，不同的是，猜測我們比劃內(nèi)容的對(duì)方，現(xiàn)在變成了和人一樣“聰明”的機(jī)器。識(shí)別空中手書技術(shù)，只需要一臺(tái)普通的電腦、一個(gè)攝像頭、一個(gè)游戲機(jī)手柄，就可以實(shí)現(xiàn)，脫離鼠標(biāo)、鍵盤，甚至代替像iPhone那樣觸控技術(shù)的人機(jī)互動(dòng)。
如果說鍵盤鼠標(biāo)輸入和手寫觸控分別代表人機(jī)交互的兩個(gè)階段，那么，識(shí)別空中手書可以說使這種交互進(jìn)入了3.0時(shí)代?！皩?duì)于這項(xiàng)基礎(chǔ)的創(chuàng)新技術(shù)，想到在上面開發(fā)出的無數(shù)最具有想象力的應(yīng)用就令人激動(dòng)。這也是作為研究員最值得期待的時(shí)刻。沒有人能預(yù)見，軟件開發(fā)商和應(yīng)用微軟平臺(tái)的開發(fā)人員會(huì)在識(shí)別空中手書技術(shù)上面開發(fā)怎樣的應(yīng)用?？梢哉f，能想多遠(yuǎn)就有多遠(yuǎn)。”微軟亞洲研究院語音組主任研究員霍強(qiáng)在說這些話的時(shí)候，識(shí)別空中手書項(xiàng)目的主要負(fù)責(zé)人馬磊正在旁邊拿著一顆橘子給記者演示微軟的“軟”字。
IT的太極之舞
讓機(jī)器“懂得”人類的想法并“表達(dá)”出來，并不容易。傳統(tǒng)的使用鍵盤輸入和現(xiàn)在智能手機(jī)上流行的觸控輸入，把信息明確地“灌輸”給計(jì)算機(jī)。然而，空中手寫識(shí)別技術(shù)，更像是中國傳統(tǒng)的太極拳法，動(dòng)作不僅像太極拳一樣行云流水，而且能夠“手隨心動(dòng)”。
識(shí)別空中手書項(xiàng)目組設(shè)計(jì)了兩種解決方案來做演示：最廉價(jià)的方式是使用一個(gè)網(wǎng)絡(luò)攝像頭來觀察用戶手的運(yùn)動(dòng)；或者使用一種帶有被稱作“陀螺儀”和“加速度儀”的傳感器的設(shè)備來捕捉用戶手的運(yùn)動(dòng)。當(dāng)用戶手的運(yùn)動(dòng)被捕捉到之后，對(duì)其進(jìn)行補(bǔ)償，增強(qiáng)后，手寫識(shí)別模塊就能認(rèn)出用戶在空中寫的文字。
“機(jī)器從捕捉、映射、識(shí)別到顯示，整個(gè)過程涉及兩方面的技術(shù)。一是動(dòng)態(tài)運(yùn)動(dòng)物體捕捉；二是手寫識(shí)別。”馬磊向記者介紹道。選擇一個(gè)能夠與周圍環(huán)境的顏色區(qū)分開來的物體，放在視頻捕捉框的中心位置，按動(dòng)游戲手柄的按鈕開始準(zhǔn)備書寫。在這個(gè)對(duì)運(yùn)動(dòng)物體的捕捉過程中，就要教會(huì)計(jì)算機(jī)該捕捉的目標(biāo)物體，計(jì)算機(jī)知道了所選擇的運(yùn)動(dòng)目標(biāo)，周圍環(huán)境里其他物體的運(yùn)動(dòng)就不會(huì)產(chǎn)生干擾。
目標(biāo)物體在空中運(yùn)動(dòng)的過程中，產(chǎn)生了一個(gè)三維的圖像軌跡，映射到二維的攝像機(jī)里的是一個(gè)平面化的軌跡圖形，這個(gè)平面化的運(yùn)動(dòng)軌跡要求對(duì)模糊、抖動(dòng)都能很好的處理。而當(dāng)計(jì)算機(jī)獲得了清晰的運(yùn)動(dòng)軌跡后，后臺(tái)的手寫識(shí)別就可以進(jìn)行分析，從而得到用戶想要書寫的文字?！斑@個(gè)看似簡單的圖像分析和文字識(shí)別在相應(yīng)的領(lǐng)域里都做了幾十年，絕對(duì)可以稱得上是高科技?！被魪?qiáng)對(duì)記者說，“比如數(shù)字3，會(huì)有像‘了’等相近的文字，這無疑增加了識(shí)別的難度。”最后的識(shí)別結(jié)果綜合了機(jī)器對(duì)書寫動(dòng)作和圖像結(jié)果的分析，“形狀信息很重要，首先要像；另一方面，動(dòng)態(tài)信息也是個(gè)很重要的參考。”
馬磊對(duì)記者表示，空中手寫識(shí)別與在手寫板書寫不同在于，手寫板一筆一劃，折點(diǎn)尖銳。而空中寫字需要一筆完成，沒有虛實(shí)的概念，不會(huì)提筆。在空中書寫的過程中，“類似于中國的太極，相對(duì)圓滑，行云流水。在速度變成零的時(shí)候不可能出現(xiàn)相應(yīng)的折點(diǎn)，需要對(duì)這種字體情況進(jìn)行特殊處理?！?/FONT>
交互的未來
蓋茨曾說，人與計(jì)算機(jī)的交互將變得越來越像人與人之間的互動(dòng)。蘋果公司的iPhone手機(jī)和任天堂的Wii游戲機(jī)，在用戶互動(dòng)界面的出色表現(xiàn)獲得了消費(fèi)者的青睞。而微軟的下一代操作系統(tǒng)Windows7，作為自然的用戶界面，也內(nèi)置了觸摸支持功能；微軟智能觸控桌面電腦Microsoft Surface，看上去更像是一張多功能的桌面屏幕。
談到識(shí)別空中手書這項(xiàng)技術(shù)的最初想法，微軟亞洲研究院首席研究員兼語音組負(fù)責(zé)人宋平表示，“這個(gè)想法是為了解決在沒有鍵盤或手寫板的特定環(huán)境里如何用手勢輸入字符的問題。識(shí)別空中手書從技術(shù)和提升用戶體驗(yàn)方面都是一項(xiàng)很杰出的創(chuàng)新。我相信這項(xiàng)創(chuàng)新將有可能被應(yīng)用到微軟目前和未來的很多產(chǎn)品及服務(wù)中?！?/FONT>
而從研發(fā)的角度，脫離了鍵盤鼠標(biāo)的識(shí)別空中手書技術(shù)將想象力更拉近一步，抑或是對(duì)未來主流交互式體驗(yàn)的提前預(yù)演。而這，將為微軟在人機(jī)交互體驗(yàn)上培養(yǎng)越來越多的“手語者”。
對(duì)于識(shí)別空中手書在未來應(yīng)用的三個(gè)場景，馬磊向記者介紹道，在交互式游戲環(huán)境下，用戶在空中輸入一些文字，如名字，答案，甚至是解密類游戲的符號(hào)，以獲取不同的游戲體驗(yàn)；而在可聯(lián)網(wǎng)設(shè)備上，比如網(wǎng)絡(luò)電視（IPTV）和Xbox，甚至還有智能家電，需要輸入文字信息時(shí)用遠(yuǎn)距離“比劃”都很方便。比如在網(wǎng)絡(luò)電視上搜索視頻，在Xbox上搜索游戲動(dòng)畫等等；而對(duì)于家長來說，采用手勢這種寓教于樂的方式，更適合好動(dòng)且喜歡視覺沖擊的小孩。由于遠(yuǎn)距離輸入更能體現(xiàn)脫離鍵盤鼠標(biāo)輸入信息的優(yōu)勢，未來，微軟亞洲研究院希望識(shí)別空中手書技術(shù)能夠?yàn)橛脩艚鉀Q更多的實(shí)際問題，能夠使能其他有趣有意義的事情發(fā)生。而且，將不限定只用一個(gè)跟蹤點(diǎn)，未來將會(huì)有多個(gè)跟蹤點(diǎn)來應(yīng)用到微軟地圖搜索服務(wù)的查找、縮放等。
“我們做研發(fā)的目的是為了提升用戶體驗(yàn)，微軟亞洲研究院在與產(chǎn)品部門的互動(dòng)和溝通過程中，來共同探討把這些創(chuàng)新技術(shù)應(yīng)用到產(chǎn)品里或者技術(shù)轉(zhuǎn)移出去的時(shí)間。但是，作為一個(gè)研究人員，能夠讓千家萬戶應(yīng)用到自己的創(chuàng)新想法是最令我們激動(dòng)的事情?！被魪?qiáng)對(duì)記者說。
霍強(qiáng)和馬磊最近剛從微軟雷德蒙總部回來，他們在微軟研究院一年一度的技術(shù)節(jié)上展示了識(shí)別空中手書技術(shù)，吸引了包括微軟產(chǎn)品部門，微軟全球其它研究院同事以及媒體的關(guān)注。著名博客人Chris Pirillo 在他博客中寫道：“雖然這個(gè)軟件目前還只是個(gè)技術(shù)原型，沒有被應(yīng)用，但是我很看好它，這是一項(xiàng)驚人的研究。你能想像這個(gè)軟件什么時(shí)候能被應(yīng)用嗎？我們所有的Xbox迷都拭目以待吧！”
這些充滿無限可能性的基礎(chǔ)創(chuàng)新是最具能量的。它本身可能不是一個(gè)成熟的應(yīng)用，但是一旦與現(xiàn)實(shí)生活中有趣的想法相結(jié)合，就可以催生出無數(shù)的精彩成果。微軟擅長于調(diào)動(dòng)豐富的研發(fā)資源做些“打地基”的事情，識(shí)別空中手書就拓展了更多豐富應(yīng)用的可能性。而這，或者就是微軟亞洲研究院“研發(fā)之美”的魅力所在。
（轉(zhuǎn)載）
