siemens x
人工智能

AI語音詐騙防不勝防?騰訊朱雀實驗室——用AI對抗AI!

2025China.cn   2021年04月19日

  整理 | 貝爽

  人工智能有巨大的潛能改變?nèi)祟惷\,但同樣存在一定安全風險。例如,據(jù)全球著名漏洞數(shù)據(jù)庫CVE披露,典型機器學(xué)習開源框架平臺安全漏洞數(shù)量逐漸增多;越來越多的新型安全攻擊手法,如對抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型竊取攻擊等開始出現(xiàn)。

  更重要的是,隨著AI語音技術(shù)突飛猛進的發(fā)展,深度偽造AI變聲技術(shù)已成為語音詐騙的利器。如2019年英國某公司CEO就曾遭AI語音詐騙,損失220,000歐元(約合人民幣173萬元)。

  近日,有研究發(fā)現(xiàn),VoIP電話劫持與AI語音模擬正在成為一種新型的攻擊技術(shù),區(qū)別于此前腳本類的電信詐騙,它可實現(xiàn)從電話號碼到聲音音色的全鏈路偽造,攻擊者可以利用漏洞劫持VoIP電話,實現(xiàn)虛假電話的撥打,并基于深度偽造AI變聲技術(shù)生成特定人物的聲音進行詐騙。

圖注:實時語音詐騙的整體流程

  4月16日,在全球頂級信息安全峰會CanSecWest 2021上,騰訊朱雀實驗室作了題為《The Risk of AI Abuse: Be Careful with Your Voice(AI被濫用的風險:小心您的聲音安全》的演講,分享了該團隊在應(yīng)對VoIP電信詐騙方面的最新研究成果。

  騰訊朱雀實驗室研究顯示,在VoIP電話劫持中,利用少量被攻擊者的聲音,可以合成與被攻擊者音色相似的任意內(nèi)容的語音片段,再將虛假語音注入到電話中,就能達到以假亂真的效果,實現(xiàn)完整的電話欺騙鏈路。攻擊者可以輕松撥打虛假電話,冒充被攻擊者身份與目標人員對話。

  針對這一潛在風險,他們提出了“用AI對抗AI”的解決思路,即使用AI技術(shù)提取真實語音和虛假語音的特征,再根據(jù)特征差異來分辨真實語音和生成語音。再根據(jù)特征差異來分辨真實語音和生成語音。

圖注:用AI對抗AI

  1

  兩種新型攻擊方式

  VoIP是一種語音通話技術(shù),經(jīng)由IP來進行語音通話和參與多媒體會議,由于其使用便捷、成本低廉的特性,VoIP在全球范圍內(nèi)被廣泛應(yīng)用于辦公電話場景中。而VoIP電話劫持是由于早期版本的VoIP存在被網(wǎng)絡(luò)嗅探,并實施中間人攻擊的風險,攻擊者可利用漏洞篡改來電方的人名及電話號碼,使得接聽方的電話顯示為預(yù)設(shè)的任意內(nèi)容。

  總的來說,這種新型攻擊的實現(xiàn)方式分為兩個部分,一是VoIP電話劫持,二是語音模擬。

  1、VoIP電話劫持

  (1)音頻嗅探技術(shù)

  在某品牌CP-79XX系列電話中,通信使用SCCP協(xié)議,該協(xié)議沒有使用TLS對流量進行加密,導(dǎo)致可以在同vLAN下對目標電話進行竊聽操作。

  ARP協(xié)議是網(wǎng)絡(luò)行為中應(yīng)用廣泛的基礎(chǔ)數(shù)據(jù)鏈路層協(xié)議,用于在局域網(wǎng)內(nèi)完成IP到MAC地址的轉(zhuǎn)換。在正常的網(wǎng)絡(luò)通信中,我們在訪問一個IP地址時首先會在同局域網(wǎng)下發(fā)送問詢廣播包:Who has 10.15.2.1?

  在接收到該廣播的主機會比較問詢IP是否為自己的IP,如果是則向詢問主機發(fā)送應(yīng)答包,應(yīng)答包中包含自身的MAC地址。隨后詢問主機會根據(jù)MAC地址構(gòu)造自己的數(shù)據(jù)包完成數(shù)據(jù)交互。

  在操作系統(tǒng)中存在ARP緩存表來加速這種映射關(guān)系,當黑客攻擊ARP協(xié)議是會搶先應(yīng)答ARP廣播,從而造成被攻擊者的ARP緩存表被投毒的情況,再后續(xù)的網(wǎng)絡(luò)通信中,數(shù)據(jù)包均會被發(fā)送到黑客的主機中:

圖注: ARP攻擊示

  下圖是真實的ARP應(yīng)答包:

圖注:真實ARP應(yīng)答流量

  通過這種ARP欺騙的攻擊方式,攻擊者將被攻擊者的語音流量劫持到攻擊者主機,并進行RTP語音流的還原實現(xiàn)竊聽操作:

圖注: VoIP電話劫持:電話竊聽

  (2)來電身份及語音篡改

  在監(jiān)控電話流量時,攻擊者通過修改SCCP協(xié)議中呼入者的用戶名與電話號碼信息:

圖注:篡改呼入姓名與呼入電話

  SCCP協(xié)議在無法對呼入數(shù)據(jù)做真實性校驗,而將數(shù)據(jù)包中的呼入姓名與來電號碼完整的現(xiàn)實在來電屏中:

圖注:篡改呼入姓名與呼入電話效果

  在呼入姓名與呼入電話號碼篡改后繼續(xù)修改RTP協(xié)議中的語音流,實現(xiàn)完整的電話欺騙鏈路:

圖注:語音流替換

  2、語音模擬

  語音模擬可以根據(jù)源人物的說話內(nèi)容合成具有目標人物音色特征的音頻輸出。這項技術(shù)其實并不新鮮,早已在許多現(xiàn)實場景中應(yīng)用落地,比如地圖應(yīng)用中的定制播報語音,利用少量自己的聲音,就可以定制自己語音的播放聲音。同樣,在VoIP電話劫持中,利用少量被攻擊者的聲音,就可以合成與被攻擊者音色相似的任意內(nèi)容的語音片段,一旦被惡意利用,攻擊者可以輕松撥打虛假電話,與目標人員對話。

  這里語音模擬用的是語音克隆技術(shù),該技術(shù)只需要數(shù)秒目標人物的音頻數(shù)據(jù)和一段任意的文本序列,就可以得到逼真的合成音頻?;谏疃葘W(xué)習的語音克隆技術(shù)主要包含音色編碼器、文本編碼器、解碼器、語音生成器幾個模塊:

  音色編碼器:音色編碼器從音頻中提取不同說話人的語音特征。

  文本編碼器:文本編碼器將輸入文本轉(zhuǎn)換為特征。

  解碼器:解碼器將說話人特征和文本特征拼接后的結(jié)果轉(zhuǎn)化為梅爾聲譜圖。

  語音生成器:最后語音生成器根據(jù)梅爾聲譜圖合成語音。

圖注:語音模擬過程

  2

  如何防范?

  其實針對語音的攻擊手段并不只有這一種,通過給語音中添加微小擾動,或修改部分頻譜信息,就可以欺騙語音識別系統(tǒng)?;蛘邔拘衙铍[藏在不易察覺的音樂中,就可能喚醒智能設(shè)備進行對應(yīng)操作。

  那么還如何防范這樣的攻擊,騰訊朱雀實驗團隊從防范傳統(tǒng)攻擊以及AI惡意應(yīng)用兩個方面給出了一些建議:

  首先,要防御類似的攻擊手法,需要防止VoIP漏洞被攻擊者利用,安全工程師建議,可以使用新版本的VoIP協(xié)議電話,如SIP、SRTP等,減少數(shù)據(jù)被嗅探甚至被篡改流量包的風險。

  其次,可以通過上述提到的用AI對抗AI法,規(guī)避AI技術(shù)的不合理應(yīng)用。在這種攻擊中,需要借助語音生成技術(shù)來合成虛假語音,可以基于AI技術(shù)來提取真實語音和虛假語音特征,根據(jù)特征差異來分辨真實語音和生成語音。

  在CanSecWest 2021峰會上,騰訊云副總裁、騰訊安全平臺部負責人楊勇在表示,AI技術(shù)與傳統(tǒng)安全攻擊技術(shù)的結(jié)合,衍生了新的應(yīng)用場景和與之對應(yīng)的濫用風險,如AI的數(shù)據(jù)、算法、模型、基礎(chǔ)組件等核心要素更加需要安全的加持。騰訊朱雀實驗室就一直致力于實戰(zhàn)級APT攻擊和AI安全研究,持續(xù)深耕現(xiàn)實網(wǎng)絡(luò)安全,為AI技術(shù)的正向用、放心用保駕護航。

  據(jù)了解,這是騰訊前沿安全研究團隊相關(guān)成果連續(xù)第四年入選CanSecWest議題。CanSecWest 是全球頂級信息安全峰會,一直以其權(quán)威性、熱點性、前沿性而備受行業(yè)關(guān)注。在本屆峰會上,除了騰訊朱雀實驗室,來自百度、Adobe、Macfee、IOActive、加利福尼亞大學(xué)河濱分校等全世界的頂級安全專家也悉數(shù)到場,圍繞AI、云原生、物聯(lián)網(wǎng)、可信計算等安全前沿技術(shù)領(lǐng)域展開深入探討。

  文章來源:騰訊朱雀實驗室

(轉(zhuǎn)載)

標簽:騰訊 人工智能 我要反饋 
2024世界人工智能大會專題
即刻點擊并下載ABB資料,好禮贏不停~
優(yōu)傲機器人下載中心
西克
2024全景工博會
專題報道
2024 工博會 | 直播探館 · 全景解讀
2024 工博會 | 直播探館 · 全景解讀

第二十四屆中國工博會于9月24日至28日在國家會展中心(上海)舉行,展會以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]

2024世界人工智能大會
2024世界人工智能大會

WAIC 2024將于7月在上海舉行,論壇時間7月4日-6日,展覽時間7月4日-7日。WAIC 2024將圍繞“以共商促... [更多]

2024漢諾威工業(yè)博覽會專題
2024漢諾威工業(yè)博覽會專題

2024 漢諾威工業(yè)博覽會將于4月22 - 26日在德國漢諾威展覽中心舉行。作為全球首屈一指的工業(yè)貿(mào)易展覽會,本屆展覽會... [更多]