人工智能 （AI） 工具有望應用于從自動駕駛汽車到醫(yī)學圖像解釋等各種應用。然而，美國北卡羅來納州立大學研究人員的一項研究發(fā)現(xiàn)，這些AI工具比以前認為的更容易受到有針對性的攻擊，這些攻擊有效地迫使AI系統(tǒng)做出錯誤的決定。

所謂的“對抗性攻擊”是指有人操縱輸入AI系統(tǒng)的數(shù)據(jù)以迷惑它。例如，有人可能知道，在停車標志的特定位置貼上特定類型的貼紙可以有效地使停車標志對AI系統(tǒng)不可見?；蛘撸诳涂梢栽?X 光機上安裝代碼，改變圖像數(shù)據(jù)，從而導致人工智能系統(tǒng)做出不準確的診斷。
“在大多數(shù)情況下，你可以對停車標志進行各種改動，并且經(jīng)過訓練以識別停車標志的AI仍然會知道它是一個停車標志。”Tianfu Wu說，他是北卡羅來納州立大學電氣和計算機工程副教授，也是一篇關(guān)于這項研究的論文合著者。“但是，如果AI存在漏洞，并且攻擊者知道該漏洞，則攻擊者可能會利用該漏洞并造成事故。”

Tianfu Wu和他的合作者的新研究側(cè)重于確定這些對抗性漏洞在AI深度神經(jīng)網(wǎng)絡(luò)中的普遍性。他們發(fā)現(xiàn)這些漏洞比以前想象的要普遍得多。“更重要的是，我們發(fā)現(xiàn)攻擊者可以利用這些漏洞來迫使AI將數(shù)據(jù)解釋為他們想要的任何東西。” Wu說，“以停車標志為例，你可以讓AI系統(tǒng)認為停車標志是一個郵箱，或者一個限速標志，或者一個綠燈，等等，只需使用稍微不同的貼紙——或者任何漏洞。”這非常重要，因為如果AI系統(tǒng)對這類攻擊的抵抗力不強，人們就不會希望將該系統(tǒng)投入實際使用——尤其是可能影響人類生活的重要應用。
  為了測試深度神經(jīng)網(wǎng)絡(luò)對這些對抗性攻擊的脆弱性，研究人員開發(fā)了一款名為QuadAttacK的軟件。該軟件可用于測試任何深度神經(jīng)網(wǎng)絡(luò)的對抗性漏洞?；旧?，如果你有一個訓練有素的AI系統(tǒng)，并且你用干凈的數(shù)據(jù)對其進行測試，AI系統(tǒng)的行為將如預測的那樣。QuadAttacK 觀察這些操作，并了解 AI 如何做出與數(shù)據(jù)相關(guān)的決策。這使得 QuadAttacK 能夠確定如何操縱數(shù)據(jù)來欺騙 AI。

然后，QuadAttacK 開始向 AI 系統(tǒng)發(fā)送操縱數(shù)據(jù)，以查看 AI 如何響應。如果 QuadAttacK 發(fā)現(xiàn)了一個漏洞，它可以快速讓 AI 看到 QuadAttacK 希望它看到的任何內(nèi)容。在概念驗證測試中，研究人員使用 QuadAttacK 測試了四個深度神經(jīng)網(wǎng)絡(luò)：兩個卷積神經(jīng)網(wǎng)絡(luò)（ResNet-50 和 DenseNet-121）和兩個視覺轉(zhuǎn)換器（ViT-B 和 DEiT-S）。之所以選擇這四個網(wǎng)絡(luò)，是因為它們在全球人工智能系統(tǒng)中被廣泛使用。

“我們驚訝地發(fā)現(xiàn)，這四個網(wǎng)絡(luò)都非常容易受到對抗性攻擊，”Wu說，“我們特別驚訝的是，我們可以在多大程度上微調(diào)攻擊，讓網(wǎng)絡(luò)看到我們希望他們看到的東西。”研究團隊已經(jīng)公開了QuadAttacK，以便研究社區(qū)可以自己使用它來測試神經(jīng)網(wǎng)絡(luò)的漏洞。“現(xiàn)在我們可以更好地識別這些漏洞，下一步是找到最小化這些漏洞的方法，” Wu說，“我們已經(jīng)有一些潛在的解決方案，但這項工作的結(jié)果還有待檢驗中。”

田鑫，專業(yè)的企業(yè)組網(wǎng)服務(wù)商，致力于為企業(yè)提供企業(yè)組網(wǎng)（SD-WAN、MPLS、云互聯(lián)），業(yè)務(wù)云化、數(shù)據(jù)中心、網(wǎng)絡(luò)安全、行業(yè)IT解決方案等相關(guān)服務(wù)。


更多相關(guān)內(nèi)容推薦：
狂飆的光伏+儲能，能否成數(shù)據(jù)中心能源市場變革速效藥？
規(guī)模1000P 中國移動智算中心（武漢）落地
貴安新區(qū)現(xiàn)已有19個數(shù)據(jù)中心，3個樞紐配套項目落地
數(shù)以萬計的“螺絲釘”如何保證數(shù)據(jù)中心的高效運行？
針對AI工作負載優(yōu)化數(shù)據(jù)中心的四種方法