近幾年，無論是網(wǎng)絡(luò)安全還是人工智能（AI）都呈現(xiàn)蓬勃發(fā)展之態(tài)勢，并且都上升到了國家戰(zhàn)略的高度。從目前來看人工智能和網(wǎng)絡(luò)安全融合主要有三個方向，分別是人工智能自身安全、人工智能助力安全、人工智能衍生安全。人工智能自身安全，顧名思義就是指AI本身的風(fēng)險問題，在某些語境下可以簡稱為“AI安全”，類似于系統(tǒng)安全、網(wǎng)絡(luò)安全的概念。例如經(jīng)典的大熊貓對抗樣本攻擊案例，惡意攻擊者只需要修改大熊貓圖片上的幾個像素點就能導(dǎo)致人工智能系統(tǒng)識別錯誤，本應(yīng)該識別出大熊貓卻錯誤地識別成了長臂猿，而且置信度很高。人工智能助力安全即用AI的方法來解決安全的問題。這個領(lǐng)域起步更早，在本世紀初就有科學(xué)家基于人工智能技術(shù)做垃圾郵件的檢測，取得了非常好的效果。近幾年在業(yè)務(wù)安全領(lǐng)域更是涌現(xiàn)出非常有意思的案例，如智能風(fēng)控、智能反洗錢、智能垃圾內(nèi)容識別等，這些技術(shù)極大地提升了風(fēng)險識別的準確率和召回率。系統(tǒng)網(wǎng)絡(luò)安全領(lǐng)域也不例外，衍生出了AISecOps智能安全運營的新理念。人工智能衍生安全是指AI技術(shù)導(dǎo)致某些其他領(lǐng)域不安全了，比如最近流行的AI換臉技術(shù)，它能夠把照片或者視頻中的人臉換成另外一個人，而且比Photoshop更加方便，這類技術(shù)使得內(nèi)容安全領(lǐng)域面臨前所未有的挑戰(zhàn)。
任何一項技術(shù)都伴隨著安全風(fēng)險，人工智能技術(shù)也不例外，近年來，越來越多的安全專家和人工智能專家揭示了大量AI技術(shù)自身的安全問題。安全專家稱之為“AI安全”。保障系統(tǒng)安全運行是安全專家的職責(zé)，而揭示風(fēng)險是實施風(fēng)險控制閉環(huán)的關(guān)鍵步驟，于是就出現(xiàn)了各種“花式吊打”AI的方法。下圖是一個交通標志的例子，原本應(yīng)該被AI識別出“Stop”的停止標志，但被加上各種擾動之后，最后AI識別出來的結(jié)果卻是“限速45”，可以想象，如果這種不安全的算法出現(xiàn)在自動駕駛汽車上會帶來多大的災(zāi)難。
安全領(lǐng)域有一個著名的CVE（Common Vulnerabilities & Exposures）漏洞數(shù)據(jù)庫，它由非營利性組織MITRE運營。2020年10月，MITRE發(fā)起了Github開源項目“advmlthreatmatrix”，該項目旨在系統(tǒng)化地梳理針對AI的威脅矩陣，目前已經(jīng)有螞蟻集團、微軟、IBM、卡耐基梅隆大學(xué)等十幾家機構(gòu)和高校參與。在網(wǎng)絡(luò)攻擊實戰(zhàn)中，攻擊者常常首先下載一個流行的惡意軟件并埋入精心構(gòu)建的后門，該操作被稱為“數(shù)據(jù)毒化”，然后攻擊者將這個被毒化的惡意軟件再次上傳回平臺，并宣稱是新的惡意軟件樣本，而一旦該樣本被人用來訓(xùn)練惡意軟件識別模型，則該模型也就被植入后門，最終效果是凡是帶有特殊信息的惡意軟件都不會被該模型識別了，即實現(xiàn)了“逃逸攻擊”。
這類問題在人工智能的專業(yè)領(lǐng)域里被稱之為魯棒性問題、泛化性問題，AI系統(tǒng)的正確率往往不是100%，即使在某些任務(wù)下（如人臉識別）正確率已經(jīng)超越了人類，但是AI系統(tǒng)太容易出錯了，尤其是在“對抗環(huán)境”下，有來自黑灰產(chǎn)的惡意攻擊。隨著無人駕駛、機器翻譯等AI技術(shù)逐步民用，如果安全性要求不達標，勢必會影響AI技術(shù)的普及和發(fā)展。AI承載系統(tǒng)這一層屬于網(wǎng)絡(luò)系統(tǒng)安全領(lǐng)域范疇，如TensorFlow的各類漏洞。AI數(shù)據(jù)層和AI模型層則涌現(xiàn)出新型的風(fēng)險，以下介紹三種典型場景。
數(shù)據(jù)投毒攻擊：指攻擊者通過在模型的訓(xùn)練集中加入少量精心構(gòu)造的毒化數(shù)據(jù)，使模型在測試階段無法正常使用（可用性問題），或協(xié)助攻擊者在沒有破壞模型準確率的情況下入侵模型（完整性問題）。毒化攻擊可以攻擊幾乎所有算法，包括計算機視覺域算法、自然語言處理域算法、語音域算法、聯(lián)邦機器學(xué)習(xí)、推薦、搜索等。此外還會衍生出后門攻擊，以圖像分類為例，攻擊者通過精心構(gòu)造帶觸發(fā)器的圖像數(shù)據(jù)集毒化模型，使得模型分類錯誤，將圖片分類到攻擊者指定的類別。
對抗樣本攻擊：指利用對抗樣本對模型進行欺騙的惡意行為。對抗樣本是指在數(shù)據(jù)集中通過故意添加細微的干擾所形成的惡意輸入樣本，在不引起人們注意的情況下，可以輕易導(dǎo)致機器學(xué)習(xí)模型輸出錯誤預(yù)測，例如上文提到的交通標志的錯誤識別會造成無人駕駛汽車做出錯誤決策從而引發(fā)安全事故。對抗樣本的發(fā)現(xiàn)嚴重阻礙了AI技術(shù)的廣泛應(yīng)用與發(fā)展，尤其是對于安全要求嚴格的領(lǐng)域。因此，近些年來對抗樣本攻防技術(shù)吸引了越來越多的目光，成為研究的一大熱點，涌現(xiàn)出了大量的學(xué)術(shù)研究成果。
模型竊取：模型竊取攻擊是一類數(shù)據(jù)竊取攻擊，攻擊者通過向黑盒模型進行查詢獲取相應(yīng)結(jié)果，竊取黑盒模型的參數(shù)或者對應(yīng)功能。被竊取的模型往往是擁有者花費大量的金錢和時間構(gòu)建而成的，對擁有者來說具有巨大的商業(yè)價值。模型的信息一旦遭到泄露，攻擊者就能逃避付費或者開辟第三方服務(wù)，從而獲取商業(yè)利益，使模型擁有者的權(quán)益受到損害。攻擊者如果成功竊取模型，就可以進一步部署白盒對抗攻擊來欺騙在線模型，這時模型的泄露會大大提高攻擊的成功率，造成嚴重的安全問題。
