展會(huì)信息港展會(huì)大全

AI時(shí)代的安全挑戰(zhàn):如何用好AI這把“雙刃劍”?
來(lái)源:互聯(lián)網(wǎng)   發(fā)布日期:2024-07-23 10:00:50   瀏覽:9200次  

導(dǎo)讀:當(dāng)前,隨著生成式人工智能(GenAI)的興起,企業(yè)也面臨著前所未有的安全挑戰(zhàn)。 據(jù)IBM Security發(fā)布的《2023年數(shù)據(jù)泄露成本報(bào)告》顯示,僅數(shù)據(jù)泄露一項(xiàng),2023年全球數(shù)據(jù)泄露的平均成本達(dá)到445萬(wàn)美元,創(chuàng)該報(bào)告有史以來(lái)以來(lái)最高記錄,較過(guò)去三年均值增長(zhǎng)了15%...

當(dāng)前,隨著生成式人工智能(GenAI)的興起,企業(yè)也面臨著前所未有的安全挑戰(zhàn)。

據(jù)IBM Security發(fā)布的《2023年數(shù)據(jù)泄露成本報(bào)告》顯示,僅數(shù)據(jù)泄露一項(xiàng),2023年全球數(shù)據(jù)泄露的平均成本達(dá)到445萬(wàn)美元,創(chuàng)該報(bào)告有史以來(lái)以來(lái)最高記錄,較過(guò)去三年均值增長(zhǎng)了15%。

“GenAI火爆的當(dāng)下,黑客攻擊手段也越來(lái)越多樣化,原先需要一個(gè)團(tuán)隊(duì)完成的攻擊,現(xiàn)在僅需要一個(gè)人,利用不同類(lèi)型的大模型就可以完成。”Fortinet北亞區(qū)首席技術(shù)顧問(wèn)譚杰告訴鈦媒體APP,“通過(guò)Agent的方式,給不同的AI分配不同任務(wù),有的負(fù)責(zé)掃描漏洞、有的負(fù)責(zé)制作‘武器’,有的負(fù)責(zé)實(shí)施攻擊。”

可見(jiàn),AI在為企業(yè)業(yè)務(wù)提效帶來(lái)便捷,推動(dòng)降本增效的同時(shí),也為網(wǎng)絡(luò)攻擊者帶來(lái)了便捷,在原本錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)環(huán)境,以及數(shù)據(jù)安全風(fēng)險(xiǎn)難題上,增加了新的挑戰(zhàn)。而且,傳統(tǒng)的安全控制已經(jīng)不足以應(yīng)對(duì)這些新興風(fēng)險(xiǎn),需要專(zhuān)門(mén)針對(duì) AI建立管理策略以保障系統(tǒng)的穩(wěn)健性、合規(guī)性。

享受AI技術(shù)紅利的前提是守住安全的底線(xiàn),這對(duì)身處其中的科技、安全廠商和各行各業(yè)應(yīng)用AI能力的企業(yè)而言,是AI時(shí)代一道新的必答題。

AI時(shí)代,安全面臨更多挑戰(zhàn)

生成式AI在解放生產(chǎn)力,提高工作效率的同時(shí),也帶來(lái)了更多、更嚴(yán)峻的安全問(wèn)題,包括內(nèi)容偏見(jiàn)、數(shù)據(jù)泄露和 AI 應(yīng)用漏洞等。

據(jù)統(tǒng)計(jì),2023年以來(lái),用AI技術(shù)開(kāi)展的攻擊,已經(jīng)成為企業(yè)面臨首要網(wǎng)絡(luò)威脅,騰訊安全總經(jīng)理周斌告訴鈦媒體APP,AI大模型的火爆,也極大提升了攻擊者的攻擊效率。

首先,攻擊目標(biāo)和范圍變大。AI大模型驅(qū)動(dòng)的智能化時(shí)代,圍繞數(shù)據(jù)產(chǎn)生的交互和分析行為會(huì)越來(lái)越普遍,這將進(jìn)一步擴(kuò)大企業(yè)風(fēng)險(xiǎn)面的暴露面,動(dòng)態(tài)的數(shù)據(jù)流轉(zhuǎn)和使用,需要更加完善的防護(hù)手段。

其次,攻擊密度增加。攻擊的成本和門(mén)檻下降之后,其攻擊的頻次、密度會(huì)大幅提升,以前的攻守節(jié)奏可能是回合制的,防守方還有一天或者一周的時(shí)間調(diào)整安全策略;但大模型加持下,黑客會(huì)讓攻防變成“即時(shí)戰(zhàn)略”的對(duì)抗,企業(yè)的反應(yīng)時(shí)間窗口將被迫縮短至小時(shí)級(jí),甚至分鐘級(jí)。

第三,模擬“機(jī)器”和“人”的精度提升。黑灰產(chǎn)利用AI提升模擬真實(shí)用戶(hù)行為的效率,企業(yè)難以辨別,例如在黃牛黨搶票、金融信貸欺詐等。

第四,攻擊特征超越企業(yè)“情報(bào)庫(kù)”。企業(yè)安全建設(shè)往往依賴(lài)于安全情報(bào)庫(kù),以記錄經(jīng)常“干壞事”的惡意IP和異常流量特征。當(dāng)黑客利用生成式AI實(shí)時(shí)變換大量的行為特征時(shí),傳統(tǒng)靜態(tài)情報(bào)庫(kù)將逐漸失去防護(hù)價(jià)值。

此外,據(jù)鈦媒體APP與多家企業(yè)交流發(fā)現(xiàn),目前已經(jīng)出現(xiàn)有企業(yè)在應(yīng)用大模型后,遭到黑客利用提示詞進(jìn)行惡意攻擊,比如讓大模型產(chǎn)生身份識(shí)別偏差,進(jìn)一步利用假冒的身份對(duì)企業(yè)大模型輸入內(nèi)容套取用戶(hù)信息或企業(yè)商業(yè)機(jī)密。

談及AI時(shí)代企業(yè)安全面臨的安全挑戰(zhàn)的場(chǎng)景時(shí),奇安信集團(tuán)董事長(zhǎng)齊向東對(duì)鈦媒體APP表示,具體到數(shù)字安全方面,人工智能帶首要面臨的是,AI投毒安全隱患加重,攻擊者可以通過(guò)在訓(xùn)練數(shù)據(jù)中加入精心構(gòu)造的異常數(shù)據(jù),破壞訓(xùn)練數(shù)據(jù)集的準(zhǔn)確性。

其次,隨著AI大模型大規(guī)模應(yīng)用之后,整個(gè)社會(huì)都將面臨更加嚴(yán)峻的數(shù)據(jù)篡改隱患,齊向東告訴鈦媒體APP,AI的大規(guī)模內(nèi)容生產(chǎn)能力可能產(chǎn)生真假難辨的信息,控制社交軟件乃至媒體的輿論聲音,激化意識(shí)形態(tài)矛盾。360數(shù)字安全集團(tuán)安全專(zhuān)家也有著類(lèi)似的觀點(diǎn),他曾對(duì)鈦媒體APP表示,在AI時(shí)代,企業(yè)也面臨著新的內(nèi)容安全的挑戰(zhàn),“比如對(duì)大模型的控制、濫用、誤用和惡意應(yīng)用等問(wèn)題。”該專(zhuān)家指出。

除此之外,數(shù)據(jù)泄露隱患也隨著大模型的應(yīng)用而加重。IEEE電子游戲與競(jìng)技標(biāo)準(zhǔn)委員會(huì)委員汪齊齊對(duì)鈦媒體APP表示,企業(yè)在使用非自研的大模型過(guò)程中,由于交互中的信息以及企業(yè)獨(dú)有的信息需要輸入到當(dāng)前環(huán)境,如果該環(huán)境的安全性不夠理想,那么敏感的企業(yè)和個(gè)人信息以及商業(yè)機(jī)密可能會(huì)被泄露,導(dǎo)致隱私侵犯和商業(yè)泄密的發(fā)生。

企業(yè)如何用AI筑牢安全防線(xiàn)?

“之前IT行業(yè)的各類(lèi)風(fēng)險(xiǎn)在AI時(shí)代會(huì)進(jìn)一步擴(kuò)大。以往奏效的安全措施在AI時(shí)代必然會(huì)有部分失效并被淘汰。”汪齊齊說(shuō)。在AI時(shí)代,傳統(tǒng)的安全防護(hù)措施已經(jīng)不足以確保企業(yè)的數(shù)據(jù)安全,企業(yè)需要構(gòu)建一套全新的安全防線(xiàn)。

雖然AI大模型的出現(xiàn)給企業(yè)數(shù)據(jù)安全帶來(lái)了嚴(yán)峻的挑戰(zhàn),但是企業(yè)也可以利用AI為工具,筑起安全防線(xiàn)。“用AI打敗AI”是現(xiàn)階段安全行業(yè)的共識(shí)。

回到目前AI技術(shù)在安全行業(yè)的應(yīng)用場(chǎng)景上,鈦媒體APP通過(guò)對(duì)安全行業(yè)巨頭,以及海內(nèi)外研究機(jī)構(gòu)的調(diào)查總結(jié)出,目前AI技術(shù)在安全行業(yè)主要的應(yīng)用場(chǎng)景是安全檢測(cè)、識(shí)別,以及分析等方面。

具體到技術(shù)場(chǎng)景中,企業(yè)可以根據(jù)業(yè)務(wù)需求借鑒不同思路的策略打造AI安全防護(hù)能力。

阿里云一位技術(shù)專(zhuān)家建議,應(yīng)用大模型的企業(yè)需要在大模型之上再施加一層工程化的手段來(lái)加固安全。比如應(yīng)對(duì)提示詞攻擊時(shí),盡管用戶(hù)A成功讓大模型認(rèn)定他為用戶(hù)B,但在信息查詢(xún)的指令反饋鏈路中可以對(duì)指令來(lái)源的登錄賬戶(hù)進(jìn)行核驗(yàn),從而驗(yàn)證其真實(shí)有效身份,避免造成其他用戶(hù)信息泄露。

企業(yè)也可以通過(guò)AI自動(dòng)學(xué)習(xí)識(shí)別,預(yù)測(cè)一些潛在的風(fēng)險(xiǎn),并將這些風(fēng)險(xiǎn)自動(dòng)隔離起來(lái),“通過(guò)AI的賦能,讓企業(yè)級(jí)防火墻具備更強(qiáng)的應(yīng)變能力。”IEEE標(biāo)準(zhǔn)協(xié)會(huì)新標(biāo)準(zhǔn)立項(xiàng)委員會(huì)副主席兼IEEE數(shù)字金融與經(jīng)濟(jì)標(biāo)準(zhǔn)委員會(huì)主席林道莊曾告訴鈦媒體APP。

以往通過(guò)人工進(jìn)行綜合分析研判設(shè)備產(chǎn)生的海量告警,很容易遭遇人員、精力短缺問(wèn)題。這導(dǎo)致安全專(zhuān)家只能研判少量關(guān)鍵告警,超90%的告警被迫放棄,其中隱藏的大量真實(shí)威脅被忽略,給攻擊者趁虛而入的機(jī)會(huì)。而AI依托算力資源和持續(xù)訓(xùn)練后的研判能力,打破了人力資源和效率邊界。據(jù)奇安信統(tǒng)計(jì),利用AI能力之后,能減少90%的漏報(bào),實(shí)現(xiàn)安全能力10倍級(jí)提升。

Fortinet北亞區(qū)首席信息安全官鄺偉基曾與鈦媒體APP分享過(guò)Fortinet研發(fā)的一項(xiàng)類(lèi)似于人臉識(shí)別的安全識(shí)別技術(shù),該技術(shù)場(chǎng)景下,通過(guò)ANN進(jìn)行大量辨識(shí),并將辨識(shí)后的數(shù)據(jù)分割開(kāi),用于大模型的訓(xùn)練,從而尋找到攻擊的特征,根據(jù)某些攻擊的特征進(jìn)行攻擊的識(shí)別,“即便是攻擊換了一個(gè)‘樣貌’,但它們內(nèi)在的代碼是不會(huì)變的,而我們的這項(xiàng)專(zhuān)利技術(shù),可以根據(jù)特征的描述,精準(zhǔn)的識(shí)別出攻擊的意圖。”鄺偉基向鈦媒體APP介紹。

在安全識(shí)別方面,圍繞AI技術(shù)深入布局的不僅僅Fortinet一家,奇安信也在安全識(shí)別方面有著AI+的布局,齊向東告訴鈦媒體APP,在某核電企業(yè)的安全運(yùn)營(yíng)過(guò)程中,應(yīng)用了安全機(jī)器人,安排安全機(jī)器人與人工團(tuán)隊(duì)一起演習(xí),共發(fā)現(xiàn)15起安全事件,一半以上由機(jī)器人搶先識(shí)別并確認(rèn)。在高價(jià)值事件檢出率上,機(jī)器人發(fā)現(xiàn)兩起被專(zhuān)家遺漏的安全事件;在真實(shí)風(fēng)險(xiǎn)事件研判準(zhǔn)確率上,機(jī)器人達(dá)到100%。

此外,在達(dá)到萬(wàn)人規(guī)模的企業(yè)中,只有12名安全運(yùn)營(yíng)人員,每天能夠研判6000條的告警,但該企業(yè)的單日告警量超過(guò)10萬(wàn),漏報(bào)率極高。據(jù)奇安信介紹,在使用奇安信QAX-GPT安全機(jī)器人后,該企業(yè)可以完成10萬(wàn)告警全量研判,漏報(bào)率僅0.05%,揪出人工漏掉的真實(shí)告警700多條,極大提升了集團(tuán)的整體安全能力。

而360則是將告警檢測(cè)、分析研判的能力植入到了自主研發(fā)的安全大模型之中,據(jù)360方面提供的數(shù)據(jù)顯示,在安全大模型的賦能下,樣本平均分析時(shí)間、報(bào)告平均生成時(shí)間、漏洞驗(yàn)證自動(dòng)化率等指標(biāo)提效300%;事件平均檢測(cè)時(shí)間、事件自動(dòng)化響應(yīng)率等指標(biāo)提效200%;人工平均響應(yīng)時(shí)間等指標(biāo)提效100%。

AI+安全,產(chǎn)業(yè)升級(jí)

對(duì)于安全廠商們而言,AI在告警識(shí)別方面的應(yīng)用僅是AI安全防護(hù)布局中的一環(huán),除此之外, AI與安全需要更深度地融合,在幫助企業(yè)筑造新的安全防護(hù)體系的過(guò)程中,AI將發(fā)揮“大腦”的作用。

“體系化防御的核心,是多種網(wǎng)絡(luò)安全設(shè)備的有機(jī)結(jié)合。由于不同產(chǎn)品之間的數(shù)據(jù)傳輸共享、相互訪(fǎng)問(wèn)、遠(yuǎn)程操作非常頻繁,漏報(bào)和誤報(bào)問(wèn)題在這一階段呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。”齊向東告訴鈦媒體APP,在構(gòu)建安全體系的過(guò)程中,AI具備賦能綜合分析和全局聯(lián)動(dòng)的能力,可以智能的根據(jù)不同場(chǎng)景,調(diào)用不同接口、獲取不同數(shù)據(jù),甚至可以根據(jù)實(shí)際變化,進(jìn)行動(dòng)態(tài)調(diào)整,瞬時(shí)激發(fā)各個(gè)設(shè)備的安全能力,達(dá)成體系化防護(hù)的能力,“AI賦能后,能將遺漏的威脅從10%降低到千分之一,達(dá)到安全能力百倍級(jí)提升。”

通過(guò)AI技術(shù),為企業(yè)構(gòu)建一個(gè)更為完善的安全體系,也是奇安信將AI技術(shù)運(yùn)用到公司全線(xiàn)產(chǎn)品中的主要原因,據(jù)了解,現(xiàn)階段,奇安信已經(jīng)將AI能力深度融合到包括安全產(chǎn)品開(kāi)發(fā)、威脅檢測(cè)、漏洞挖掘、安全運(yùn)營(yíng)及自動(dòng)化、攻防對(duì)抗等在內(nèi)的十多個(gè)領(lǐng)域。

另一方面,360則選擇自研安全大模型的方式,將AI的能力全面整合進(jìn)全系安全產(chǎn)品之中,360數(shù)字安全集團(tuán)安全專(zhuān)家告訴鈦媒體APP,從場(chǎng)景層面分,360安全云主要分為公有云和私有化兩大場(chǎng)景。在公有云場(chǎng)景中,360將大模型的能力以“數(shù)字專(zhuān)家”的身份與企業(yè)安全人員展開(kāi)深度交互,為不同階段的運(yùn)營(yíng)工作提供對(duì)應(yīng)的虛擬數(shù)字員工支持,如安全咨詢(xún)顧問(wèn)、安全監(jiān)測(cè)和分析專(zhuān)家、應(yīng)急處置專(zhuān)家等,提升運(yùn)營(yíng)效果和效率的同時(shí)降低了客戶(hù)的技術(shù)應(yīng)用門(mén)檻。

私有化場(chǎng)景中,360以本地安全大腦產(chǎn)品能力為基礎(chǔ),結(jié)合大模型賦能,實(shí)現(xiàn)了“看見(jiàn)、處置和知識(shí)”三大業(yè)務(wù)的重塑,在大模型賦能的本地安全大腦平臺(tái)+探針產(chǎn)品體系下,日常安全運(yùn)營(yíng)工作在告警檢測(cè)、態(tài)勢(shì)監(jiān)測(cè)、分析研判、自動(dòng)化處置、威脅狩獵、劇本編排、分析報(bào)表及運(yùn)營(yíng)報(bào)告生成等環(huán)節(jié)均實(shí)現(xiàn)了智能化重塑。

天融信則是將大模型、小模型、機(jī)器學(xué)習(xí)等AI技術(shù)能力深度應(yīng)用于未知威脅檢測(cè)、流量異常檢測(cè)、惡意URL檢測(cè)等多個(gè)方向及天融信網(wǎng)絡(luò)安全產(chǎn)品中,實(shí)現(xiàn)了AI對(duì)威脅檢測(cè)、安全運(yùn)營(yíng)等應(yīng)用場(chǎng)景的全面賦能。

除了安全領(lǐng)域的專(zhuān)業(yè)廠商,云廠商和一些科技巨頭也將AI+安全視為接下來(lái)業(yè)務(wù)布局的重要部分,這決定了用戶(hù)對(duì)其產(chǎn)品的信任程度。而與專(zhuān)注安全領(lǐng)域的廠商開(kāi)發(fā)安全行業(yè)大模型的思路不同,他們選擇將AI的能力植入到原本的產(chǎn)品中,進(jìn)行賦能。

阿里云一位技術(shù)專(zhuān)家表示,在大模型本身而言,通義千問(wèn)大模型構(gòu)建了一個(gè)有效、可靠的數(shù)據(jù)管理及隱私防護(hù)框架,確保大模型安全評(píng)估體系的全面性,并且在公共云上還會(huì)用一些外圍的內(nèi)容安全產(chǎn)品。此外,通義千問(wèn)模型每一次更新迭代的模型訓(xùn)練中都會(huì)引入一些安全、攻防語(yǔ)料,讓大模型學(xué)會(huì)識(shí)別什么是不安全不合規(guī)的內(nèi)容,然后拒絕回答。阿里云百煉大模型服務(wù)平臺(tái)提供專(zhuān)屬的VPC(專(zhuān)有網(wǎng)絡(luò))、用戶(hù)數(shù)據(jù)全鏈路加密、數(shù)據(jù)不落盤(pán)等多重保護(hù),滿(mǎn)足金融企業(yè)對(duì)核心業(yè)務(wù)數(shù)據(jù)的安全防護(hù)需求。

騰訊安全也將其混元大模型的能力與安全產(chǎn)品深度融合,周斌告訴鈦媒體APP,目前騰訊安全在安全運(yùn)營(yíng)、風(fēng)險(xiǎn)治理、研發(fā)安全等領(lǐng)域已展開(kāi)了大模型安全實(shí)踐。以安全運(yùn)營(yíng)為例,據(jù)了解,在2023年底,騰訊安全就在混元大模型基礎(chǔ)上,通過(guò)安全知識(shí)語(yǔ)庫(kù)的二次訓(xùn)練,打造了安全行業(yè)大模型,并基于該大模型推出了騰訊云AI安全助手,安全助手具備了告警解釋、漏洞修復(fù)、日志處理、智能客服等功能。

國(guó)外廠商中,以亞馬遜云科技為例,亞馬遜云科技推出的敏感銘感數(shù)據(jù)保護(hù)解決方案是一個(gè)開(kāi)源的數(shù)據(jù)安全及數(shù)據(jù)隱私云原生解決方案,在該方案中,亞馬遜云科技就融合了機(jī)器學(xué)習(xí)和模式匹配進(jìn)行識(shí)別,幫助用戶(hù)識(shí)別和分類(lèi)敏感數(shù)據(jù)。而IBM則是提出了AI for Security的方法論,利用基礎(chǔ)模型和生成人工智能帶來(lái)的生產(chǎn)力提升,輔助人類(lèi)提升安全能力,主要體現(xiàn)在三個(gè)方面:第一,使用AI管理重復(fù)的安全任務(wù),例如警報(bào)和日志分析總結(jié),使團(tuán)隊(duì)能夠騰出時(shí)間來(lái)解決戰(zhàn)略問(wèn)題;第二,更快地生成安全內(nèi)容(如檢測(cè)、工作流程、策略等);第三,學(xué)習(xí)并主動(dòng)創(chuàng)建響應(yīng)動(dòng)作,即隨著時(shí)間的推移和經(jīng)驗(yàn)的積累優(yōu)化主動(dòng)響應(yīng),查找相似事件、更新受影響的系統(tǒng),并修補(bǔ)易受攻擊的代碼。

除此之外,IBM還在其IBM Security產(chǎn)品組合中推出了數(shù)據(jù)安全軟件IBM Security Guardium,并將AI 和自動(dòng)化的能力嵌入到 Guardium 產(chǎn)品組合中。

圍繞AI+安全的技術(shù)場(chǎng)景,各大科技巨頭有著各自的布局,雖路徑不同,但守護(hù)企業(yè)數(shù)據(jù)資產(chǎn)安全的目標(biāo)始終不變。

從探索應(yīng)用AI大模型能力的企業(yè)自身出發(fā),一方面應(yīng)當(dāng)完善風(fēng)險(xiǎn)管理,識(shí)別、評(píng)估和緩解與AI應(yīng)用相關(guān)的風(fēng)險(xiǎn),使用 AI應(yīng)用安全產(chǎn)品來(lái)防御外部威脅; 另一方面也要加強(qiáng)安全管理,確保 AI系統(tǒng)不受未經(jīng)授權(quán)的訪(fǎng)問(wèn)、篡改或?yàn)E用,并防止數(shù)據(jù)泄露或損壞;進(jìn)行定期的安全審計(jì)和漏洞掃描、建立應(yīng)急響應(yīng)機(jī)制等。

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
推薦內(nèi)容
展開(kāi)

熱門(mén)欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港