當(dāng)前，隨著生成式人工智能（GenAI）的興起，企業(yè)也面臨著前所未有的安全挑戰(zhàn)。
據(jù)IBM Security發(fā)布的《2023年數(shù)據(jù)泄露成本報(bào)告》顯示，僅數(shù)據(jù)泄露一項(xiàng)，2023年全球數(shù)據(jù)泄露的平均成本達(dá)到445萬美元，創(chuàng)該報(bào)告有史以來以來最高記錄，較過去三年均值增長了15%。
“GenAI火爆的當(dāng)下，黑客攻擊手段也越來越多樣化，原先需要一個(gè)團(tuán)隊(duì)完成的攻擊，現(xiàn)在僅需要一個(gè)人，利用不同類型的大模型就可以完成。”Fortinet北亞區(qū)首席技術(shù)顧問譚杰告訴鈦媒體APP，“通過Agent的方式，給不同的AI分配不同任務(wù)，有的負(fù)責(zé)掃描漏洞、有的負(fù)責(zé)制作‘武器’，有的負(fù)責(zé)實(shí)施攻擊。”
可見，AI在為企業(yè)業(yè)務(wù)提效帶來便捷，推動(dòng)降本增效的同時(shí)，也為網(wǎng)絡(luò)攻擊者帶來了便捷，在原本錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)環(huán)境，以及數(shù)據(jù)安全風(fēng)險(xiǎn)難題上，增加了新的挑戰(zhàn)。而且，傳統(tǒng)的安全控制已經(jīng)不足以應(yīng)對這些新興風(fēng)險(xiǎn)，需要專門針對 AI建立管理策略以保障系統(tǒng)的穩(wěn)健性、合規(guī)性。
享受AI技術(shù)紅利的前提是守住安全的底線，這對身處其中的科技、安全廠商和各行各業(yè)應(yīng)用AI能力的企業(yè)而言，是AI時(shí)代一道新的必答題。
AI時(shí)代，安全面臨更多挑戰(zhàn)
生成式AI在解放生產(chǎn)力，提高工作效率的同時(shí)，也帶來了更多、更嚴(yán)峻的安全問題，包括內(nèi)容偏見、數(shù)據(jù)泄露和 AI 應(yīng)用漏洞等。
據(jù)統(tǒng)計(jì)，2023年以來，用AI技術(shù)開展的攻擊，已經(jīng)成為企業(yè)面臨首要網(wǎng)絡(luò)威脅，騰訊安全總經(jīng)理周斌告訴鈦媒體APP，AI大模型的火爆，也極大提升了攻擊者的攻擊效率。
首先，攻擊目標(biāo)和范圍變大。AI大模型驅(qū)動(dòng)的智能化時(shí)代,圍繞數(shù)據(jù)產(chǎn)生的交互和分析行為會(huì)越來越普遍，這將進(jìn)一步擴(kuò)大企業(yè)風(fēng)險(xiǎn)面的暴露面，動(dòng)態(tài)的數(shù)據(jù)流轉(zhuǎn)和使用，需要更加完善的防護(hù)手段。
其次，攻擊密度增加。攻擊的成本和門檻下降之后，其攻擊的頻次、密度會(huì)大幅提升，以前的攻守節(jié)奏可能是回合制的，防守方還有一天或者一周的時(shí)間調(diào)整安全策略；但大模型加持下，黑客會(huì)讓攻防變成“即時(shí)戰(zhàn)略”的對抗，企業(yè)的反應(yīng)時(shí)間窗口將被迫縮短至小時(shí)級，甚至分鐘級。
第三，模擬“機(jī)器”和“人”的精度提升。黑灰產(chǎn)利用AI提升模擬真實(shí)用戶行為的效率，企業(yè)難以辨別，例如在黃牛黨搶票、金融信貸欺詐等。
第四，攻擊特征超越企業(yè)“情報(bào)庫”。企業(yè)安全建設(shè)往往依賴于安全情報(bào)庫，以記錄經(jīng)常“干壞事”的惡意IP和異常流量特征。當(dāng)黑客利用生成式AI實(shí)時(shí)變換大量的行為特征時(shí)，傳統(tǒng)靜態(tài)情報(bào)庫將逐漸失去防護(hù)價(jià)值。
此外，據(jù)鈦媒體APP與多家企業(yè)交流發(fā)現(xiàn)，目前已經(jīng)出現(xiàn)有企業(yè)在應(yīng)用大模型后，遭到黑客利用提示詞進(jìn)行惡意攻擊，比如讓大模型產(chǎn)生身份識(shí)別偏差，進(jìn)一步利用假冒的身份對企業(yè)大模型輸入內(nèi)容套取用戶信息或企業(yè)商業(yè)機(jī)密。
談及AI時(shí)代企業(yè)安全面臨的安全挑戰(zhàn)的場景時(shí)，奇安信集團(tuán)董事長齊向東對鈦媒體APP表示，具體到數(shù)字安全方面，人工智能帶首要面臨的是，AI投毒安全隱患加重，攻擊者可以通過在訓(xùn)練數(shù)據(jù)中加入精心構(gòu)造的異常數(shù)據(jù)，破壞訓(xùn)練數(shù)據(jù)集的準(zhǔn)確性。
其次，隨著AI大模型大規(guī)模應(yīng)用之后，整個(gè)社會(huì)都將面臨更加嚴(yán)峻的數(shù)據(jù)篡改隱患，齊向東告訴鈦媒體APP，AI的大規(guī)模內(nèi)容生產(chǎn)能力可能產(chǎn)生真假難辨的信息，控制社交軟件乃至媒體的輿論聲音，激化意識(shí)形態(tài)矛盾。360數(shù)字安全集團(tuán)安全專家也有著類似的觀點(diǎn)，他曾對鈦媒體APP表示，在AI時(shí)代，企業(yè)也面臨著新的內(nèi)容安全的挑戰(zhàn)，“比如對大模型的控制、濫用、誤用和惡意應(yīng)用等問題。”該專家指出。
除此之外，數(shù)據(jù)泄露隱患也隨著大模型的應(yīng)用而加重。IEEE電子游戲與競技標(biāo)準(zhǔn)委員會(huì)委員汪齊齊對鈦媒體APP表示，企業(yè)在使用非自研的大模型過程中，由于交互中的信息以及企業(yè)獨(dú)有的信息需要輸入到當(dāng)前環(huán)境，如果該環(huán)境的安全性不夠理想，那么敏感的企業(yè)和個(gè)人信息以及商業(yè)機(jī)密可能會(huì)被泄露，導(dǎo)致隱私侵犯和商業(yè)泄密的發(fā)生。
企業(yè)如何用AI筑牢安全防線？
“之前IT行業(yè)的各類風(fēng)險(xiǎn)在AI時(shí)代會(huì)進(jìn)一步擴(kuò)大。以往奏效的安全措施在AI時(shí)代必然會(huì)有部分失效并被淘汰。”汪齊齊說。在AI時(shí)代，傳統(tǒng)的安全防護(hù)措施已經(jīng)不足以確保企業(yè)的數(shù)據(jù)安全，企業(yè)需要構(gòu)建一套全新的安全防線。
雖然AI大模型的出現(xiàn)給企業(yè)數(shù)據(jù)安全帶來了嚴(yán)峻的挑戰(zhàn)，但是企業(yè)也可以利用AI為工具，筑起安全防線。“用AI打敗AI”是現(xiàn)階段安全行業(yè)的共識(shí)。
回到目前AI技術(shù)在安全行業(yè)的應(yīng)用場景上，鈦媒體APP通過對安全行業(yè)巨頭，以及海內(nèi)外研究機(jī)構(gòu)的調(diào)查總結(jié)出，目前AI技術(shù)在安全行業(yè)主要的應(yīng)用場景是安全檢測、識(shí)別，以及分析等方面。
具體到技術(shù)場景中，企業(yè)可以根據(jù)業(yè)務(wù)需求借鑒不同思路的策略打造AI安全防護(hù)能力。
阿里云一位技術(shù)專家建議，應(yīng)用大模型的企業(yè)需要在大模型之上再施加一層工程化的手段來加固安全。比如應(yīng)對提示詞攻擊時(shí)，盡管用戶A成功讓大模型認(rèn)定他為用戶B，但在信息查詢的指令反饋鏈路中可以對指令來源的登錄賬戶進(jìn)行核驗(yàn)，從而驗(yàn)證其真實(shí)有效身份，避免造成其他用戶信息泄露。
企業(yè)也可以通過AI自動(dòng)學(xué)習(xí)識(shí)別，預(yù)測一些潛在的風(fēng)險(xiǎn)，并將這些風(fēng)險(xiǎn)自動(dòng)隔離起來，“通過AI的賦能，讓企業(yè)級防火墻具備更強(qiáng)的應(yīng)變能力。”IEEE標(biāo)準(zhǔn)協(xié)會(huì)新標(biāo)準(zhǔn)立項(xiàng)委員會(huì)副主席兼IEEE數(shù)字金融與經(jīng)濟(jì)標(biāo)準(zhǔn)委員會(huì)主席林道莊曾告訴鈦媒體APP。
以往通過人工進(jìn)行綜合分析研判設(shè)備產(chǎn)生的海量告警，很容易遭遇人員、精力短缺問題。這導(dǎo)致安全專家只能研判少量關(guān)鍵告警，超90%的告警被迫放棄，其中隱藏的大量真實(shí)威脅被忽略，給攻擊者趁虛而入的機(jī)會(huì)。而AI依托算力資源和持續(xù)訓(xùn)練后的研判能力，打破了人力資源和效率邊界。據(jù)奇安信統(tǒng)計(jì)，利用AI能力之后，能減少90%的漏報(bào)，實(shí)現(xiàn)安全能力10倍級提升。
Fortinet北亞區(qū)首席信息安全官鄺偉基曾與鈦媒體APP分享過Fortinet研發(fā)的一項(xiàng)類似于人臉識(shí)別的安全識(shí)別技術(shù)，該技術(shù)場景下，通過ANN進(jìn)行大量辨識(shí)，并將辨識(shí)后的數(shù)據(jù)分割開，用于大模型的訓(xùn)練，從而尋找到攻擊的特征，根據(jù)某些攻擊的特征進(jìn)行攻擊的識(shí)別，“即便是攻擊換了一個(gè)‘樣貌’，但它們內(nèi)在的代碼是不會(huì)變的，而我們的這項(xiàng)專利技術(shù)，可以根據(jù)特征的描述，精準(zhǔn)的識(shí)別出攻擊的意圖。”鄺偉基向鈦媒體APP介紹。
在安全識(shí)別方面，圍繞AI技術(shù)深入布局的不僅僅Fortinet一家，奇安信也在安全識(shí)別方面有著AI+的布局，齊向東告訴鈦媒體APP，在某核電企業(yè)的安全運(yùn)營過程中，應(yīng)用了安全機(jī)器人，安排安全機(jī)器人與人工團(tuán)隊(duì)一起演習(xí)，共發(fā)現(xiàn)15起安全事件，一半以上由機(jī)器人搶先識(shí)別并確認(rèn)。在高價(jià)值事件檢出率上，機(jī)器人發(fā)現(xiàn)兩起被專家遺漏的安全事件；在真實(shí)風(fēng)險(xiǎn)事件研判準(zhǔn)確率上，機(jī)器人達(dá)到100%。
此外，在達(dá)到萬人規(guī)模的企業(yè)中，只有12名安全運(yùn)營人員，每天能夠研判6000條的告警，但該企業(yè)的單日告警量超過10萬，漏報(bào)率極高。據(jù)奇安信介紹，在使用奇安信QAX-GPT安全機(jī)器人后，該企業(yè)可以完成10萬告警全量研判，漏報(bào)率僅0.05%，揪出人工漏掉的真實(shí)告警700多條，極大提升了集團(tuán)的整體安全能力。
而360則是將告警檢測、分析研判的能力植入到了自主研發(fā)的安全大模型之中，據(jù)360方面提供的數(shù)據(jù)顯示，在安全大模型的賦能下，樣本平均分析時(shí)間、報(bào)告平均生成時(shí)間、漏洞驗(yàn)證自動(dòng)化率等指標(biāo)提效300%；事件平均檢測時(shí)間、事件自動(dòng)化響應(yīng)率等指標(biāo)提效200%；人工平均響應(yīng)時(shí)間等指標(biāo)提效100%。
AI+安全,產(chǎn)業(yè)升級
對于安全廠商們而言，AI在告警識(shí)別方面的應(yīng)用僅是AI安全防護(hù)布局中的一環(huán)，除此之外， AI與安全需要更深度地融合，在幫助企業(yè)筑造新的安全防護(hù)體系的過程中，AI將發(fā)揮“大腦”的作用。
“體系化防御的核心，是多種網(wǎng)絡(luò)安全設(shè)備的有機(jī)結(jié)合。由于不同產(chǎn)品之間的數(shù)據(jù)傳輸共享、相互訪問、遠(yuǎn)程操作非常頻繁,漏報(bào)和誤報(bào)問題在這一階段呈現(xiàn)指數(shù)級增長。”齊向東告訴鈦媒體APP，在構(gòu)建安全體系的過程中，AI具備賦能綜合分析和全局聯(lián)動(dòng)的能力，可以智能的根據(jù)不同場景，調(diào)用不同接口、獲取不同數(shù)據(jù)，甚至可以根據(jù)實(shí)際變化，進(jìn)行動(dòng)態(tài)調(diào)整，瞬時(shí)激發(fā)各個(gè)設(shè)備的安全能力，達(dá)成體系化防護(hù)的能力，“AI賦能后，能將遺漏的威脅從10%降低到千分之一，達(dá)到安全能力百倍級提升。”
通過AI技術(shù)，為企業(yè)構(gòu)建一個(gè)更為完善的安全體系，也是奇安信將AI技術(shù)運(yùn)用到公司全線產(chǎn)品中的主要原因，據(jù)了解，現(xiàn)階段，奇安信已經(jīng)將AI能力深度融合到包括安全產(chǎn)品開發(fā)、威脅檢測、漏洞挖掘、安全運(yùn)營及自動(dòng)化、攻防對抗等在內(nèi)的十多個(gè)領(lǐng)域。
另一方面，360則選擇自研安全大模型的方式，將AI的能力全面整合進(jìn)全系安全產(chǎn)品之中，360數(shù)字安全集團(tuán)安全專家告訴鈦媒體APP，從場景層面分，360安全云主要分為公有云和私有化兩大場景。在公有云場景中，360將大模型的能力以“數(shù)字專家”的身份與企業(yè)安全人員展開深度交互，為不同階段的運(yùn)營工作提供對應(yīng)的虛擬數(shù)字員工支持，如安全咨詢顧問、安全監(jiān)測和分析專家、應(yīng)急處置專家等，提升運(yùn)營效果和效率的同時(shí)降低了客戶的技術(shù)應(yīng)用門檻。
私有化場景中，360以本地安全大腦產(chǎn)品能力為基礎(chǔ)，結(jié)合大模型賦能，實(shí)現(xiàn)了“看見、處置和知識(shí)”三大業(yè)務(wù)的重塑，在大模型賦能的本地安全大腦平臺(tái)+探針產(chǎn)品體系下，日常安全運(yùn)營工作在告警檢測、態(tài)勢監(jiān)測、分析研判、自動(dòng)化處置、威脅狩獵、劇本編排、分析報(bào)表及運(yùn)營報(bào)告生成等環(huán)節(jié)均實(shí)現(xiàn)了智能化重塑。
天融信則是將大模型、小模型、機(jī)器學(xué)習(xí)等AI技術(shù)能力深度應(yīng)用于未知威脅檢測、流量異常檢測、惡意URL檢測等多個(gè)方向及天融信網(wǎng)絡(luò)安全產(chǎn)品中，實(shí)現(xiàn)了AI對威脅檢測、安全運(yùn)營等應(yīng)用場景的全面賦能。
除了安全領(lǐng)域的專業(yè)廠商，云廠商和一些科技巨頭也將AI+安全視為接下來業(yè)務(wù)布局的重要部分，這決定了用戶對其產(chǎn)品的信任程度。而與專注安全領(lǐng)域的廠商開發(fā)安全行業(yè)大模型的思路不同，他們選擇將AI的能力植入到原本的產(chǎn)品中，進(jìn)行賦能。
阿里云一位技術(shù)專家表示，在大模型本身而言，通義千問大模型構(gòu)建了一個(gè)有效、可靠的數(shù)據(jù)管理及隱私防護(hù)框架，確保大模型安全評估體系的全面性，并且在公共云上還會(huì)用一些外圍的內(nèi)容安全產(chǎn)品。此外，通義千問模型每一次更新迭代的模型訓(xùn)練中都會(huì)引入一些安全、攻防語料，讓大模型學(xué)會(huì)識(shí)別什么是不安全不合規(guī)的內(nèi)容，然后拒絕回答。阿里云百煉大模型服務(wù)平臺(tái)提供專屬的VPC（專有網(wǎng)絡(luò)）、用戶數(shù)據(jù)全鏈路加密、數(shù)據(jù)不落盤等多重保護(hù)，滿足金融企業(yè)對核心業(yè)務(wù)數(shù)據(jù)的安全防護(hù)需求。
騰訊安全也將其混元大模型的能力與安全產(chǎn)品深度融合，周斌告訴鈦媒體APP，目前騰訊安全在安全運(yùn)營、風(fēng)險(xiǎn)治理、研發(fā)安全等領(lǐng)域已展開了大模型安全實(shí)踐。以安全運(yùn)營為例，據(jù)了解，在2023年底，騰訊安全就在混元大模型基礎(chǔ)上，通過安全知識(shí)語庫的二次訓(xùn)練，打造了安全行業(yè)大模型，并基于該大模型推出了騰訊云AI安全助手，安全助手具備了告警解釋、漏洞修復(fù)、日志處理、智能客服等功能。
國外廠商中，以亞馬遜云科技為例，亞馬遜云科技推出的敏感銘感數(shù)據(jù)保護(hù)解決方案是一個(gè)開源的數(shù)據(jù)安全及數(shù)據(jù)隱私云原生解決方案，在該方案中，亞馬遜云科技就融合了機(jī)器學(xué)習(xí)和模式匹配進(jìn)行識(shí)別，幫助用戶識(shí)別和分類敏感數(shù)據(jù)。而IBM則是提出了AI for Security的方法論，利用基礎(chǔ)模型和生成人工智能帶來的生產(chǎn)力提升，輔助人類提升安全能力，主要體現(xiàn)在三個(gè)方面：第一，使用AI管理重復(fù)的安全任務(wù)，例如警報(bào)和日志分析總結(jié)，使團(tuán)隊(duì)能夠騰出時(shí)間來解決戰(zhàn)略問題；第二，更快地生成安全內(nèi)容（如檢測、工作流程、策略等）；第三，學(xué)習(xí)并主動(dòng)創(chuàng)建響應(yīng)動(dòng)作，即隨著時(shí)間的推移和經(jīng)驗(yàn)的積累優(yōu)化主動(dòng)響應(yīng)，查找相似事件、更新受影響的系統(tǒng)，并修補(bǔ)易受攻擊的代碼。
除此之外，IBM還在其IBM Security產(chǎn)品組合中推出了數(shù)據(jù)安全軟件IBM Security Guardium，并將AI 和自動(dòng)化的能力嵌入到 Guardium 產(chǎn)品組合中。
圍繞AI+安全的技術(shù)場景，各大科技巨頭有著各自的布局，雖路徑不同，但守護(hù)企業(yè)數(shù)據(jù)資產(chǎn)安全的目標(biāo)始終不變。
從探索應(yīng)用AI大模型能力的企業(yè)自身出發(fā)，一方面應(yīng)當(dāng)完善風(fēng)險(xiǎn)管理，識(shí)別、評估和緩解與AI應(yīng)用相關(guān)的風(fēng)險(xiǎn)，使用 AI應(yīng)用安全產(chǎn)品來防御外部威脅; 另一方面也要加強(qiáng)安全管理，確保 AI系統(tǒng)不受未經(jīng)授權(quán)的訪問、篡改或?yàn)E用，并防止數(shù)據(jù)泄露或損壞；進(jìn)行定期的安全審計(jì)和漏洞掃描、建立應(yīng)急響應(yīng)機(jī)制等。
