2020年開始，國家提出加快新基建進(jìn)度，作為其中重要的一環(huán)：人工智能的體量將會進(jìn)一步增長。當(dāng)前技術(shù)結(jié)構(gòu)下，人工智能（AI）的處理大多通過云中心完成。
AI處理以深度學(xué)習(xí)模型訓(xùn)練為主，這需要大量的計(jì)算能力。而在過去幾年里，計(jì)算的需求量增加了數(shù)十萬倍，其中圖形處理單元（GPU）分散了大部分計(jì)算壓力。
AI推理是基于大量推理訓(xùn)練之后實(shí)現(xiàn)的，計(jì)算強(qiáng)度相對較低，對算力需求不大。過去，與訓(xùn)練一樣，推理計(jì)算也主要在云中心進(jìn)行。然而， AI應(yīng)用的多樣化，基于云的集中式訓(xùn)練和推理機(jī)制受到質(zhì)疑。
什么是邊緣AI？
邊緣AI已將AI轉(zhuǎn)移到真正需要的地方：設(shè)備中，而不是云中的服務(wù)器。
任何基于機(jī)器學(xué)習(xí)的解決方案，兩個(gè)主要階段是訓(xùn)練和推理，這是機(jī)器學(xué)習(xí)的基本原則。
第一階段是訓(xùn)練，在這個(gè)階段中，向機(jī)器提供大量的已知數(shù)據(jù)，讓機(jī)器“明白”它應(yīng)該做什么。利用這些數(shù)據(jù)，算法可以輸出一個(gè)包含其學(xué)習(xí)結(jié)果的 "模型"。這個(gè)階段需要很高的算力，通常由云計(jì)算完成。
訓(xùn)練階段的 "已知數(shù)據(jù) "被稱為標(biāo)記數(shù)據(jù)。這意味著每一個(gè)數(shù)據(jù)（聲音、圖像等）都有一個(gè)標(biāo)簽，描述它的含義。推理時(shí)將新數(shù)據(jù)中符合的內(nèi)容挑出來，分門別類即可。
第二個(gè)階段是推理，推理是將學(xué)到的模型與新數(shù)據(jù)結(jié)合起來，推斷它應(yīng)該識別什么。一旦訓(xùn)練完成，模型只需要小部分算力來執(zhí)行推理階段。因?yàn)橥评碇簧婕吧倭啃聰?shù)據(jù)的計(jì)算，用于推理的模型也是 "固定 "的（不需要再持續(xù)訓(xùn)練），并針對目標(biāo)環(huán)境進(jìn)行了仔細(xì)的優(yōu)化。
最終的結(jié)果是，它可以直接在嵌入式設(shè)備上運(yùn)行：也就是邊緣設(shè)備。這樣可以為設(shè)備提供決策權(quán)，從而使其自主運(yùn)作，這就是邊緣AI。
為什么我們需要邊緣AI？
今天的邊緣AI側(cè)重于將AI推理轉(zhuǎn)移到邊緣設(shè)備上，從而減少數(shù)據(jù)的上傳與擴(kuò)散。當(dāng)然，將AI應(yīng)用遷移到邊緣設(shè)備的原因有很多，這取決于應(yīng)用。在評估云計(jì)算和邊緣計(jì)算時(shí)，必須考慮隱私、安全、成本、延時(shí)和帶寬。隨著越來越多的邊緣計(jì)算芯片廠家提供了高算力的產(chǎn)品，也促進(jìn)了邊緣AI計(jì)算的發(fā)展。
聯(lián)合學(xué)習(xí)和基于區(qū)塊鏈的分散架構(gòu)也是AI計(jì)算向邊緣化過渡的一部分，有些訓(xùn)練也可能向邊緣化發(fā)展。根據(jù)AI應(yīng)用和設(shè)備類別，有幾種硬件選擇來執(zhí)行邊緣AI計(jì)算。這些選擇包括CPU、GPU、ASIC、FPGA和SoC加速器。
邊緣AI的硬件挑戰(zhàn)：芯片
像許多新概念一樣，邊緣AI技術(shù)其實(shí)已經(jīng)存在了一段時(shí)間：機(jī)器學(xué)習(xí)算法在計(jì)算機(jī)和智能手機(jī)中很常見，它們在這些設(shè)備中運(yùn)行良好。
如今，人們將嵌入式設(shè)備與算法結(jié)合起來，形成一個(gè)很有意義的解決方案，這要?dú)w功于：為AI提供硬件加速的高算力模塊（GPU和ASIC）。
通過算力模塊，配合不斷改進(jìn)的AI模型，我們不僅可以在超級計(jì)算機(jī)中整合AI解決方案，還可以在汽車、智能手機(jī)、網(wǎng)頁、Wi-Fi路由器，甚至家庭安全系統(tǒng)中整合AI。
如何將推理功能嵌入設(shè)備？
首先我們要選對適合的硬件，目前有三種硬件類型可以實(shí)現(xiàn)邊緣AI的運(yùn)行：
CPU：在智能手機(jī)和嵌入式設(shè)備上，任何最新的CPU都有能力處理。它可能不是邊緣AI推理最快或最專業(yè)的解決方案，但它是最好實(shí)現(xiàn)的。
GPU：它們通常確實(shí)能提供高吞吐量，從而提供出色的推理頻率和較低的延時(shí)。它還可以減少CPU的工作負(fù)荷，是目前比較主流的選擇。
利用GPU的處理能力和并行化能力，AI就像一個(gè)由數(shù)百個(gè)神經(jīng)元的虛擬大腦，它看起來非常復(fù)雜，但實(shí)際上是由大量的簡單元素組成的。這正好與GPU的特性不謀而合，簡單的獨(dú)立操作被應(yīng)用于屏幕上的每一個(gè)點(diǎn)。
大多數(shù)機(jī)器學(xué)習(xí)框架（TensorFlow、Caffe、AML等）都是為了適用現(xiàn)有的硬件，比如NVIDIA Jetson系列。
AI定制硬件：這是一個(gè)快速增長的類型，如谷歌之前發(fā)布的Edge TPU，英特爾、微軟和亞馬遜也在開發(fā)自己的解決方案。通過定制硬件為AI推理匹配最有效的解決方案，但昂貴的成本和設(shè)計(jì)壓力則是當(dāng)前的弊端。
選擇邊緣AI進(jìn)行創(chuàng)新的5個(gè)理由
1）離線可用性：這可能是最明顯的理由。如果需要程序在任何條件的連接狀態(tài)下都可用，那么AI推理必須放在本地設(shè)備上。
由于不穩(wěn)定的遠(yuǎn)程數(shù)據(jù)連接，DDoS攻擊，或者設(shè)備在地下室使用，連接就會中斷！網(wǎng)絡(luò)不穩(wěn)定對于云方案是一個(gè)巨大的挑戰(zhàn)。然而，如果本地設(shè)備可以自己處理數(shù)據(jù)，就不需要擔(dān)心這些問題。
2）降低云服務(wù)成本：云服務(wù)非常方便，具有高擴(kuò)展性和可用性，但它也有比較顯著和持續(xù)的成本。隨著越來越多的人使用云計(jì)算，這種成本會增加。這些成本將持續(xù)到產(chǎn)品的整個(gè)生命周期。然而，如果可以采用本地設(shè)備進(jìn)行AI推理，那么你就可以節(jié)約這部分成本。
3）降低流量成本：帶寬和移動流量的成本也很昂貴。對于視頻監(jiān)控推理而言，一個(gè)高清攝像頭每天就能產(chǎn)生50G甚至更多的視頻數(shù)據(jù)，一個(gè)項(xiàng)目可能有成百上千個(gè)攝像頭，每天按T計(jì)算的云服務(wù)流量成本是筆不小的費(fèi)用。
而使用邊緣AI推理，在本地設(shè)備上可以將體積龐大的視頻文件轉(zhuǎn)換為幾kB的數(shù)據(jù)。比如道路監(jiān)控，云計(jì)算需要將現(xiàn)場視頻持續(xù)上傳分析，而邊緣設(shè)備只需要回傳一句話：“這條路上現(xiàn)在沒有人”。
4）處理敏感信息：如果敏感信息可以在本地被收集和處理，我們還需要把信息發(fā)到幾百公里外的云中心去么？雖然我們不應(yīng)該擔(dān)心云中心的數(shù)據(jù)安全問題，但本地處理確實(shí)能讓人更放心。
5）響應(yīng)時(shí)間短：在本地收集和處理數(shù)據(jù)可以縮短響應(yīng)時(shí)間，規(guī)避網(wǎng)絡(luò)延遲的風(fēng)險(xiǎn)，從而改善用戶體驗(yàn)，只要設(shè)備能足夠快地處理數(shù)據(jù)。比如工業(yè)制造時(shí)，需要毫秒級的推理判斷，來決定是否緊急停止生產(chǎn)線來避免事故的發(fā)生。
邊緣AI帶來新的機(jī)會
邊緣AI的高可用性、數(shù)據(jù)安全性、降低延遲和成本，都是未來AI系統(tǒng)的關(guān)鍵優(yōu)勢。無論是公司還是個(gè)人，現(xiàn)在都是采取行動的好時(shí)機(jī)，越來越多的科技公司開始布局邊緣計(jì)算。
雖然有些人認(rèn)為它還不成熟，但該技術(shù)正在融合發(fā)展，不斷進(jìn)行實(shí)驗(yàn)和概念驗(yàn)證，在全球范圍內(nèi)提高競爭優(yōu)勢。
隨著國家對新基建的推動， AI和IoT（物聯(lián)網(wǎng)）的指數(shù)級增長，邊緣AI的時(shí)代即將到來。
