2022年12月5日，亞馬遜云科技在2022 re:Invent全球大會上宣布，為端到端機器學(xué)習(xí)服務(wù)Amazon SageMaker推出八項新功能。眾多開發(fā)人員、數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師使用Amazon SageMaker提供的全托管基礎(chǔ)設(shè)施、工具和工作流，輕松快速地構(gòu)建、訓(xùn)練和部署機器學(xué)習(xí)模型。客戶使用機器學(xué)習(xí)不斷創(chuàng)新，他們創(chuàng)建的模型比以往任何時候都多，因此，他們需要高級功能來有效管理模型的開發(fā)、使用和性能。本次發(fā)布包括新的Amazon SageMaker治理功能，它可以在整個機器學(xué)習(xí)生命周期中提供對模型性能的可見性。新的Amazon SageMaker Studio Notebook功能提供了增強的Notebook體驗，讓客戶只需點擊幾下即可檢查和解決數(shù)據(jù)質(zhì)量問題，促進數(shù)據(jù)科學(xué)團隊之間的實時協(xié)作，通過將Notebook代碼轉(zhuǎn)變到自動化作業(yè)加速機器學(xué)習(xí)實驗到生產(chǎn)的過程。最后，AmazonSageMaker新功能可自動執(zhí)行模型驗證，并且讓地理空間數(shù)據(jù)處理變得更容易。
當(dāng)前，數(shù)以萬計各種規(guī)模和各行各業(yè)的客戶都在使用Amazon SageMaker。亞馬遜云科技客戶每個月都在構(gòu)建數(shù)百萬個模型、訓(xùn)練數(shù)十億參數(shù)規(guī)模的模型、生成數(shù)萬億個預(yù)測。許多客戶正在以幾年前聞所未聞的規(guī)模使用機器學(xué)習(xí)。 亞馬遜云科技人工智能和機器學(xué)習(xí)副總裁Bratin Saha表示， 今天發(fā)布的Amazon SageMaker新功能讓團隊能夠更輕松地加快機器學(xué)習(xí)模型的端到端開發(fā)和部署。從專門構(gòu)建的治理工具到下一代Notebook體驗和簡化的模型測試，再到對地理空間數(shù)據(jù)的增強支持，我們在Amazon SageMaker 的基礎(chǔ)上不斷創(chuàng)新，幫助客戶大規(guī)模利用機器學(xué)習(xí)。
對很多用戶而言，云計算讓機器學(xué)習(xí)觸手可及。但直到幾年前，構(gòu)建、訓(xùn)練和部署模型的過程仍然是艱苦而乏味的，人手不多的數(shù)據(jù)科學(xué)家團隊需要進行為期數(shù)周或數(shù)月的持續(xù)迭代，才能使模型達到生產(chǎn)水平。亞馬遜云科技在五年前推出Amazon SageMaker以應(yīng)對這些挑戰(zhàn)，此后陸續(xù)增加了250多項新特性和功能，讓客戶能夠更輕松地在多項業(yè)務(wù)中使用機器學(xué)習(xí)。當(dāng)前，一些客戶聘請了數(shù)百名專業(yè)人員，他們使用Amazon SageMaker做出預(yù)測，用以在改善客戶體驗、優(yōu)化業(yè)務(wù)流程和加速新產(chǎn)品和服務(wù)開發(fā)等方面幫助解決最嚴(yán)峻的挑戰(zhàn)。隨著機器學(xué)習(xí)應(yīng)用的增長，客戶想要使用的數(shù)據(jù)類型不斷增加，客戶需要的治理、自動化和質(zhì)量保證水平也與日俱增，以期實現(xiàn)對機器學(xué)習(xí)負(fù)責(zé)任的應(yīng)用。Amazon SageMaker一向致力于為全球所有技能水平的專業(yè)人員提供支持，此次發(fā)布也秉承了這一創(chuàng)新傳統(tǒng)。
Amazon SageMaker機器學(xué)習(xí)治理新功能
Amazon SageMaker新功能可以幫助客戶更輕松地在機器學(xué)習(xí)模型生命周期中擴大治理規(guī)模。隨著企業(yè)內(nèi)模型和用戶數(shù)量的增長，設(shè)置最低權(quán)限的訪問控制和創(chuàng)建治理流程以記錄模型信息（如輸入數(shù)據(jù)集、訓(xùn)練環(huán)境信息、模型使用描述和風(fēng)險評級）都變得愈發(fā)困難。模型部署后，客戶還需要監(jiān)測偏差和特征偏移，從而確保模型按預(yù)期運行。
Amazon SageMaker Role Manager可以更輕松地控制訪問和權(quán)限：適當(dāng)?shù)挠脩粼L問控制是治理的基石，它保護數(shù)據(jù)隱私，防止信息泄露，確保專業(yè)人員可以訪問他們完成工作所需的工具。但一旦數(shù)據(jù)科學(xué)團隊增加到數(shù)十甚至數(shù)百人，實施這些控制就會變得越來越復(fù)雜。機器學(xué)習(xí)管理員（創(chuàng)建和監(jiān)控組織內(nèi)機器學(xué)習(xí)系統(tǒng)的人）必須平衡對簡化開發(fā)的需求和對管控機器學(xué)習(xí)工作流內(nèi)任務(wù)、資源和數(shù)據(jù)訪問的需求。當(dāng)前，管理員通常創(chuàng)建電子表格或使用臨時列表導(dǎo)覽數(shù)十種不同活動（如數(shù)據(jù)準(zhǔn)備和訓(xùn)練）和角色（如機器學(xué)習(xí)工程師和數(shù)據(jù)科學(xué)家）所需的訪問策略。這些工具需要手動維護，而且可能需要數(shù)周時間才能明確新用戶有效完成工作所需的具體任務(wù)。Amazon SageMaker Role Manager讓管理員可以更輕松地控制訪問并為用戶定義權(quán)限。管理員可以根據(jù)不同的用戶角色和職責(zé)選擇和編輯預(yù)建模板。之后，該工具會在幾分鐘內(nèi)自動創(chuàng)建具有必要權(quán)限的訪問策略，持續(xù)降低添加和管理用戶所投入的時間和精力。
Amazon SageMaker Model Cards簡化模型信息收集：當(dāng)前，大多數(shù)專業(yè)人員依靠不同的工具（如電子郵件、電子表格和文本文件）記錄模型開發(fā)和評估期間的業(yè)務(wù)需求、關(guān)鍵決策和觀察結(jié)果。專業(yè)人員需要用這些信息支持審批工作流、注冊、審計、客戶查詢和監(jiān)控，但要為每個模型都收集這些詳細(xì)信息則需要幾個月的時間。一些專業(yè)人員試圖通過構(gòu)建復(fù)雜的記錄保存系統(tǒng)來解決問題，但這樣的系統(tǒng)需要手動操作、耗時且容易出錯。Amazon SageMaker Model Cards在亞馬遜云科技控制臺提供了單獨的位置存儲模型信息，從而在整個模型生命周期中簡化文檔管理。新功能會自動將輸入數(shù)據(jù)集、訓(xùn)練環(huán)境和訓(xùn)練結(jié)果等詳細(xì)的訓(xùn)練信息直接輸入到Amazon SageMaker Model Cards。用戶還可以使用自助問卷的形式保存模型信息（如精度目標(biāo)、風(fēng)險評級）、訓(xùn)練和驗證結(jié)果（如偏差或精準(zhǔn)度指標(biāo)）以及供將來參考的觀察結(jié)果，用以進一步提升治理水平、支持負(fù)責(zé)任地使用機器學(xué)習(xí)。
Amazon SageMaker Model Dashboard提供集中界面以跟蹤機器學(xué)習(xí)模型：模型部署到生產(chǎn)環(huán)境后，專業(yè)人員希望不斷跟蹤模型以了解其性能、識別潛在問題。這一任務(wù)通常針對每個模型單獨完成。但當(dāng)組織開始部署數(shù)千個模型時，這種方式會變得越來越復(fù)雜，需要大量的時間和資源。Amazon SageMaker Model Dashboard可以全面概覽已部署的模型和端點，讓專業(yè)人員只需在一個地方就可以跟蹤資源和模型行為。通過模型看板，客戶還可以使用內(nèi)置集成的Amazon SageMaker Model Monitor（具備模型與數(shù)據(jù)偏移監(jiān)控功能）和Amazon SageMaker Clarify（具備機器學(xué)習(xí)偏差檢測功能）。這種對模型行為和性能的端到端可見性為簡化機器學(xué)習(xí)治理流程、快速解決模型問題提供了必備的信息。
下一代Notebook
Amazon SageMaker Studio Notebook為專業(yè)人員提供了從數(shù)據(jù)探索到部署的全托管Notebook體驗。隨著團隊規(guī)模和復(fù)雜性的增加，可能有數(shù)十名專業(yè)人員需要使用Notebook協(xié)作開發(fā)模型。亞馬遜云科技推出三項新功能幫助客戶協(xié)調(diào)和自動化Notebook代碼，進一步為用戶提供最佳Notebook體驗。
簡化數(shù)據(jù)準(zhǔn)備：專業(yè)人員在準(zhǔn)備訓(xùn)練數(shù)據(jù)時希望直接在Notebook中探索數(shù)據(jù)集，以發(fā)現(xiàn)和糾正潛在的數(shù)據(jù)質(zhì)量問題（如信息缺失、極值、數(shù)據(jù)集失真和偏差）。專業(yè)人員可能要花費數(shù)月時間編寫樣板代碼將數(shù)據(jù)集的不同部分可視化，檢查數(shù)據(jù)集，以期識別和修復(fù)問題。Amazon SageMaker Studio Notebook提供內(nèi)置的數(shù)據(jù)準(zhǔn)備功能，讓專業(yè)人員只需點擊幾下即可直觀地查看數(shù)據(jù)特征、修復(fù)數(shù)據(jù)質(zhì)量問題，所有這一切都直接在Notebook環(huán)境中進行。當(dāng)用戶在Notebook中顯示dataframe（即數(shù)據(jù)的表格形式）時，Amazon SageMaker Studio Notebook會自動生成圖表幫助用戶識別數(shù)據(jù)質(zhì)量問題，提供數(shù)據(jù)轉(zhuǎn)換建議幫助解決常見問題。專業(yè)人員選擇數(shù)據(jù)轉(zhuǎn)換后，Amazon SageMaker Studio Notebook會在Notebook中生成相應(yīng)代碼，可供每次運行Notebook時重復(fù)應(yīng)用。
加速整個數(shù)據(jù)科學(xué)團隊的協(xié)作：準(zhǔn)備好數(shù)據(jù)后，專業(yè)人員就可以開始開發(fā)模型。這是一個迭代過程，可能需要團隊成員在同一個Notebook中進行協(xié)作。當(dāng)前，團隊必須通過電子郵件或聊天應(yīng)用交換Notebook和其它資產(chǎn)（如模型和數(shù)據(jù)集），以便在Notebook上實時協(xié)作，這會導(dǎo)致溝通疲勞、反饋遲滯和版本不統(tǒng)一等問題。Amazon SageMaker現(xiàn)在為團隊提供了一個工作區(qū)，成員可以在其中實時閱讀、編輯和運行Notebook，簡化協(xié)作和溝通。團隊成員可以一起查看Notebook結(jié)果，立即了解模型性能，無需反復(fù)傳遞信息。Amazon SageMaker Studio Notebook支持BitBucket 和Amazon Code Commit等服務(wù)，團隊可以輕松管理不同的Notebook版本，比較版本變更。實驗和機器學(xué)習(xí)模型這樣的附加資源也會自動保存，讓團隊工作井井有條。
Notebook代碼自動轉(zhuǎn)換為生產(chǎn)就緒作業(yè)：當(dāng)專業(yè)人員要將訓(xùn)練完成的機器學(xué)習(xí)模型用到生產(chǎn)中時，他們通常將代碼片段從Notebook復(fù)制到一個腳本，再將腳本及其所有的依賴項打包到容器，最后調(diào)度容器運行。要在日程表上重復(fù)運行該作業(yè)，他們必須搭建、配置和管理持續(xù)集成和持續(xù)交付（CI/CD）管道，才能實現(xiàn)自動化部署。搭建所有必要的基礎(chǔ)設(shè)施可能需要數(shù)周時間，這會占用核心的機器學(xué)習(xí)開發(fā)活動時間。Amazon SageMaker Studio Notebook現(xiàn)在讓專業(yè)人員可以選擇一個Notebook，將其自動化為可以在生產(chǎn)環(huán)境運行的作業(yè)。Notebook選擇完成后，Amazon SageMaker Studio Notebook會建立整個Notebook的快照，將其依賴項打包到容器，構(gòu)建基礎(chǔ)設(shè)施，按照專業(yè)人員設(shè)定的時間表將Notebook作為自動化作業(yè)運行，當(dāng)作業(yè)完成時釋放基礎(chǔ)設(shè)施，如此可以將Notebook投入生產(chǎn)所需的時間從數(shù)周縮短到數(shù)小時。
使用實時推理請求自動驗證新模型
在部署到生產(chǎn)環(huán)境之前，專業(yè)人員會測試和驗證每個模型，檢查模型性能、識別可能對業(yè)務(wù)產(chǎn)生負(fù)面影響的錯誤。專業(yè)人員通常使用過去的推理請求數(shù)據(jù)測試新模型的性能，但這些數(shù)據(jù)有時無法代表當(dāng)前的真實推理請求。例如，用于規(guī)劃最快路線的機器學(xué)習(xí)模型的歷史數(shù)據(jù)可能無法代表交通事故或突然關(guān)閉道路時交通流量的顯著改變。為了解決這個問題，專業(yè)人員將發(fā)送到生產(chǎn)模型的推理請求副本路由到他們想要測試的新模型。他們需要花費數(shù)周時間構(gòu)建這樣的測試基礎(chǔ)設(shè)施、鏡像推理請求、比較新模型在關(guān)鍵指標(biāo)（如延遲和吞吐量）上的表現(xiàn)。雖然這讓專業(yè)人員對模型的執(zhí)行情況更有信心，但為數(shù)百以至數(shù)千個模型實施這些解決方案的成本和復(fù)雜性太高，使其無法規(guī)�；�。
Amazon SageMaker Inference現(xiàn)在提供了一種功能，讓專業(yè)人員可以更輕松地實時使用相同的真實推理請求數(shù)據(jù)，將新模型的性能與生產(chǎn)模型的性能進行比較�，F(xiàn)在，他們可以輕松地將測試同時擴展到數(shù)千個新模型，無需構(gòu)建自己的測試基礎(chǔ)設(shè)施。首先，客戶選擇想要測試的生產(chǎn)模型，Amazon SageMaker Inference隨后會將新模型部署到具有完全相同條件的托管環(huán)境。Amazon SageMaker將生產(chǎn)模型收到的推理請求副本路由到新模型，并創(chuàng)建控制面板顯示關(guān)鍵指標(biāo)之間的性能差異，客戶便可以實時了解每個模型的不同之處�？蛻粢坏炞C了新模型的性能并確信它沒有潛在錯誤，就可以安全地部署它。
Amazon SageMaker全新的地理空間功能讓客戶可以更輕松地使用衛(wèi)星和位置數(shù)據(jù)進行預(yù)測
當(dāng)前，大部分收集到的數(shù)據(jù)都包含地理空間信息（如位置坐標(biāo)、天氣圖和交通數(shù)據(jù)）。但是，已經(jīng)用于機器學(xué)習(xí)的只有一小部分，原因是地理空間數(shù)據(jù)集很難處理，通常達到PB級的規(guī)模，且跨越整個城市或數(shù)百公里土地。要開始構(gòu)建地理空間模型，客戶通常會采購衛(wèi)星圖像或地圖數(shù)據(jù)等第三方數(shù)據(jù)源以補充其專有數(shù)據(jù)。由于地理空間數(shù)據(jù)規(guī)模龐大，專業(yè)人員需要合并這些數(shù)據(jù)，準(zhǔn)備數(shù)據(jù)用于訓(xùn)練，并編寫代碼將數(shù)據(jù)集劃分為可管理的子集。當(dāng)客戶準(zhǔn)備部署訓(xùn)練好的模型時，他們必須編寫更多代碼以重新組合多個數(shù)據(jù)集，將數(shù)據(jù)和機器學(xué)習(xí)模型預(yù)測關(guān)聯(lián)起來。為了從完成的模型中提取預(yù)測結(jié)果，專業(yè)人員需要花費數(shù)天時間使用開源的可視化工具在地圖上做渲染。從數(shù)據(jù)改進到可視化，整個過程可能需要幾個月的時間，這使得客戶很難利用地理空間數(shù)據(jù)及時產(chǎn)生機器學(xué)習(xí)預(yù)測。
Amazon SageMaker將客戶豐富數(shù)據(jù)集、訓(xùn)練地理空間模型并將結(jié)果可視化的時間從數(shù)月縮短到數(shù)小時，從而加速和簡化地理空間機器學(xué)習(xí)預(yù)測的生成�？蛻糁恍鑾状吸c擊或使用API就可以使用Amazon SageMaker訪問各種地理空間數(shù)據(jù)源，例如亞馬遜云科技的位置服務(wù)Amazon Location Service、開放數(shù)據(jù)集Amazon Open Data、客戶自有數(shù)據(jù)和來自PlanetLabs等第三方供應(yīng)商的數(shù)據(jù)。當(dāng)專業(yè)人員選擇了想要使用的數(shù)據(jù)集，他們可以利用內(nèi)置的運算器將這些數(shù)據(jù)集與自己的專有數(shù)據(jù)合并起來。為了加快模型開發(fā)，Amazon SageMaker提供了預(yù)訓(xùn)練的深度學(xué)習(xí)模型，其支持的用例包括通過精準(zhǔn)農(nóng)業(yè)提高作物產(chǎn)量、監(jiān)測自然災(zāi)害后區(qū)域恢復(fù)以及改善城市規(guī)劃等。訓(xùn)練完成后，內(nèi)置的可視化工具在地圖上顯示數(shù)據(jù)，揭示新的預(yù)測。
Capitec Bank是南非最大的數(shù)字銀行，擁有超過1000 萬數(shù)字客戶。 在 Capitec，我們在各個產(chǎn)品線都擁有大批數(shù)據(jù)科學(xué)家，他們構(gòu)建不同的機器學(xué)習(xí)解決方案。 Capitec Bank機器學(xué)習(xí)工程師Dean Matter表示， 我們的機器學(xué)習(xí)工程師管理著一個基于Amazon SageMaker構(gòu)建的集中式建模平臺，支持所有這些機器學(xué)習(xí)解決方案的開發(fā)和部署。在沒有任何內(nèi)置工具的情況下，跟蹤建模工作往往發(fā)生文檔脫節(jié)，模型缺乏可見性。借助Amazon SageMaker Model Cards，我們可以在統(tǒng)一環(huán)境中跟蹤大量的模型元數(shù)據(jù)。而Amazon SageMaker Model Dashboard提供了對每個模型性能的可見性。此外，Amazon SageMaker Role Manager簡化了對不同產(chǎn)品線數(shù)據(jù)科學(xué)家進行的訪問管理。每一項功能都有助于我們的模型治理，足以保證客戶對我們作為金融服務(wù)提供商的信任。
Earth Optics是一家土壤數(shù)據(jù)測量和制圖公司，利用專有傳感器技術(shù)和數(shù)據(jù)分析精確測量土壤健康狀況和土壤結(jié)構(gòu)。 我們希望使用機器學(xué)習(xí)幫助客戶利用經(jīng)濟實惠的土壤地圖提高農(nóng)業(yè)產(chǎn)量。 Earth Optics 首席執(zhí)行官Lars Dyrud 表示， Amazon SageMaker 的地理空間機器學(xué)習(xí)功能使我們能夠使用多個數(shù)據(jù)源快速構(gòu)建算法原型，并且將研究和部署生產(chǎn)API之間的時間縮短到只有一個月。得益于 Amazon SageMaker，我們?yōu)槊绹鞯氐霓r(nóng)場和牧場部署了用于土壤固碳的地理空間解決方案。
HERE Technologies是一個領(lǐng)先的位置數(shù)據(jù)和技術(shù)平臺，可幫助客戶創(chuàng)建自定義地圖和基于高精度位置數(shù)據(jù)的位置體驗。 我們的客戶需要實時情境信息，利用空間模式和趨勢洞察做出業(yè)務(wù)決策。 HERE Technologies 首席產(chǎn)品和技術(shù)官Giovanni Lanfranchi表示， 我們依靠機器學(xué)習(xí)自動從不同數(shù)據(jù)源獲取位置數(shù)據(jù)，增強數(shù)據(jù)的情境信息，加速數(shù)據(jù)分析。Amazon SageMaker的測試新功能讓我們能夠在生產(chǎn)中更嚴(yán)格、更主動地測試機器學(xué)習(xí)模型，避免對客戶造成不利影響或者因為部署的模型出錯導(dǎo)致任何中斷。這對我們至關(guān)重要，因為客戶期待我們根據(jù)瞬息萬變的實時位置數(shù)據(jù)提供及時的見解。
Intuit 是全球性金融技術(shù)平臺，通過TurboTax、Credit Karma、QuickBooks和Mailchimp等產(chǎn)品支持全球超過1 億客戶的繁榮發(fā)展。 我們正在釋放數(shù)據(jù)的力量，給我們平臺上的消費者、個體經(jīng)營者和小型企業(yè)帶來金融變革。 Intuit工程和產(chǎn)品開發(fā)總監(jiān)Brett Hollman 表示， 為了進一步提高團隊效率、將AI 驅(qū)動的產(chǎn)品快速推向市場，我們與亞馬遜云科技密切合作，設(shè)計了SageMaker Studio Notebook中全新的團隊協(xié)作功能。我們成功實現(xiàn)了簡化溝通和協(xié)作，讓我們的團隊能夠使用Amazon SageMaker Studio將機器學(xué)習(xí)開發(fā)規(guī)�；�。
