阿里云 EMR Serverless Spark 版已于2024年9月14日正式商業(yè)化售賣,本文將簡(jiǎn)要介紹 EMR Serverless Spark 的產(chǎn)品優(yōu)勢(shì)、應(yīng)用場(chǎng)景、支持地域,及計(jì)費(fèi)模式等。
EMR Serverless Spark 是一款云原生,專為大規(guī)模數(shù)據(jù)處理和分析而設(shè)計(jì)的全托管 Serverless 產(chǎn)品。該產(chǎn)品內(nèi)置 Fusion Engine,100%兼容開(kāi)源 Spark 編程接口,相比于開(kāi)源 Spark 性能提升300%;提供 Notebook 及 SQL 開(kāi)發(fā)、調(diào)試、發(fā)布、調(diào)度、監(jiān)控診斷等一站式數(shù)據(jù)開(kāi)發(fā)體驗(yàn);支持彈性伸縮、按量付費(fèi),進(jìn)一步降低計(jì)算成本!
產(chǎn)品優(yōu)勢(shì)
易用
提供作業(yè)開(kāi)發(fā)、調(diào)試、發(fā)布、調(diào)度等一站式數(shù)據(jù)開(kāi)發(fā)體驗(yàn)
內(nèi)置版本管理、開(kāi)發(fā)與生產(chǎn)隔離,滿足企業(yè)級(jí)開(kāi)發(fā)與發(fā)布標(biāo)準(zhǔn)
提供內(nèi)置 SQL Editor 和 Notebook,提供數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)科學(xué)一體化開(kāi)發(fā)體驗(yàn)
極速
自研 Fusion 引擎,內(nèi)置高性能向量化計(jì)算和 RSS 能力,相對(duì)開(kāi)源版本性能提升 3 倍以上
開(kāi)放
支持開(kāi)放、靈活、彈性的數(shù)據(jù)湖倉(cāng)分析
支持使用 DataFrame、SQL、PySpark 等多種編程方式開(kāi)發(fā)批、流、交互式分析、機(jī)器學(xué)習(xí)等不同類型的任務(wù),并進(jìn)行調(diào)度執(zhí)行
支持通過(guò) Spark Submit、Livy、Spark Thrift Server 等開(kāi)源兼容的方式進(jìn)行任務(wù)提交
支持 DLF 以及外部 Hive Metastore 作為元數(shù)據(jù)服務(wù)
官方提供開(kāi)源 Operators 對(duì)接 Airflow、DolphinScheduler 調(diào)度器
云原生
開(kāi)箱即用,無(wú)需手動(dòng)管理和運(yùn)維云基礎(chǔ)設(shè)施。
彈性伸縮,秒級(jí)資源彈性與供給。
按量付費(fèi),僅按任務(wù)實(shí)際使用的計(jì)算資源量付費(fèi),進(jìn)一步降低計(jì)算總成本。
應(yīng)用場(chǎng)景
湖倉(cāng)分析場(chǎng)景
EMR Serverless Spark 與 DLF 深度集成,結(jié)合了數(shù)據(jù)湖倉(cāng)元數(shù)據(jù)管理、數(shù)據(jù)存儲(chǔ)等托管能力,提供了一站式湖倉(cāng)分析解決方案。這一解決方案涵蓋了從數(shù)據(jù)清洗、轉(zhuǎn)換到分析的完整數(shù)據(jù)處理鏈路和流程,確保數(shù)據(jù)處理的高效性。同時(shí),Serverless Spark 還提供企業(yè)級(jí)的安全能力,包括完整的數(shù)據(jù)目錄、庫(kù)表等安全要素,以保障數(shù)據(jù)的安全性。此外,該湖倉(cāng)分析解決方案支持彈性伸縮功能,實(shí)現(xiàn)資源的優(yōu)化配置,確保能夠高效處理大規(guī)模數(shù)據(jù)。通過(guò)簡(jiǎn)化數(shù)據(jù)治理流程和降低運(yùn)維成本,EMR Serverless Spark 幫助企業(yè)加速業(yè)務(wù)決策和創(chuàng)新,提升整體數(shù)據(jù)管理和分析的效率。
大數(shù)據(jù)AI一體化場(chǎng)景
EMR Serverless Spark 提供內(nèi)置 Notebook,支持交叉使用 SQL 和 PySpark 進(jìn)行大數(shù)據(jù)處理和數(shù)據(jù)科學(xué)分析一體化開(kāi)發(fā),同時(shí)支持對(duì)接 DLF 大數(shù)據(jù) + AI 統(tǒng)一元數(shù)據(jù)視圖,融合數(shù)據(jù)和 AI 應(yīng)用,支持企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的智能化決策。
傳統(tǒng)數(shù)倉(cāng)場(chǎng)景
面向經(jīng)典的數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)離線處理場(chǎng)景,EMR Serverless Spark 為您提供一站式解決方案,幫助您完成數(shù)據(jù)倉(cāng)庫(kù)的高效建設(shè),包括數(shù)據(jù)開(kāi)發(fā)、版本管理、任務(wù)調(diào)度、監(jiān)控診斷、資源觀測(cè)等。另外,在 Fusion 引擎的加持下,EMR Serverless Spark 提供在線數(shù)據(jù)查詢與分析服務(wù),方便您即時(shí)了解業(yè)務(wù)變化。借助 Spark Thrift Server 提供的 JDBC 接口,您可以輕松將 EMR Serverless Spark 與您的 BI 系統(tǒng)對(duì)接,實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的高效查詢和分析,進(jìn)一步提升數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用價(jià)值。
更多信息,請(qǐng)參見(jiàn)什么是EMR Serverless Spark!緃ttps://x.sm.cn/7hmaFqW】
控制臺(tái)入口:https://x.sm.cn/61a0FwU。
支持地域
EMR Serverless Spark支持以下地域
中國(guó)站賬號(hào)
國(guó)際站賬號(hào)
產(chǎn)品計(jì)費(fèi)
商業(yè)化開(kāi)啟后將涉及相關(guān)功能的收費(fèi),具體收費(fèi)標(biāo)準(zhǔn)見(jiàn)產(chǎn)品計(jì)費(fèi)!緃ttps://x.sm.cn/3svrzfH】
說(shuō)明
商業(yè)化開(kāi)啟后,繼續(xù)使用 EMR Serverless Spark 將按照計(jì)費(fèi)標(biāo)準(zhǔn)收取費(fèi)用,如果不再使用請(qǐng)及時(shí)刪除相關(guān)資源。
服務(wù)等級(jí)協(xié)議
商業(yè)化開(kāi)啟后,產(chǎn)品保障服務(wù)等級(jí)協(xié)議,詳情請(qǐng)參見(jiàn) E-MapReduce Serverless Spark 服務(wù)等級(jí)協(xié)議。
中國(guó)站:https://x.sm.cn/3BTrfy5
國(guó)際站:https://x.sm.cn/27drrpK
聯(lián)系我們
如果在使用 EMR Serverless Spark 的過(guò)程中遇到任何疑問(wèn),可加入釘釘群58570004119咨詢。