亞馬遜云科技推出“智能湖倉”架構(gòu)(亞馬遜智能倉庫的介紹)
中關(guān)村在線消息,2021年6月24日,亞馬遜云科技針對數(shù)據(jù)及數(shù)據(jù)分析等服務(wù)持續(xù)發(fā)力,推出“智能湖倉”架構(gòu),據(jù)悉,從2021年初至今,亞馬遜已在由光環(huán)新網(wǎng)和西云數(shù)據(jù)運營的中國區(qū)域總共上線了近40項相關(guān)服務(wù)和特性。亞馬遜云科技“智能湖倉”架構(gòu)將亞馬遜云科技全面而深入的數(shù)據(jù)服務(wù)無縫集成,打通了數(shù)據(jù)湖和數(shù)據(jù)倉庫之間數(shù)據(jù)移動和訪問,并且進一步實現(xiàn)了數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫,以及在數(shù)據(jù)查詢、數(shù)據(jù)分析、機器學習等各類專門構(gòu)建的服務(wù)之間按需移動,從而形成統(tǒng)一且連續(xù)的整體,滿足各種實際業(yè)務(wù)場景下的不同需求。亞馬遜云科技“智能湖倉”架構(gòu)具有靈活擴展、專門構(gòu)建、數(shù)據(jù)融合、深度智能和開源開放五大特點,涵蓋數(shù)據(jù)源、數(shù)據(jù)攝取層、存儲層、目錄層、數(shù)據(jù)處理層和消費層六層架構(gòu),可輕松應對海量業(yè)務(wù)數(shù)據(jù),充分挖掘數(shù)據(jù)價值。
亞馬遜云科技大中華區(qū)云服務(wù)產(chǎn)品部總經(jīng)理顧凡表示,“大數(shù)據(jù)對于現(xiàn)代商業(yè)的影響不言而喻。用戶期盼從數(shù)據(jù)中獲得洞察,但同時也面臨數(shù)據(jù)存儲、處理和分析等方面的諸多挑戰(zhàn),例如數(shù)據(jù)指數(shù)級增長、數(shù)據(jù)來源不一、數(shù)據(jù)類型多元化等等。面對細分的應用場景,目前市面上單一、通用的數(shù)據(jù)解決方案在性能上會有所妥協(xié),很難滿足客戶的真實需求,用戶亟需融合了易用、易擴展、高性能、專門構(gòu)建、安全及智能等特性于一體的新一代數(shù)據(jù)管理架構(gòu)。亞馬遜云科技‘智能湖倉’架構(gòu)在打通數(shù)據(jù)湖和數(shù)據(jù)倉庫的基礎(chǔ)上,進一步將各種數(shù)據(jù)服務(wù)無縫集成,確保數(shù)據(jù)在不同服務(wù)之間順暢流動,致力于幫助客戶盡可能最大程度地提高其數(shù)據(jù)價值,加速創(chuàng)新,并成為數(shù)據(jù)驅(qū)動型組織。“
據(jù)悉,企業(yè)增長咨詢公司沙利文中國聯(lián)合頭豹研究院此前發(fā)布了《2020年中國數(shù)據(jù)管理解決方案市場報告》。該報告針對成長指數(shù)(功能成長)、創(chuàng)新指數(shù)(能力創(chuàng)新)、基本指數(shù)(基本數(shù)據(jù)分析能力)三大維度,對競爭主體旗下數(shù)據(jù)管理解決方案競爭力進行了評估。亞馬遜云科技綜合實力排名第一,且三項指數(shù)名列第一。
亞馬遜云科技“智能湖倉”架構(gòu)實現(xiàn)“數(shù)據(jù)入云,融合智能”
亞馬遜云科技“智能湖倉”架構(gòu)以Amazon Simple Storage Service(Amazon S3)為基礎(chǔ)構(gòu)建數(shù)據(jù)湖,作為中央存儲庫,圍繞數(shù)據(jù)湖集成專門的“數(shù)據(jù)服務(wù)環(huán)”,包括數(shù)據(jù)倉庫、機器學習、大數(shù)據(jù)處理、日志分析等數(shù)據(jù)服務(wù),然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具,實現(xiàn)數(shù)據(jù)湖的構(gòu)建、數(shù)據(jù)的移動和管理等。亞馬遜云科技“智能湖倉”架構(gòu)具有以下五個特點。
靈活擴展,安全可靠。亞馬遜云科技“智能湖倉”架構(gòu)用Amazon S3作為數(shù)據(jù)湖的存儲基礎(chǔ),企業(yè)可根據(jù)不斷變化的需求,靈活擴展或縮減存儲資源。Amazon S3可達到 99.999999999%(11 個 9)的數(shù)據(jù)持久性,且具有強大的安全性、合規(guī)性和審計功能。
專門構(gòu)建,極致性能。為了滿足企業(yè)不同的數(shù)據(jù)分析需求,亞馬遜云科技提供專門構(gòu)建的數(shù)據(jù)分析服務(wù),包括交互式查詢服務(wù)Amazon Athena、云上大數(shù)據(jù)平臺Amazon EMR、日志分析服務(wù)Amazon Elasticsearch Service、Amazon Kinesis、云數(shù)據(jù)倉庫Amazon Redshift等。企業(yè)在使用過程中不必在性能、規(guī)?;虺杀局g做出妥協(xié)。其中AQUA(分布式硬件加速緩存)使 Redshift 查詢的運行速度比其他其他云數(shù)據(jù)倉庫最高快 10 倍;Amazon EMR運行大數(shù)據(jù)處理及分析服務(wù)的成本不到傳統(tǒng)本地解決方案的一半,但其速度比標準Apache Spark快 3 倍以上。
數(shù)據(jù)融合,統(tǒng)一治理。亞馬遜云科技“智能湖倉”架構(gòu)不止是打通了數(shù)據(jù)湖、數(shù)據(jù)倉庫,還進一步將數(shù)據(jù)湖、數(shù)據(jù)倉庫以及所有其它數(shù)據(jù)服務(wù)組成統(tǒng)一且連續(xù)的整體。在實際應用場景中,數(shù)據(jù)需要在這些服務(wù)與數(shù)據(jù)存儲方案之間,以及服務(wù)與服務(wù)之間按需來回移動,跨服務(wù)訪問。亞馬遜云科技“智能湖倉”架構(gòu)降低了數(shù)據(jù)融合與數(shù)據(jù)共享時統(tǒng)一安全管控和數(shù)據(jù)治理的難度。其中,Amazon Glue提供數(shù)據(jù)無縫流動能力,Amazon Lake Formation提供了快速構(gòu)建湖倉、簡化安全與管控的全面數(shù)據(jù)管理能力。
敏捷分析,深度智能。亞馬遜云科技將數(shù)據(jù)、數(shù)據(jù)分析服務(wù)與機器學習服務(wù)無縫集成,為企業(yè)提供更智能的服務(wù)。例如Amazon Aurora ML、Amazon Redshift ML、Neptune ML等,數(shù)據(jù)庫開發(fā)者只需使用熟悉的 SQL 語句,就能進行機器學習操作;Amazon Glue、Amazon Athena ML、Amazon QuickSight Q等,可以幫助企業(yè)使用熟悉的技術(shù),甚至自然語言來使用機器學習,幫助企業(yè)利用數(shù)據(jù)做出更好的決策。還可以通過機器學習服務(wù)Amazon Sage Maker、個性化推薦服務(wù)Amazon Personalize等挖掘數(shù)據(jù)智能。
擁抱開源,開放共贏。亞馬遜云科技“智能湖倉”架構(gòu)中的關(guān)鍵組件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于開源代碼,接口與開源完全兼容,無需改變?nèi)魏未a就可以實現(xiàn)遷移,也兼容主流的管理工具。OpenSearch 基于開放的Apache2.0 授權(quán),其代碼完全開放,可以免費下載使用并獲得企業(yè)級的功能。這些服務(wù)允許企業(yè)在轉(zhuǎn)型過程中,以非常低的改造成本向云端遷移。
亞馬遜云科技賦能企業(yè)重塑大數(shù)據(jù)
目前在中國,TCL、豐田互聯(lián)、欣和、德比軟件、安克創(chuàng)新、啟元世界等各行業(yè)客戶,正在采用亞馬遜云科技數(shù)據(jù)相關(guān)服務(wù),開展數(shù)據(jù)治理及數(shù)據(jù)價值挖掘。其中, TCL基于亞馬遜云科技“智能湖倉”架構(gòu)搭建的解決方案,將傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫與數(shù)據(jù)湖打通,消除了數(shù)據(jù)孤島,讓全品類IoT設(shè)備的數(shù)據(jù)和業(yè)務(wù)系統(tǒng)實現(xiàn)了互聯(lián)互通,海外業(yè)務(wù)與國內(nèi)業(yè)務(wù)實現(xiàn)了數(shù)據(jù)統(tǒng)一。TCL使用了亞馬遜云科技廣泛的云服務(wù),包括:使用Amazon S3構(gòu)建數(shù)據(jù)湖,通過大數(shù)據(jù)分析服務(wù)Amazon EMR、Amazon Redshift和機器學習服務(wù)獲得數(shù)據(jù)洞察等。通過使用亞馬遜云科技專門構(gòu)建的數(shù)據(jù)分析服務(wù),之前需要一周才能完成的復雜數(shù)據(jù)報表,現(xiàn)在僅需要1-2小時;每天運行300個以上的作業(yè)產(chǎn)生 200多個BI報表,為運營和數(shù)字化營銷提供有力支撐。
啟元世界(北京)信息技術(shù)服務(wù)有限公司公司擁有深度學習、強化學習等自主研發(fā)的核心技術(shù)和產(chǎn)品,以SaaS的形式,為國內(nèi)多家知名的游戲公司提供虛擬玩家陪玩、游戲商品推薦、關(guān)卡數(shù)值設(shè)計、游戲內(nèi)容生成等服務(wù)。啟元世界使用了亞馬遜云科技全棧的數(shù)據(jù)分析服務(wù)進行高效開發(fā)部署,保障業(yè)務(wù)快速穩(wěn)定發(fā)展。啟元世界CTO龍海濤表示,“作為一家領(lǐng)先的AI公司,我們希望把更多精力聚焦在算法迭代與產(chǎn)品打磨,我們需要成熟、穩(wěn)定、免運維的大數(shù)據(jù)托管服務(wù)。亞馬遜云科技智能湖倉通過數(shù)據(jù)的融合,專門構(gòu)建的分析工具,可靠高效地支撐了我們敏捷的業(yè)務(wù)迭代,其中Amazon Kinesis實現(xiàn)了分鐘級部署,并承載百萬QPS(每秒查詢率)流數(shù)據(jù);Amazon EMR、Amazon Managed Workflows for Apache Airflow使批處理運行的時間減少了80%,運營總成本下降了50%;Amazon Glue 、Amazon Athena、Amazon Quick Sight等服務(wù)實現(xiàn)了即席查詢秒級響應?!?/p>
上海馳騖(ChiefClouds)信息科技有限公司,是國內(nèi)消費者數(shù)據(jù)營銷平臺供應商,為企業(yè)搭建消費者數(shù)據(jù)平臺(CDP),以此為基礎(chǔ)構(gòu)建覆蓋數(shù)字媒體和陣地運營、CRM、智慧導購等場景的全渠道和全鏈路消費者運營體系。馳騖科技創(chuàng)始人兼CEO程華奕表示,“作為企業(yè)級數(shù)據(jù)管理平臺的實踐者,我們非常認可亞馬遜云科技的智能湖倉架構(gòu)。以Amazon S3為核心的數(shù)據(jù)基礎(chǔ)平臺,讓我們在服務(wù)客戶時,在數(shù)據(jù)安全性、可靠性、性能和擴展性等方面都沒有后顧之憂。亞馬遜強大的數(shù)據(jù)分析管理工具組合,讓我們能夠?qū)Ω鞣N數(shù)據(jù)處理和分析游刃有余,快捷、高效地利用機器學習挖掘數(shù)據(jù)智能,服務(wù)于客戶的業(yè)務(wù)創(chuàng)新?!?/p>
亞馬遜云科技半年內(nèi)在中國區(qū)域新增的近40項數(shù)據(jù)及數(shù)據(jù)分析相關(guān)的服務(wù)及特性,進一步強化了亞馬遜云科技數(shù)據(jù)以及數(shù)據(jù)分析相關(guān)服務(wù)組合。其中,AmazonGlue 2.0 版本將作業(yè)啟動時間縮短了10倍,并且可提供1分鐘最短計費持續(xù)時間,AmazonAthena 2.0 包括多項性能改進和新功能,Amazon Lake Formation在寧夏區(qū)域推出(去年底在北京區(qū)域推出),Amazon Redshift、Amazon EMR、Amazon Elasticsearch Service、Amazon Sage Maker等均發(fā)布了諸多新特性。
(7713517)