等待了近1年時間後,Pure Storage的雲端區塊儲存服務——Cloud Block Store(CBS),終於在去年底(2019)正式上線。
過去一年多以來,Pure Storage在整合公有雲平臺方面動作連連,於2018年底宣布了稱作「Pure Storage Cloud Data Services」的一系列雲端儲存服務,而CBS便是其中之一。
CBS是當前興起中的新類型儲存產品——「雲端儲存陣列」的一員。這種產品的本質,其實就是傳統儲存陣列廠商將其儲存陣列系統移植到公有雲上,成為「雲端化」儲存陣列而成,透過公有雲平臺來提供儲存空間服務。
而CBS便是Pure Storage將旗下的FlashArray全快閃儲存陣列,移植到AWS公有雲平臺上的產品,可在AWS上提供基於iSCSI的區塊儲存空間服務,目前有10TB、20TB與50TB等3種容量授權可選,並憑藉著與FlashArray儲存陣列相同的Purity//FA儲存作業系統,具備了Thin Provisioning、壓縮與重複資料刪除等進階功能。
目前CBS雖然只支援AWS平臺,但依照Pure Storage的規畫,日後也將在Azure與Google Cloud上推出相同的服務。
CBS是Pure Storage FlashArray全快閃儲存陣列,移植到AWS而成的雲端化儲存陣列,可在AWS上提供基於Pure Storage儲存系統的區塊儲存服務,並含有完整的資料服務功能。
雲端化的儲存陣列
公有雲服務的盛行已是大勢所趨,傳統儲存陣列廠商面對這個新興威脅,一個出路便是「打不過他,就加入他」,把自身的儲存陣列平臺移植到公有雲平臺上。
公有雲服務商雖然自身提供了原生的儲存服務,但老牌的儲存陣列平臺,有著用戶熟悉、系統成熟、資料服務功能豐富完整的優點,而移植到公有雲以後,不僅保有儲存陣列原本的優點,還能兼有雲端服務的維運負擔輕、按需訂購彈性等優點。
以CBS來說,相較於AWS自身原生的兩種區塊儲存服務——執行個體儲存空間(Instance Stores),以及EBS(Elastic Block Store),目的同樣都是提供區塊儲存服務,但能提供後兩者沒有的豐富資料服務功能。
AWS執行個體儲存空間,是一種執行個體直連的本地端儲存空間,有硬碟、SAS SSD與NVMe SSD等型式,具備低延遲的特點,但組態固定,缺乏彈性,也沒有因應磁碟裝置故障的冗餘能力。
至於EBS儲存區,則有著類型選擇豐富(有io1、gp2、st1與sc1等4種)、組態彈性(500GB~16TB),以及透過分散複制機制所提供的高可用性,還具備基本的資料服務功能(快照與加密)。
而CBS實際上是建立在前兩者的基礎上——以EBS的io1儲存區作為NVRAM寫入緩衝角色,以執行個體本機的NVMe SSD作為讀取快取與寫入儲存區,再結合S3物件儲存作為備援的持久儲存區,並能透過Pure Storage的ActiveCluster複製功能,跨不同AWS可用區域(AZ)建立異地的高可用性CBS群組,兼具了效能與可靠性。
更重要的是,CBS還能憑藉Pure Storage自身專屬的Purity//FA儲存平臺,提供目前AWS原生儲存服務還沒有的即時壓縮、重複資料刪除等資料縮減功能,藉此改善儲存空間耗用經濟性。
因此CBS這類雲端儲存陣列產品的問世,也讓用戶在公有雲上的應用,除了使用各公有雲自身原生的儲存服務外,也多了Pure Storage這些第三方廠商的解決方案,各自基於專屬儲存平臺,提供了公有雲儲存服務新選擇。
獨具一格的雲端部署架構
如前所述,CBS這類雲端儲存陣列產品,是將傳統儲存陣列平臺移植到公有雲環境而成,從而為公有雲上的運算單元,提供基於傳統儲存陣列平臺的儲存空間服務。而要實現這樣的目的,關鍵便在於如何讓傳統儲存陣列平臺「移植」部署到雲端環境,從而化身為公有雲上的儲存服務。
將儲存陣列移植到公有雲上的方式,主要分為兩種。一種方式為實體部署,也就是在公有雲服務商資料中心部署實體儲存設備。例如NetApp的Cloud Volumes Service(CVS)、HPE的Cloud Volumes,都屬於這種類型。
另一種方式為軟體定義部署,也就是利用公有雲的執行個體與儲存空間,來運行儲存陣列系統軟體。如NetApp的Cloud Volumes ONTAP(CVO)、Dell EMC的UnityVSA Cloud Edition,以及我們這裡介紹的Pure Storage CBS,都屬於這種類型。
不過,即使同樣屬於軟體定義部署,但個別產品的實作方式也大相逕庭,而CBS可說是最特別的一種。
NetApp CVO算是軟體定義部署式雲端儲存陣列的標準範本,使用1臺雲端運算單元來運行NetApp的ONTAP系統,擔任儲存控制器角色,並掛載公有雲的區塊儲存區來作為儲存空間。為了提高可用性,還可將2臺CVO組成高可用性群組。
而CBS則動用了AWS的EC2執行個體、執行個體本機儲存區、EBS區塊儲存區,以及S3物件儲存區,來扮演儲存控制器、寫入緩衝、讀取快取等角色,每套CBS單元至少需耗用9臺或16臺執行個體(2臺用於控制器,7或14臺用於虛擬磁碟)、7個EBS服務的區塊磁碟區,與一定容量的S3儲存區。
雖然CBS耗用的資源相對較大,成本相對也較高,但藉此在AWS上再現了FlashArray全快閃儲存陣列的架構,理應更能保證效能與可用性,以因應Tier1的關鍵應用儲存需求。
靈活的混合雲應用方式
CBS這類雲端儲存陣列,除了能為公有雲的儲存服務,提供基於第3方儲存廠商平臺的新選擇外,另一個重點是能結合用戶的本地端儲存設備,構成高度整合的混合雲架構。
以CBS來說,便能與用戶本地端的FlashArray儲存陣列,構成緊密的混合雲應用架構。CBS與FlashArray的核心,同樣都是基於Purity//FA作業系統,因此可以相互連結,構成異地備援,在儲存服務這一層級,直接透過磁碟區的遠端複製,在本地端FlashArray與雲端的CBS之間,交換或遷移資料。
另外,CBS也能結合Pure Storage的CloudSnap雲端快照儲存服務,提供經濟的混合雲應用。用戶平時可將本地端FlashArray的資料。透過CloudSnap上傳到S3儲存空間保存,待需要異地備援時,再訂購與啟用CBS,然後於CBS上掛載CloudSnap在S3保存的本地端FlashArray快照,便能迅速完成CBS與本地端間的站點資料同步。
Cloud Block Store的版本與規格
在AWS環境中運行的CBS雲端儲存陣列,是以AWS的資源架構而成,分別使用EC2的c5n與i3執行個體,以及EBS的io1區塊儲存區,來分別扮演儲存控制器、Flash儲存模組、讀取快取,以及NVRAM模組等角色。
Pure Storage提出了兩種CBS組成規格——CBS //V10A-R1與CBS //V20A-R1,分別採用不同等級的EC2執行個體與EBS io1儲存區。
其中較低階的CBS //V10A-R1,Pure Storage建議使用2臺c5n.9xlarge執行個體來作為儲存控制器,搭配作為虛擬磁碟機的7或14臺i3.2xlarge執行個體,再加上作為NVRAM的7個60GB EBS io1磁碟區。其中,作為控制器的c5n.9xlarge執行個體,可提供50Gbps的總網路頻寬,每個連接埠的頻寬為5Gbps,整個系統則可提供13.8TB~15.2TB的可用容量。
至於較高階的CBS //V20A-R1,控制器是使用2臺規格更高的c5n.18xlarge執行個體來擔任,搭配作為虛擬磁碟機的7或14臺i3.4xlarge執行個體,或是7臺i3.8xlarge執行個體,加上作為NVRAM的7個120GB EBS io1磁碟區。其中,作為控制器的c5n.18xlarge執行個體,可提供100Gbps的總網路頻寬,每個連接埠的頻寬為5Gbps,整個系統能提供55.2TB~60.8TB的可用容量。
CBS使用的執行個體規格
Pure Storage建議用於扮演CBS儲存控制器角色的兩種執行個體——c5n.9xlarge與c5n.18xlarge,都屬於c5n系列運算優化型執行個體,是EC2服務中針對HPC、資料湖等應用,特別強調運算能力與網路傳輸頻寬的執行個體,基於3 GHz的Intel Xeon Platinum 處理器,分別可提供36個與72個vCPU、96GB與192GB記憶體,以及50Gbps與100Gbps傳輸頻寬,可保證CBS的I/O效能,並因應資料刪減相關功能帶來的運算負荷。
而CBS用於擔任虛擬磁碟機角色的3種執行個體——i3.2xlarge、i3.4xlarge與i3.8xlarge,則屬於i3系列儲存優化執行個體,特別強調本機儲存能力,均配置了直連的NVMe SSD,但處理器規格與網路頻寬相對較低(10Gbps以下) 。
另外Pure Storage還建議,用戶在訂購供CBS使用的執行個體時(包含控制器與虛擬磁碟),選用可轉換型式的預留執行個體(Convertible Reserve Instance),而非標準預留執行個體(Standard Reserve Instance),以便運用可轉換預留執行個體便於變更屬性的特性,在日後升級為更高階的執行個體。
Cloud Block Store的訂閱形式
如同多數的公有雲服務產品,CBS的訂購方式,也分為公有雲服務商與儲存廠商等兩個來源。
「Pure as-a-Service」服務是一種混合雲的授權,在「Pure Storage ES2」採購項目下,提供了在1年(以上)合約期限內,100TB容量起跳的混合雲使用空間授權(雲端CBS+本地端FlashArray),用戶從這裡取得CBS的授權後,再到AWS市集中的「Cloud Block Store - Product Deployment」訂閱項目下完成部署。
更單純的方式,是直接從AWS的市集訂閱CBS服務,先在「Cloud Block Store」訂閱項目下,購買使用空間授權,然後再到「Cloud Block Store - Product Deployment」項目下完成部署。
AWS提供了4種等級的CBS授權——Small、Medium、Large與按使用量計價的Pay-as-you-go。其中Small等級授權的預留容量上限是10TB,Medium等級是20TB,Large等級為50TB,訂閱期限有1個月或12個月兩種可選。
比較特別的是Pay-as-you-go授權,適合想要體驗CBS的用戶,這種模式不需要一次購買定量的空間,頭1個月10TB內不收取費用,從第2個月起,再按每單位每GB來計價,訂閱期限以1個月為基準。
除了前述4種等級的容量授權費用外,CBS還有基本設定費(Basic Setup)、超過預留容量上限的超量(Overage) 使用費,以及加值服務費(Professional services)等額外費用。
其中,加值服務是一系列幫助用戶部署CBS的諮詢與協助服務,包含初期的需求評估、部署前準備、部署作業執行、部署後作業等服務,同時,又分為基本加值服務(Basic Professional services),以及進階加值服務(Advanced Professional services),而前述的基本設定(Basic Setup)費用所對應的部份,就等於這裡所提及的基本加值服務。
Cloud Block Store 的採購模式
用戶可透過Pure Storage的「Pure as-a-Service」服務,或直接從AWS市集訂閱CBS的授權,前者可提供較長的訂閱期限(1~3年),後者則提供較靈活的按月訂閱與1年期訂閱。圖片來源/Pure Storage
Cloud Block Store 的採購層級
CBS的授權以容量作為層級區分基準,分為Small(10TB)、Medium(20TB)與Large(50TB),再加上按使用量計價的Pay-as-you-go等4種層級。圖片來源/AWS
Cloud Block Store系統管理與軟體功能
由於CBS是FlashArray儲存陣列移植AWS的「雲端化」版本,核心相同,所以,系統管理方式與軟體功能,基本上,也是與Pure Storage自家的FlashArray儲存陣列相同。
在系統管理方面,如同本地端的FlashArray儲存陣列,CBS也是透過自身內含的網頁控制臺,來進行基本的監控與設定作業,管理介面與FlashArray完全一致。除此之外,用戶還能利用Pure Storage的Pure 1雲端AI管理平臺來管理CBS,包括從雲端集中監控CBS的運行,以及使用Pure 1的效能分析、資源耗用預測等功能,來檢核與預估CBS系統的使用情況。
在軟體方面,CBS運行的是FlashArray的作業系統Purity//FA的修改版本,僅有核心的部份稍微不同,同時,也擁有FlashArray幾乎全部的軟體功能,只有下列2項不提供——Purity//RUN與Windows File Services(WFS)。
其中的Purity//RUN是一項輕量的虛擬化功能,可以透過Container或VM的形式,使用部份控制器處理器與記憶體資源來執行用戶需要的應用功能。而WFS則是架構在Purity//RUN上的服務,可以運行CIFS/SMB與NFS等檔案服務,讓FlashArray扮演NAS的角色。
由於目前Pure Storage將CBS定位於專門提供區塊儲存服務(從產品名稱即清楚表明),因而不提供前述兩項附加功能。
CBS的網頁控制臺
如同本地端的FlashArray儲存陣列,雲端上的CBS也提供了相同的網頁式控制臺,管理者可藉此執行基本的系統管理與設定工作,包括磁碟區設定、磁碟區掛載、系統運行監控等基本管理功能,以及快照、遠端複製等進階資料服務功能,無論操作介面還是操作方式,都與FlashArray儲存陣列的網頁控制臺一致。
透過Pure 1雲端平臺管理CBS
用戶也能透過Pure Storage的Pure 1雲端AI管理平臺,從遠端監控CBS的運行,並使用效能分析、資源耗用預測等功能。圖片來源/Pure Storage
Cloud Block Store的運作架構
我們可將CBS這款產品,視為Pure Storage將FlashArray快閃儲存陣列,移植到AWS平臺的「雲端化」版本。
FlashArray儲存陣列的軟體,是以Pure Storage專屬的Purity//FA儲存作業系統為核心;硬體部份,則由內含控制器、NVRAM與Flash儲存模組的Base機箱,加上外接的擴充儲存櫃組成。每臺FlashArray儲存陣列,含有這4種主要元件:
● 控制器:負責運行Purity//FA儲存作業系統,以及提供前、後端I/O介面,每臺Base機箱含有2組控制器,構成Active—Standby的高可用性架構。
● NVRAM模組:NVRAM模組由DRAM、備份用Flash模組與供電用的超級電容組成,目的是為寫入I/O提供一個高效能、且能預防斷電的緩衝儲存區。每臺Base機箱最多可以安裝4組NVRAM模組,並且以互為備援的方式,透過NVMe介面兩兩配置給2組控制器使用。
● 讀取快取記憶體:FlashArray陣列的讀取快取記憶體可分為兩種——控制器內含的DRAM,以及控制器外的DMM模組。受限於容量與成本,控制器內含的DRAM,主要用於metadata的讀取快取,至於一般資料的讀取I/O,則主要是直接從底層的Flash儲存模組來讀取,因此也導致較大的延遲。
不過,Pure Storage在2019年9月,推出基於Intel Optane儲存級記憶體的DMM模組(DirectMemory Modules),專用於讀取I/O的快取,安裝在Flash模組磁碟槽中,配置給控制器使用,藉此可讓讀取延遲獲得5倍的改善,但目前只有少數FlashArray//X系列支援DMM模組。
● Flash儲存模組:包括SAS介面的SSD,或NVMe介面的DFM模組(DirectFlash Modules)兩種,以10個模組的10 module pack為基本單位。
而到了CBS,Pure Storage為了在AWS環境,「重現」FlashArray儲存陣列的架構及系統功能,使用AWS EC2、EBS與S3的資源,組成CBS的「控制器」與「虛擬磁碟機」等2種元件,進而扮演儲存控制器、NVRAM、讀取快取與Flash儲存模組等角色。
CBS的控制器
CBS使用2臺AWS EC2 c5n執行個體,來擔任FlashArray儲存陣列的兩組控制器角色。每臺c5n擁有總頻寬50Gbps或100Gbps的網路介面,可兼用於系統管理或iSCSI傳輸連接。
CBS的虛擬磁碟
CBS使用獨立的AWS EC2的i3執行個體,以此構成了稱作「虛擬磁碟機(Virtual Drive)」的儲存單元,並同時扮演了Flash儲存模組、NVRAM模組與讀取快取記憶體等3個角色,這種充當虛擬磁碟機的i3執行個體,後端都掛載了3種儲存裝置:
(1)i3執行個體內含直連的1~3臺NVMe SSD本機磁碟。
(2)EBS區塊儲存服務掛載的io1磁碟區。
(3)S3物件儲存區(標準型)。
i3執行個體直連的NVMe SSD,擁有低延遲與高頻寬,被CBS用於讀取快取記憶體,以及寫入資料的儲存區等兩種角色。不過,這屬於沒有冗餘能力的Instance Store空間,可靠性不足,對於讀取快取角色來說,即使失效,也只會損及讀取效能而已,但若做為資料寫入儲存區,一旦失效,便會影響資料的完整性。因此,CBS為虛擬磁碟提供多重冗餘的保護。
至於用於承接寫入I/O的NVRAM角色,CBS使用EBS區塊儲存服務的io1儲存區來承擔。io1是EBS的高效能型SSD儲存服務,擁有EBS的高可用性架構,足以扛起NVRAM的重責大任。
而S3物件儲存空間,則被CBS用作資料寫入資料的備援用保存區。當虛擬磁碟正常運作時,所有讀寫I/O都是在虛擬磁碟這一層級完成,但若虛擬磁碟完全失效,用戶可從S3儲存區取回資料。S3的低成本與極高耐久性,十分適合作為持久儲存區使用。而且S3是獨立的空間,即使CBS控制器與虛擬磁碟完全失效,也不會影響S3儲存區資料,提供了最後一層的保障。
CBS的運作與保護機制
運作時,作為虛擬磁碟機的i3執行個體,分別透過EBS io1儲存區與本機NVMe SSD,扮演寫入緩衝與讀取快取角色,寫入資料則由NVMe SSD保存,同時虛擬磁碟還會將寫入資料複製一份,送到最後端的S3物件儲存區,作為備援保存之用。
為了提高整個架構的可用性,CBS各個環節都採用了多重配置。在儲存控制器層級,採用雙控制器組態,單一控制器失效不會影響CBS服務;在虛擬磁碟機層級,CBS基本組態使用7臺i3執行個體,也就是7臺虛擬磁碟機,構成具備失效冗餘能力的虛擬儲存櫃(Virtual Shelf),在作為控制器的c5n執行個體管理下,任何擔任虛擬磁碟機的i3執行個體失效,可由群組中其他i3執行個體備援,而整個群組的冗餘能力,可容許2臺虛擬磁碟機(i3執行個體)失效。CBS最大能組成含有14臺虛擬磁碟機的儲存群組,但其中只有前7臺虛擬磁碟機,會掛載作為NVRAM的io1儲存區。
更進一步,即使有3臺以上的虛擬磁碟失效,導致CBS服務終止,用戶也還能從後端的S3儲存區取回資料。
如果用戶需要更高的可用性,還可在兩個以上AZ服務區建立CBS,再利用ActiveCluster功能同步資料,達到兩地雙中心的高可用性架構。同時,他們也可透過非同步複製,將第二地AZ作為異地備援中心。
Cloud Block Store vs. FlashArray儲存陣列架構對照
CBS使用了AWS的EC2、EBS與S3等雲端服務資源,於AWS環境「重構」出FlashArray全快閃儲存陣列的架構與功能。首先,由2臺EC2的c5n執行個體,扮演FlashArray陣列的雙控制器角色;接著,以EC2 i3執行個體構成虛擬磁碟機(Virtual Drive),由7臺虛擬磁碟機組成具備冗餘能力的虛擬儲存櫃(Virtual Shelf),可容許2臺虛擬磁碟失效。而這些虛擬磁碟機單元還連接了EBS io1儲存區與本機NVMe SSD,分別用於NVRAM寫入緩衝區、讀取快取記憶體與資料寫入儲存區。
產品資訊[規格與售價時有異動,正確資訊請洽廠商]
Pure Storage CBS
●原廠:Pure Storage
●建議售價:Small級(10TB,每月1800美元,每年18000美元),Medium級(20TB,每月3000美元,每年30000美元),Large級(50TB,每月6000美元,每年60000美元),Pay-as-you-go(首月10TB內免費,自第2個月起,每單元、每月、每GB 0.2美元)
●適用平臺:AWS
●支援傳輸協定:iSCSI