Hadoop企業版發行商MapR於本周三在Hadoop高峰會(Hadoop Summit)上發布Spyglass計畫(Spyglass Initiative),將在MapR旗下融合資料平臺(Converged Data Platform)推出一系列新功能,目的在於簡化Hadoop大數據部署的管理,MapR預計在今年第3季釋出Spyglass Initiative第一階段的新功能。
Spyglass計畫將支援使用者能夠客製化報表和儀表板,來增進在融合資料平臺部署大數據元件的可視性(Visibility),並且提供用戶開放API來追蹤融合資料平臺新增的運算引擎,也可以整合至第三方工具來監控大數據平臺的部署。
根據MapR官網,Spyglass計畫的新功能將整合匯總及儲存MapR的Metrics和Log資料工具,提供用戶視覺化資料來深入了解大數據叢集的執行情況。而第一階段的Spyglass Initiative將會著重於融合資料平臺運作的可視性(Operational Visibility),MapR將提供使用者監控功能(MapR Monitoring)來管理大數據部署,而MapR Monitoring功能可供使用者客製化節點、基礎建設、叢集空間使用率、YARN/MapReduce應用程式、服務背景執行程式(Daemon)等的視覺化資料,並且可以匯出與他人分享視覺化儀表板資料。
另外,MapR Monitoring的架構有4層,分別是資料來源、資料蒐集、資料彙整與儲存,以及資料視覺化,第一層的資料來源包含來自節點(如CPU、記憶體等)、儲存系統MapR FS、NoSQL資料庫管理系統MapR DB、服務背景執行程式(如YARN、Hive等)等的資料,從資料來源產生的資料會送到第二層資料蒐集,由資料蒐集層負責將這些資料送到第三層的資料儲存層,由開源儲存技術OpenTSDB和Elasticsearch所組成的資料儲存層則負責儲存和彙整Metrics和Log資料,以供API存取,最後一層是資料視覺化,使用開源技術Grafana和Kibana,來提供叢集運作資訊的客製化儀表板。
(圖片來源/MapR)
此外,MapR也發布了MapR生態系統包計畫(MapR Ecosystem Pack,MEP),除了每個月會發布更新來修補開源專案的臭蟲外,同時也會每季釋出經認證的開源專案包,以及確保開源專案的互通性。