Quantcast
Channel: iThome
Viewing all articles
Browse latest Browse all 31352

天氣風險公司靠雲端搶時效,用開放資料創造經濟新價值

$
0
0

極端氣候近幾年深深影響全世界,不但去年臺灣冬天罕見地下起雪來,全球許多地方更紛紛打破百年最高溫紀錄,甚至頻傳暴雨和暴風雪,而產生許多災情。

極端氣候頻繁,大為增加了氣象預報的困難度,由於臺灣氣候變化和全球息息相關,為了更精準掌握臺灣氣象變化,天氣風險公司早從成立初期,就決定大量分析全球氣象資訊。

天氣風險首先從全世界各地區蒐集氣象資訊,包括美國國家海洋和大氣管理局(NOAA)、歐洲中期天氣預報中心(ECMWF)等天氣開放資料,另外,也和日本氣象協會(JWA)購買衛星資料,以找出全世界天氣變化的基準。

不過,在5、6年前,如何快速地下載大量的氣象資料,成為天氣風險公司的一大挑戰,天氣風險管理開發資訊媒體部經理李孟洋說,下載衛星資料的過程中,資料量非常大,以日本JWA衛星資料來看,由於單一衛星雲圖等資料量大,每10分鐘就要接收2GB資料。

而從美國NOAA接收的資料量來說,資料筆數則相對龐大,每10分鐘涵蓋了上千筆的氣象觀測資料,一整天下來,高達近4億筆,累積下來也有將近100GB的資料量。

李孟洋說,過往要儲存全球的氣象觀測資料,由於沒有建立統一的儲存設備,大量的資料分散在各個主機之中,只能夠靠增加硬碟來應付龐大的資料量需求。

再加上,天氣風險公司還遇到一次硬碟事故,因為在採用的硬碟中,包含了2011年泰國發生大水災時,當地廠商所生產的硬碟,李孟洋說,這一批硬碟不穩定且容易損壞,一旦硬碟損壞,修復資料的過程又曠日費時,資料若無法修復,當中儲存的氣象預測模型甚至要花費許多時間,來重新製作與計算。

另有一項考驗,當時機房內一共有3臺機櫃,包含了40至50臺伺服器,伺服器新舊廠牌都有,不但提高了管理整體架構的複雜性,而且,甚至有已經停產的光華牌伺服器,一旦該伺服器出問題,由於廠商已經不提供到場維修服務,使得維修伺服器的工作,也落到資訊人員頭上。

不僅如此,李孟洋說,資訊人員還要花費時間來建防火牆、交換器、配線等許多硬體相關工作,反而會壓縮到有限IT人力投入核心業務。

用AWS將氣象資訊服務搬上雲端

「由於機房不堪負荷,一定要改變。」李孟洋說,天氣風險從2012年起,開始將基礎架構搬上雲端,他最後選擇了使用亞馬遜AWS來重建公司的基礎架構。

2012年,天氣風險上雲端之前,也曾經試用過Google等雲端平臺,當年李孟洋評估和Google雲端平臺相比,AWS的彈性比較大,所提供的服務也比較全面,「AWS上的服務可以像玩樂高一般,將所需的服務組合起來,以替換掉舊的流程。」

如今,天氣風險已經將百分之五十以上的服務搬到雲端,也包括全球氣象資料下載與處理等,過往,天氣風險每10分鐘就要透過網路,從日本接收超過2GB的原始衛星資料,並需處理成衛星雲圖,以前需要耗費相當多的時間,如今可以在10分鐘以內接收下來,並處理完成。

不光需要從日本接收衛星雲圖,天氣風險公司也要從美國接收全球的氣象資料,並處理成為天氣預報,過往每6小時要接收20GB的資料,需要耗費超過12個小時下載,李孟洋說,現在只需要數分鐘。

天氣風險不只用雲端架構來下載大量的氣象資料,也利用了大量的虛擬機器叢集來計算天氣預測模型,他說,以前計算一個氣象模型要花10多個小時,上雲端之後,只需要2至3小時,運算速度提升近5倍。

以成本來看,李孟洋也指出,上雲端之後,也可以節省大量的硬體建置的成本,如今和過往相比,已經可以節省三分之一至三分之二的成本。

他說,目前天氣風險核心的氣象資訊服務,如計算天氣預測模型等,已經搬上雲端,而計算空氣品質、紫外線等服務仍留在機房,未來也將逐步上雲端。

而在異地備援方面,則將資料儲存在位於東京等地的機房,不過,他也說,需要考慮AWS將來可能會倒閉的風險,目前也在思考尋找另外一家雲端平臺,來進行異地備援。

天氣風險管理開發資訊媒體部經理李孟洋表示,資訊主管需明確指出專案目標,IT人才能透過想像力,保留程式的彈性。

IT人打造客製化氣象資訊服務

然而,身為天氣風險公司的IT人,除了將基礎架構搬上雲端,還要肩負起將氣象資訊轉換為視覺化圖表的責任,並且針對特定企業的需求,來打造客製化的氣象資訊服務。

他說,各種衛星圖表背後都隱含著大量的資料與程式,IT人員從國外氣象機構下載大量氣象資訊之後,如何將資料送進資料庫,再透過系統處理以產生圖表。當圖表出來之後,IT人還要和設計師合作,一同美化衛星圖表。

除此之外,針對特定企業量身打造客製化的氣象資訊,也是資訊部門的責任之一,他說,「其中相當特殊的需求,就是賽鴿資訊。」李孟洋指出,風向、風量、雨量與能見度等,都和鴿子的飛行速度密切相關,而賽鴿飼主在訓練鴿子的時候,首要考量風量、風速等氣象資訊。

因為,如果當天的風很強,鴿子飛行時就需要花上許多力氣,若沒有增加食物量,會導致牠們缺乏體力飛回來。相反地,如果當天風量很弱,飼主就要減少鴿子的食物量,因為,若牠們吃太飽,反而會到處飛去玩,反而不會專注於訓練。

而天氣風險會針對賽鴿飼主,提供一個專屬的氣象資訊網站,提供了未來一周的風速和風量預報等,若遇到飼主不會使用網路,IT人員則要為氣象分析師建立一個後臺,方便分析師能夠發送簡訊給飼主。

不過,中央氣象局平均每8小時才會提供一次氣象資訊,而且也僅提供大範圍的預測資訊,一旦發生即時的天氣變化,往往公司事前難以得知,導致即使有天氣預報資料也緩不濟急。

不只訓練賽鴿需要氣象資訊,天氣風險也為了婚紗拍攝公司打造了客製化氣象資訊服務,提供每小時的雨量和風向等資訊,若外拍地點在內湖,天氣風險會提供預測所在地幾點鐘會開始下雨和雨量等。另外,天氣風險也提供了每小時的風向、風量,以方便攝影師掌握現場拍攝情況。

另外,天氣風險也和多家媒體合作,如雅虎與大愛電視臺等,李孟洋說,IT人也要和業務部門合作,將天氣預報影片與氣象資訊等,透過寫程式,自動地將影片派送到電視臺。

天氣風險公司不只提供天氣預測資料,李孟洋指出,還要進一步幫助企業用氣象資料,來增加收益。以冷氣產業來說,會影響到整體冷氣銷量的天氣因素,還包括氣溫與溼度等。

天氣風險透過蒐集大量數據,如冷氣銷售資料,再結合氣象預測,最後得出一組預測方程式,就能夠協助冷氣公司事先預測未來一周甚至一季以內的冷氣銷售量。

因此,他說,天氣風險公司的IT人員,不僅要同時具備IT和氣象方面的知識,也需要擁有跨部門的溝通能力,因為在天氣風險公司中,IT人員不但要和天氣分析師溝通,也要了解各式各樣企業對於天氣資訊的需求,甚至要和設計師坐在一起,一起設計出美觀的衛星雲圖等氣象資訊。

李孟洋解釋,天氣風險在招募新進資訊人員時,除了要求Python、JavaScripe和Linux相關技能之外,溝通能力也是相當看重的能力之一。除此之外,他說,是否具備想像力也相當重要,由於程式設計師在寫程式的時候,必須要思考,如何才能提升程式的易讀性與保留下彈性。

身為IT主管的責任就是,必須要告訴IT人,公司每一次專案開發的目標,他說。IT人員一旦了解方向,具備想像力的工程師就能夠融會貫通,將程式的彈性保留下來。另外,他也說,一旦設立目標,資訊人員也可以更清楚地了解中間過程需要怎麼走,遇到困難就一個一個排除,才可以順利地完成目標。

用開放資料創造出經濟獲利

除此之外,「開放資料也是造就天氣風險公司關鍵因素之一」,他說,現今很多全世界的氣象資料是開放的,天氣風險公司就大量利用國外的氣象開放資料,來做出全球氣象預報等。

而天氣風險利用開放資料,不僅提供在地服務,也要進軍全世界,同時面臨了全世界的嚴峻競爭,他說,當希望為航空公司提供氣象資訊服務時,就遭遇到日本的競爭者,然而,由於臺灣和中國的語言相近,自然而然成為臺灣天氣公司的優勢。

不過,李孟洋也說,事實上,中國完全沒有開放資料,甚至將氣象資料當作國防機密。而國外廠商在中國吃虧的例子也不少,例如,有一家國外廠商和中國當地氣象局合作,甚至已經將辦公室搬進氣象局中。

不過,此氣象單位將這家廠商的視覺化資訊系統與作法等,直接複製了一套,之後就和此廠商停止合作。

不同於中國,臺灣擁有相對豐富的政府開放資料,不過,李孟洋說,如何利用大量的政府開放資料,創造出新的經濟獲利來源,就是現今臺灣遇到很大的挑戰。

目前許多學校機關等,都已經利用政府開放資料進行了許多分析,例如,日前成功大學多位教授,共同開發出「預測登革熱疫情巨量資料平臺」,協助臺南市衛生局判斷哪一個地方為潛在的疫情高峰區。

他建議,當學者專家分析出登革熱疫情區之後,還需要結合相關產業,如殺蟲劑公司等,一旦有企業利用此份資料獲利,才能夠擴大內需市場,並更進一步要求政府提高開放資料的品質。

 

 CIO小檔案 

李孟洋

天氣風險管理開發資訊媒體部經理

●      學歷:清華大學經營管理碩士

●      經歷:從2007年天氣風險管理開發成立初期就加入,從只有6人左右的團隊開始,一路擔任資訊研發部工程師、媒體營運部經理,至今升任資訊媒體部經理,累積了10年左右的IT資歷,近年來肩負起轉型雲端公司,與提供客製化氣象資訊服務等重責大任。

 

 公司檔案 

天氣風險管理開發

●      網址:www.weatherrisk.com

●      地址:臺北市中山區南京東路三段131號6樓

●      成立時間:2004年

●      主要業務:氣象資訊服務

●      員工數:約50人

●      創辦人:彭啟明

 資訊部門檔案 

●      資訊部門名稱:資訊媒體部

●      資訊部門主管職稱:經理

●      資訊部門人數:10人

●      資訊部門分工:資料處理、系統開發、資料科學、資料視覺化

IT部門大事紀:

●      2005年:提供手機服務-小美女氣象

●      2007年:與Nokia等手機廠商合作行動天氣

●      2008年:和Google Maps Taiwan合作

●      2012年:以防災為核心建立整合預警系統

●      2013年:合併媒體營運部為資訊媒體部

●      2014年:導入雲端架構

●      2015年:加入Big Data跨域整合聯盟,提升加值應用服務的深度及範圍


Viewing all articles
Browse latest Browse all 31352

Trending Articles



<script src="https://jsc.adskeeper.com/r/s/rssing.com.1596347.js" async> </script>