將此篇文章跟 Facebook 上的朋友分享將此篇文章跟 Plurk 上的朋友分享將此篇文章跟 Twitter 上的朋友分享列印轉寄
2011/7/20

擺脫資料庫正規化及資料庫、UI分工

用Splunk簡化數據分析系統製作流程

張嘉玲
「數據分析系統」是許多單位不可或缺的。隨著業務量增加或環境的改變,「數據分析系統」由早期的單機版軟體轉為網站的型式,提供更多人、更多地點存取使用,但因使用單位不同,平台的擴大及整合,常是系統設計者頭痛的地方。
所謂「資料庫正規化」是在資料庫中組織資料的程序。其中包括建立資料表,以及在這些資料表之間根據規則建立關聯性,這些規則的設計目的是透過消除重複性和不一致的相依性這兩個因素,來保護資料並讓資料庫更有彈性。雖然市面上有許多的BI工具,但仍無法取代原來的系統使用模式,難以滿足各單位系統設計人員的需求。  

在沒有適當的解決方案下,系統設計部門永遠面臨新的挑戰。為了滿足使用者的需求,「數據分析系統」的製作,除了正確收集資料外,還須配合人性化的UI設計,作為資料輸入和輸出的媒介。分析運算的程式碼,無論是在資料庫作為預存程序,或是在AP加上運算程式碼,隨著需求愈來愈多、程式設計人員異動等變化,整合非常困難。  

若仍想整合在一個系統中,最常見的解決方法,就是重新規劃設計新系統,廢除舊系統,短則一年,長則用到三到五年來設計、規劃、開發新系統。等系統使用磨合期過後,大約三到五年,又要再重新評估系統是否保留。實為一種惡性循環。  

當系統不斷地擴充,常會有系統效能不佳、數據不準確、開發新功能規劃時程過長等問題產生。主因是原始規劃的存取欄位,隨著需求增加而不足,在資料庫正規化後,增加欄位或改變欄位型態也是一大麻煩。  

因為欄位改變,所有的運算程式也要跟著變動,有時光想就覺得不如另外規劃新的系統。如果只要設計前端使用者key in畫面,就有另一套系統同時具備儲存、運算、呈現、轉出檔案等功能,且不需規劃儲存欄位,對於數據分析系統的系統設計者將是一大福音。  

▲接收、運算、呈現一次完成。


以Splunk製作數據分析系統 

此範例為「塑化劑污染產品查詢分析系統」,利用Splunk不需事先規劃欄位型態、定義資料長度的特性,接收了不同來源的塑化劑相關資訊,作為分析及查詢使用。

接收消化各種資訊  

只要是文字檔案(Text File),不論是網路設備、作業系統應用系統或是資料庫吐出的訊息,Splunk都可以加以消化。由於Splunk核心是一個搜尋引擎,一旦這些訊息被接收,Splunk便可立即進行索引與分析的工作。  

範例主要數據來源,為一個CSV檔及兩個.txt文字檔。雖然每天收到的資訊長度、欄位可能會不一致,但不影響Splunk的接收及索引效率。  

▲文字檔一(某日資料)。


▲CSV檔(某日資料)。


▲文字檔二(某日資料)。


分析與呈現 

分析及呈現皆在Splunk執行。以下方Dashboard(儀表板)的範例為例,分析傳統作法及Splunk的差異。  

● 傳統作法:



再運用BI工具設定參數,製作Pie圖,然後將BI工具呈現的部分包進系統內。

●Splunk作法:



Pie圖直接呈現於Splunk中。

▲分析和呈現皆在Splunk執行,整合在一個Dashboard,不須再借助其他軟體協助。


警示 

如下圖所示,Splunk可將歸檔的工作變成自動與即時,當有「筆數」大於100時(依據公司標準可自訂),Splunk能立刻找出來並發出RSS、E-mail或驅動Shell Script警示(例如庫存量低於30時,自動E-mail給採購)。

 

自動揭示分析結果 

如以下兩圖所示,Splunk可以將所需的各種分析(即時、日、週、月)報表直接顯示在Dashboard(儀表板),主管只要看Dashboard,即可取得所需的最新資訊,不必再等著員工交報表。員工查詢細節,也一樣在Splunk平台執行即可。  

▲各種分析報表直接顯示在儀表板。


▲細節查詢也可以在Splunk平台上執行。


▲員工可以「檢視結果」。


例如,運用在銷售分析時,主管可以在圖表上即時查看各店的銷售數據,細節的部分為每分店每員工的銷售狀況及上班天數等等細節。  

結語 

美國某網路購物企業即運用Splunk來做「數據分析系統」,內容包含Web Server、App Server、DB Server的效能監控,以及各個Server的硬體監控、網路安全控管、銷售數據的分析、會員購物行為分析、折價券使用模式分析、異業合作分析等,後續還可以隨時增加分析的角度。  

景氣復甦後,各單位業務量激增,新的系統需求、新的分析角度、新的原始資料結構一直在產生,對於「數據分析系統」的維護及設計更加地困難與繁瑣。導入Splunk,或許是此時值得考慮的解決方案,縮短開發系統的時程,擴充、維護簡易,並可提供MIS做資訊安全及硬體效能的監控,實為整個IT部門的好幫手。  

Splunk中文版網站:http://zh-hant.splunk.com/
免費下載試用:http://zh-hant.splunk.com/download?r=header
更多的成功案例:http://www.splunk.com/view/SP-CAAABB2
更多解決方案:http://www.splunk.com/solutions
各領域專家的知識寶庫:http://www.splunk.com/?s
軟體開發者專區:http://www.splunk.com/base/Community
塑化劑污染產品查詢分析系統:http://dehp.splunklab.net:9000
這篇文章讓你覺得滿意不滿意
送出
相關文章
搏預警拼聯防 SIEM起飛
降低維運複雜度 SIEM整合網管功能
輔助獵捕威脅指標 即時回應連動執行攔阻
強化防禦偵測回應能力 建構安全免疫系統
打造分散式監測環境 提升大量情資分析效率
留言
顯示暱稱:
留言內容:
送出