Splunk

Splunk好康奉送500MB資料處理容量 IT搜尋免費使用 網管工作大進化

2009-03-05
試想,當搜尋技術引進企業IT,究竟會迸出什麼樣的火花?簡單來說,如果企業搜尋(IT Search)可以將過去需要花上好幾天才能完成的疑難排解(Troubleshooting),縮短至二、三分鐘內就能處理完成,相信這項進步將會大大開啟網管技術的另一個里程碑。
上網查資料、找網站,相信大家都很習慣使用搜尋引擎Google或Yahoo的關鍵字來查找,如今,相同的概念被引進企業端之後,IT Search產品也就應運而生。

由於公司內部經常存在複雜的異質系統和不同的設備,在發生故障時,網管人員經常得費盡心力地利用各種管理工具找尋問題癥結,藉由分析各個系統中所存放的工作日誌(Log)與設定(Configuration),來判讀實際的錯誤原因。

為了降低除錯的時間和人力成本,導入IT Search的主要目的,就在於協助網管人員可以使用方便容易的關鍵字搜尋技術快速掌握系統狀況,找出錯誤原因並維護系統安全,保障企業投資。

其中,被美國商業週刊(BusinessWeek)譽為IT界Google的Splunk更是其中的佼佼者。

點圖放大

初識Splunk

Splunk是一套專為企業量身訂做的IT搜尋引擎,以索引技術(Index)為核心協助企業針對內部複雜的異質系統和各種廠牌設備(Router/Firewall/Switch/Web Server/App Server/Database)間所內建的日誌與設定(Logs/Configurations)來進行關鍵字搜尋,並迅速找出系統發生問題的癥結所在,讓原本可能需要花上二、三天才能完成的事,現在可能在二、三分鐘內就能搞定,相信網管人員會十分期待。

為了不負眾人期待,Splunk早已推出免費版本供下載使用,除了不能做到更高資料索引容量(單日Log限量500MB以下)、多人權限設定與帳戶存取管理、搜尋分送(Distribute search)與資料路由(Data routing)等部署管理(Deployment management)功能之外,其他基本功能如Splunk伺服器主機設定、資料來源(Data Input)、資料索引(Index)、搜尋儲存(Save search)等設定,皆可自由運用,如果是一般系統環境單純的小企業,說不定使用免費版本的Splunk就綽綽有餘。

目前,Splunk可支援Windows、Linux、MAC、FreeBSD、AIX等多款作業系統,在首頁上也能輕易找到下載連結(http://www.splunk.com/download ?ac=sidebar),安裝程序也很簡單,只要按照步驟依序按下一步,即可迅速完成安裝步驟。

完成安裝程序後,如果順著【開始】→【所有程式】→【Splunk】執行Splunk程式,此時會顯示一個Splunk視窗告知正在啟動Splunkweb,數秒鐘之後便會自動關閉。

如果想要看到Splunk本尊,請開啟瀏覽器(Browser),並在網址列中輸入「http://localhost:8000/」即可。

Splunk快速上手

剛開始接觸Splunk時,sampledata範例會是最好的入門學習,可以充分利用Splunk內建已完成索引(Index)的sampledata範例,清楚了解關鍵字和布林運算的寫法,並運用項目篩選(Field filter)來提升問題查找(Troubleshooting)的準確率。

▲Splunk搜尋列中輸入「index=sampledata」會立即顯示出時間軸及所有相關搜尋細目。

首先,請試著在Splunk搜尋列中輸入「index=sampledata」後按鍵,此時,畫面中會立即顯示出時間軸及所有相關搜尋細目,這些細目便是Splunk根據不同主機(Host)、資料來源(Source)、資料種類(Sourcetype)等所擷取而來的最新資訊,同時也是管理複雜異質IT系統發現問題的最重要依據。

進階篩選─布林邏輯

就跟平常在使用Google等搜尋引擎的習慣一樣,如果在搜尋列中輸入「網管人 AND Splunk」,得到的結果便會顯示同時具備「網管人」和「Splunk」的連結清單,這是因為有加入AND這個布林邏輯(Boolean logic)運算子的緣故。

同樣地,Splunk搜尋也具備相同特性,如果在Splunk搜尋列中輸入「index=sampledata http AND 500」後按,便只會顯示出http和500二個關鍵字同時存在(HTTP 500-內部伺服器錯誤)且反白的頁面。當然,也可以試著將AND換成OR或NOT來看看會有什麼不一樣的結果產生。

除了手動輸入關鍵字以外,也可以透過點選方式來新增關鍵字。在剛才已完成內部伺服器錯誤訊息HTTP 500搜尋的頁面細目中,如果只想要查看POST方法所產生的訊息有哪些,可將游標移至細目中任一個POST單字上並按一下(Click),此時,在Splunk搜尋列中便會自動加入POST關鍵字,同時將細目中的http、500、POST等關鍵字反白,方便使用者作辨識。

進階篩選─主機、資料來源與類型

完成搜尋的結果,還有常見的三種方式可作進一步篩選,分別為主機(Host)、資料來源(Source)、資料種類(Sourcetype)等。在時間軸左下方的頁籤依序為:

主機:在host下拉清單中,可查看不同主機所產生的事件(Event)數目,當點選任一主機時,即可針對該主機作進階篩選(Filter),查看該主機上所有事件訊息。

資料來源:在source下拉清單中,可以將檔案、網路連接埠和script等事件(Event)發生存取的所在地作為進階篩選的依據。

資料種類:在sourcetype的下拉清單中,則是將日誌(Log)格式相似的資料進行分類來作為篩選依據,例如syslog、access_common、db2、websphere_activity等。

除了上述三種常見的篩選方式之外,Splunk還提供更多項目可作篩選依據,只要按下頁籤上的Fields下拉按鈕,即可新增更多篩選項目。

搜尋設定儲存與提醒

已經完成的搜尋當然要保存下來,方便下次能夠重複使用。按下Splunk搜尋列左方的下拉按鈕,再點選下拉清單中的【Save search】即可進行儲存設定。

在設定儲存視窗中,分別有〔搜尋〕與〔排程/提醒〕二個頁籤。 此外,在〔搜尋(Search)〕頁籤中,只要輸入搜尋結果的名稱(Name),例如HTTP 500 POST,再選擇要存放的位置如main即可,這項功能如同網站書籤。

在〔排程/提醒(Schedule and Alert)〕頁籤中,可以設定在何時執行該項搜尋的排程;另外,也可以將搜尋結果依條件設定傳送至所指定的Email信箱中。

圖形化統計報告

相較於文數字報告,圖形統計更易於作說明及辨識,在這方面Splunk提供相當多靈活且豐富的圖形化報告功能。

在此,我們將從sampledata索引範例中製作出一份關於所有防火牆(Firewall)拒絕存取事件的圖形報告。

首先,請在Splunk搜尋列中輸入「index=sampledata deny」執行搜尋結果,然後再點選搜尋列下方的「Report on results」連結,即可連結至圖形統計頁面。

在圖形統計頁面中尚且不能看到任何圖形,那是因為還沒選擇項目的緣故,所以,在此請試著點選左邊項目欄內的「start_time」,這時Splunk搜尋列中的關鍵字會自動完成「index=sampledata deny | top limit=100 start_time」敘述,在右邊也會出現統計圖與表單。

Splunk預設就有提供十種不同的統計圖形,可在display as下拉清單中選擇,統計表單也會在圖形下方自動生成,可增加報告製作的豐富性和完整度。

歡迎加入SplunkBase Web 2.0

點圖放大

如同Google提供API可以讓全世界所有愛好者充分發揮創意,開發出更多好用且實在的搜尋協同工具,Splunk也提供SplunkBase(www.splunkbase.com)這個Web 2.0平台,供所有使用者上傳或下載各種應用工具,完備企業搜尋環境。

SplunkBase提供許多應用支援,共有五大項目,分別為作業協同 (Operations)、安全(Security)以及政策遵循(Compliance)、商業智慧(Business Intelligence)、科技協同(Technologies)等。

在如此多元的應用支援下,網管人員將可針對管理需求,下載所需應用以符合企業搜尋環境,譬如,Splunk無法針對已加密的日誌或設定檔案進行解讀與索引,此時就得透過第三方的中介軟體來處理,而SplunkBase平台就能發揮媒合作用。

除了可以透過SplunkBase下載所需應用,使用者也能上傳自己的應用作品,只要懂得利用Python、Perl、C++來撰寫描述性語言(Script),就可以將完成作品打包(Package)上傳,並以免費或收費方式來分享給所有Splunk用戶,創造出更大的價值。

結語

身為網管人員感到最棘手的問題,或許不在於方案的建置,而是當系統一旦出錯時,如何在眾多異質系統和不同廠牌設備之間抓出問題找到癥結所在。 IT Search工具Splunk的出現,似乎又為網管技術另闢出一條活路,讓網管人員能夠及時揪出問題對症下藥,並且在靈活、智慧及自動化機制等特性下,迅速滿足企業降低成本提高效率的需求。

(原載於網管人第38期)


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!