TPIsoftware

Blog

科技昕力量

掌握數位科技最新趨勢 解鎖企業關鍵推動力

大數據Log分析管理平台建置

大數據Log分析管理平台建置
大數據Log分析管理平台建置
文章目錄

針對某壽險金控客戶,採用大數據相關之技術來建置Log分析管理平台,可收集大量Log資料,並可快速查詢。

1. 專案案例

此客戶為國內知名壽險金控,其保險系統為因應龐大使用流量,皆採用Cluster架構來建置,故每台Server上皆會產生許多的Log。過去資訊系統發生問題時,皆需要逐台Server去檢查Log,不但需要耗費相當多的時間,也容易因為操作不當,而衍生其他問題與風險。對於系統管理人員來說的確是需要透過Log來研判問題,才能有效解決。但冗長的問題排除時間,讓資訊系統無法在最短時間內恢復,連帶造成前端業務使用單位的不便或困擾,對於該公司來說,更會蒙受損失或造成客戶抱怨。其主要問題可以歸納如下:

  • Log 分散不同台機器上,需逐台檢視,耗時費力
  • 直接連線到主機上去查詢 Log,增加潛在風險
  • 搜尋機制較陽春,無法快速查到所需內容
  • 無法有效處理與儲存大量 Log 紀錄
  • 分析統計等報表功能較缺乏

 

綜合以上所述,如何協助系統管理人員快速查詢Log檔,進而研判分析問題,加速問題排除時間,變成一個非常重要的課題。本專案主要在於協助該客戶建置一個Log收集與分析系統,可以快速收集前端相當大量且分散於各台Server的Log檔,並且讓系統管理人員可以快速查詢與分析。

延伸閱讀: digiLogs 日誌管理系統的多樣化查詢功能

2. 專案建置

本Log系統為一Log管理與分析平台,其整體架構如下圖所示,前端系統可透過資料收集模組來收集各系統所產生的Log檔,並傳送至資料暫存模組中暫存。同時,資料處理模組會定期擷取資料暫存模組的資料,儲存至全文檢索模組中,建立即時資料索引,也同時儲存至歷史資料儲存模組中。若使用者想查詢即時Log資料,則可透過報表分析模組來查詢。若想查詢歷史Log資料,則系統管理人員可透過歷史資料匯入工具,將所需的歷史Log資料匯入全文檢索模組中,建立歷史資料索引,使用者即可透過報表分析模組來查詢歷史Log資料。

digiLogs為一Log管理與分析平台,其整體架構如圖所示
digiLogs為一Log管理與分析平台,其整體架構如圖所示

本專案收集的Log類型如下:

  • Apache Server Access Log
  • Apache Server Error Log
  • JBoss EAP Server Log
  • JBoss EAP Error Log
  • 20Web 應用系統所產生的Log4j Log
本系統皆可解析與收集,並傳送到資料暫存模組去儲存。
本系統皆可解析與收集,並傳送到資料暫存模組去儲存。

每種Log皆有不同的格式,本系統皆可解析與收集,並可監控Log內容異動,立即收集處理,並傳送到資料暫存模組去儲存。

前端所收集的Log資料,為了能讓系統管理人員能快速查閱與篩選,必須建立資料索引。本專案採用全文檢索技術,可針對各類的Log來建立資料索引,而針對前端大量匯入的Log資料,全文檢索模組亦採用叢集式Cluster 架構來設計,可針對大量的資料來建立全文檢索的資料索引。

本專案採用全文檢索技術,可針對各類的Log來建立資料索引
本專案採用全文檢索技術,可針對各類的Log來建立資料索引

對系統管理者而言,僅需要透過瀏覽器即可查詢Log資料,並可任意輸入篩選條件,來查詢各種分析圖表。

Log分析圖表
Log分析圖表

3. 專案成果

過去處理大量資料往往需要較長處理時間,而大數據相關架構與技術的出現,正好可以讓我們可以將資料處理得 “又多又快”。本專案正是面臨這樣的挑戰,系統管理人員需要越多的Log資料才能在越快的時間內完成問題分析與排除,本專案所建立的Log分析管理平台為了能有效收集前端大量的分散的Log檔,並且讓系統管理者可以查詢到最即時的Log,所以採用各種大數據相關的架構與技術來處理,包含「橫向擴充之Cluster架構」、「No-SQL 資料庫」、「In-Memory Queue Buffer」、「apache lucene」等,讓前端系統所產生的大量Log檔 (每分鐘產生百萬筆資料),皆可被快速收集、處理、解析,並可被即時查詢。

然而,雖然採用大數據相關的架構與技術,基本的資訊架構規劃設計仍然不可忽略,包含記憶體調配、網路傳輸、硬碟讀寫IO、資料暫存處理等層面的考量依據需要仔細規劃與建置,才能確保系統能 “又多又快”地處理資料,系統管理人員能 “又快又多”地查詢資料。

了解更多昕力資訊產品:digiLogs