- 作者 | 彭福彬
- 2021-08-04
大數據Log分析管理平台建置
針對某壽險金控客戶，採用大數據相關之技術來建置Log分析管理平台，可收集大量Log資料，並可快速查詢。
1. 專案案例
此客戶為國內知名壽險金控，其保險系統為因應龐大使用流量，皆採用Cluster架構來建置，故每台Server上皆會產生許多的Log。過去資訊系統發生問題時，皆需要逐台Server去檢查Log，不但需要耗費相當多的時間，也容易因為操作不當，而衍生其他問題與風險。對於系統管理人員來說的確是需要透過Log來研判問題，才能有效解決。但冗長的問題排除時間，讓資訊系統無法在最短時間內恢復，連帶造成前端業務使用單位的不便或困擾，對於該公司來說，更會蒙受損失或造成客戶抱怨。其主要問題可以歸納如下：
- Log 分散不同台機器上，需逐台檢視，耗時費力
- 直接連線到主機上去查詢 Log，增加潛在風險
- 搜尋機制較陽春，無法快速查到所需內容
- 無法有效處理與儲存大量 Log 紀錄
- 分析統計等報表功能較缺乏
綜合以上所述，如何協助系統管理人員快速查詢Log檔，進而研判分析問題，加速問題排除時間，變成一個非常重要的課題。本專案主要在於協助該客戶建置一個Log收集與分析系統，可以快速收集前端相當大量且分散於各台Server的Log檔，並且讓系統管理人員可以快速查詢與分析。
延伸閱讀： digiLogs 日誌管理系統的多樣化查詢功能
2. 專案建置
本Log系統為一Log管理與分析平台，其整體架構如下圖所示，前端系統可透過資料收集模組來收集各系統所產生的Log檔，並傳送至資料暫存模組中暫存。同時，資料處理模組會定期擷取資料暫存模組的資料，儲存至全文檢索模組中，建立即時資料索引，也同時儲存至歷史資料儲存模組中。若使用者想查詢即時Log資料，則可透過報表分析模組來查詢。若想查詢歷史Log資料，則系統管理人員可透過歷史資料匯入工具，將所需的歷史Log資料匯入全文檢索模組中，建立歷史資料索引，使用者即可透過報表分析模組來查詢歷史Log資料。
本專案收集的Log類型如下：
- Apache Server Access Log
- Apache Server Error Log
- JBoss EAP Server Log
- JBoss EAP Error Log
- 20餘個Web 應用系統所產生的Log4j Log檔
每種Log皆有不同的格式，本系統皆可解析與收集，並可監控Log內容異動，立即收集處理，並傳送到資料暫存模組去儲存。
前端所收集的Log資料，為了能讓系統管理人員能快速查閱與篩選，必須建立資料索引。本專案採用全文檢索技術，可針對各類的Log來建立資料索引，而針對前端大量匯入的Log資料，全文檢索模組亦採用叢集式Cluster 架構來設計，可針對大量的資料來建立全文檢索的資料索引。
對系統管理者而言，僅需要透過瀏覽器即可查詢Log資料，並可任意輸入篩選條件，來查詢各種分析圖表。
3. 專案成果
過去處理大量資料往往需要較長處理時間，而大數據相關架構與技術的出現，正好可以讓我們可以將資料處理得 “又多又快”。本專案正是面臨這樣的挑戰，系統管理人員需要越多的Log資料才能在越快的時間內完成問題分析與排除，本專案所建立的Log分析管理平台為了能有效收集前端大量的分散的Log檔，並且讓系統管理者可以查詢到最即時的Log，所以採用各種大數據相關的架構與技術來處理，包含「橫向擴充之Cluster架構」、「No-SQL 資料庫」、「In-Memory Queue Buffer」、「apache lucene」等，讓前端系統所產生的大量Log檔 (每分鐘產生百萬筆資料)，皆可被快速收集、處理、解析，並可被即時查詢。
然而，雖然採用大數據相關的架構與技術，基本的資訊架構規劃設計仍然不可忽略，包含記憶體調配、網路傳輸、硬碟讀寫IO、資料暫存處理等層面的考量依據需要仔細規劃與建置，才能確保系統能 “又多又快”地處理資料，系統管理人員能 “又快又多”地查詢資料。
了解更多昕力資訊產品：digiLogs
延伸閱讀： 從日誌管理看現代 IT治理與法規遵循