- 作者 | 彭福彬
- 更新：2023-12-18
大數據 Log 分析管理平台建置
針對某壽險金控客戶，導入 digiLogs 產品與專業顧問服務，來建置 Log 收集與分析系統，可收集大量 Log 資料，並可快速查詢。
1. 專案案例
此客戶為國內知名壽險金控，其保險系統為因應龐大使用流量，皆採用 Cluster 架構來建置，故每台 Server 上皆會產生許多的 Log。過去資訊系統發生問題時，皆需要逐台 Server 去檢查Log，不但需要耗費相當多的時間，也容易因為操作不當，而衍生其他問題與風險。對於系統管理人員來說的確是需要透過 Log 來研判問題，才能有效解決。但冗長的問題排除時間，讓資訊系統無法在最短時間內恢復，連帶造成前端業務使用單位的不便或困擾，對於該公司來說，更會蒙受損失或造成客戶抱怨。其主要問題可以歸納如下：
- Log 分散不同台機器上，需逐台檢視，耗時費力
- 直接連線到主機上去查詢 Log，增加潛在風險
- 搜尋機制較陽春，無法快速查到所需內容
- 無法有效處理與儲存大量 Log 紀錄
- 分析統計等報表功能較缺乏
綜合以上所述，如何協助系統管理人員快速查詢 Log 檔，進而研判分析問題，加速問題排除時間，變成一個非常重要的課題。本專案主要在於導入 digiLogs 產品來協助該客戶建置一個 Log 收集與分析系統，可以快速蒐集前端相當大量且分散於各台 Server 的 Log 檔，並且讓系統管理人員可以快速查詢與分析。
延伸閱讀： digiLogs 日誌管理系統的多樣化查詢功能
2. 專案建置
本案例透過 digiLogs 產品的導入來建置客戶專屬的 Log 收集與分析系統(簡稱本系統)，本系統的功能架構如下圖所示，針對各個 Log 來源端的系統，可透過資料收集功能來收集各系統所產生的 Log 檔，並傳送至資料暫存區中進行 Log 資料暫存。同時，資料處理功能定期由資料暫存區擷取 Log 資料，並進行解析與轉換等處理後，將 Log 資料儲存至全文檢索區，來建立即時資料索引，也同時搭配 MongoDB NoSQL 資料庫來儲存更完整的歷史資料。若使用者想查詢即時 Log 資料，則可透過報表分析功能來查詢。若想查詢更早期的歷史 Log 資料，則系統管理人員可透過歷史資料匯入工具，將所需的歷史 Log 資料匯入全文檢索區中，建立歷史資料索引，使用者即可透過報表分析功能來查詢歷史 Log 資料。
本專案收集的Log類型如下：
- Apache Server Access Log
- Apache Server Error Log
- JBoss EAP Server Log
- JBoss EAP Error Log
- 20餘個Web 應用系統所產生的Log4j Log檔
每種 Log 皆有不同的格式，資料收集功能皆可正確收集與解析，並可監控即時 Log 內容異動，若有新 Log 資料將立即收集處理，並傳送到資料暫存區去暫存。
本系統所收集的 Log 資料，為了能讓系統管理人員能快速查閱與篩選，則透過 digiLogs 產品的大數據搜尋技術，針對各類的 Log 資料來建立即時資料索引，並提供全文檢索功能。
而針對大量匯入的 Log 資料，本系統則採用叢集式 Cluster 架構來設計，可透過橫向擴充的機制來儲存大量的 Log 資料。
對系統管理者而言，僅需要透過瀏覽器即可查詢 Log 資料，並可任意輸入篩選條件，來查詢各種分析圖表。
3. 專案成果
過去處理大量資料往往需要較長處理時間，而大數據相關架構與技術的出現，正好可以讓我們可以將資料處理得 “又多又快”。本專案正是面臨這樣的挑戰，系統管理人員需要越多的 Log 資料才能在越快的時間內完成問題分析與排除，本專案所建立的 Log 收集與分析系統，為了能有效蒐集前端大量的分散 Log 檔，並且讓系統管理者可以查詢到最即時的 Log，所以
透過 digiLogs 產品來建構各個環節所需要的處理功能與系統架構，包含「橫向延展資料儲存架構」、「大數據全文檢索功能」、「彈性 Log 資料解析處理」、「自定義報表分析工具」等，讓前端系統所產生的大量 Log 檔 (每分鐘產生百萬筆資料)，皆可被快速蒐集、處理、解析，並可被即時查詢。
Log 資料的收集與應用，涉及資料面、應用面與環境面等諸多議題，在導入 digiLogs 產品的過程中，本公司亦由專業導入顧問團隊來協助案例中的客戶來制定 Log 管理策略，並提供各種專業的顧問服務與規劃，例如資訊處理架構規劃設計仍然是不可輕忽的重要基本議題，包含記憶體調配、網路傳輸、硬碟讀寫 IO、資料暫存處理等層面的考量依據需要仔細規劃與建置，才能確保本系統能 “又多又快” 地處理資料，系統管理人員能 “又快又多”地查詢資料。
digiLogs 集中化日誌管理平台，業界唯一主動識別科技
「日誌」記錄了組織內系統和設備的重要資料軌跡，然而在當今微服務的架構下，每個服務獨立運作產生龐大的日誌資料，使得問題發生時，難以快速查找問題事件的根源。為了協助企業有效管理 Log 日誌，digiLogs 以鏈路追蹤技術突破系統分析瓶頸，利用分散式跟蹤（Distributed Tracing）提升排查效率，進而透過根因分析（Root Cause Analysis）精準定位問題所在，大幅減少修復時間，提高維運效率。
完善日誌管理，歡迎與我們的專業導入顧問團隊聯繫。
延伸閱讀： 從日誌管理看現代 IT治理與法規遵循