easylog log

從數位軌跡log還原系統真相-論easylog使用分享

周俊利 Henry Chou 2020/02/27 12:11:32
127

在現代化的系統設計上,漸漸以多層式架構為主軸,使用最普遍的便是MVC,將系統區分為表現層、邏輯層與資料層。在專業分工的趨勢下,每個不同的開發人員分工日趨精細,已經很難看到有人可以全包所有的系統,所謂的全端開發。

 

通常在系統開發上,會將系統的log,也就是系統的軌跡,放在系統的某個區域,有問題時可以依關鍵字搜尋或debug。若是一般的MIS系統,系統範圍有限時還好,如果系統架構大,光每天產生的log可能就有數十TB以上,若是分散式架構,系統散布各地,並包含網通設備、AP平台、前端平台與資料庫等。要蒐集並分析就不是一件容易的事情。

 

想像一個情境,在網路銀行的資訊單位,每日處理來自客戶端的抱怨與系統問題。特別是遇到緊急的狀況時,例如客戶轉帳發生錯誤卻意外扣帳成功,要在log機海中找到可能原因並修正,要在時間壓力下完成幾乎是不可能。

 

有鑑於此,昕力資訊分析客戶的使用情境與系統需求,開發了easylog產品,用來整合log檔案分散存取問題,並且能掌握先機,在系統發生狀況時可以即時反應,有效處理線上問題。在過去,log存放方式與內容無一定規則,用人工查找log耗時且費力,資料多又雜;再者,當系統發生異常,IT總是最後一個知道,卻是第一個挨罵,處理起來格外費力。

 

而數位軌跡log的執行程序,建議可以依下列四階段進行:完整分析、管理需求、查詢/分析與滿足未來擴充需求。完整收集包含所需的資料來源,包含網通設備、作業系統、中介平台、AP Server與資料庫等。管理需求則包含權限控管、AD/LDAP/Oauth2管理、群組管理、系統監控需求與事件告警。查詢/分析上,包含系統回應效能、事件檢索、全文檢索、交叉分析並將結果匯出。在未來擴充需求上、要能切合系統需求、並達到儲存容量擴充與業務成長要求。

 

log管理上,昕力建議應包含五大工作重點,整合、即時、正規化、集中化與分析需求。完整的log管理工具,要能收集多種來源,並提供即時的資料收機;也要針對log作分析彙整,但須注意的是,log應做正規化的處理,讓收集端可以用統一的規則發現與分析狀況。集中化log,可以對所有的資料海量的資料管理,透過有效的分析工具,也能達到多角度分析、資料檢索與交叉搜尋等目標。

 

有了easylog,所有產生log的機器與系統,依照正規化的儲存規則存放在集中化的管理平台,可以整合多種設備及系統,並可依AD的帳密進行權限控管,讓登入人員與分析資料可以更全面。Log集中化管理平台,可進行單一集中管理、關鍵字全文檢索、並可以在未來進行大數據分析,分析客戶的行為與錯誤軌跡,有效提升系統的可用度。近來因個資法的要求,當客戶資料發生外洩時,系統人員必須負舉證責任,有完整的log分析工具可以補全個別系統資料不足的窘境。 

 

周俊利 Henry Chou