Logstash 和 Bluemix 日誌收集器

Liberty 會在執行時期產生各種事件,例如,日誌事件、追蹤事件、首次失敗資料擷取 (ffdc) 事件、存取日誌事件,以及記憶體回收事件。 將所有伺服器的事件合併起來,以便搜尋、過濾及分析事件,會很有用;當您管理許多伺服器時,或當您在不同平台(例如,在專用硬體上,或在雲端)上執行伺服器時,尤其如此。 當使用 Liberty 的環境沒有用於問題判斷資料的持續性檔案儲存體時,將事件儲存在個別伺服器上,也很有用。

現在,Liberty 提供 Logstash 和 Bluemix 收集器特性,來協助您從遠端合併事件。收集器會擷取進行中的事件,將它們分成若干欄位,然後將事件安全轉遞至所配置的 Logstash 或 Bluemix 日誌收集伺服器。收集器可配置成傳送下列一或多種類型的資料:
  • 訊息日誌事件
  • 追蹤日誌事件
  • HTTP 存取日誌事件(從 Liberty 伺服器)
  • FFDC 日誌事件
  • 記憶體回收事件(僅供 IBM JDK 使用)

Logstash 收集器

Logstash 收集器特性(logstashCollector-1.0 或 logstashCollector-1.1)會將事件傳送至您提供的 Logstash 伺服器。

Logstash 可以與 Elasticsearch 搜尋伺服器及 Kibana 儀表板(全由您提供、設定及管理)一起使用,以提供全企業的日誌或其他事件的合併視圖。 請注意,當利用 Logstash 收集器來轉遞事件時,在 Liberty 伺服器機器上,沒有需要設定的個別程序或代理程式。

圖 1. Logstash 收集器
這個圖顯示通過 logstash 事件管線前往 Elasticsearch 伺服器的事件流程。

事件結構

收集器會將每個事件當作一組欄位名稱值配對來傳送。 每個不同事件類型都有它自己的一組欄位。 當建立您自己的 Kibana 儀表板時,知道每個事件有哪些欄位會很有用。
註: logstashCollector-1.0 特性的欄位名稱不同於 logstashCollector-1.1 和 bluemixLogCollector-1.1 特性。
以下是出現在所有事件中的通用欄位:
表 1. 一般事件類型
logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
type type 識別事件類型的字串
datetime was_datetime 事件的發生時間
hostName host 事件來源之伺服器的主機名稱

如需主機名稱設定規則的相關資訊,請參閱將 Logstash 和 Bluemix 日誌收集器與正在 Docker 中執行的 Liberty 搭配使用

wlpUserDir was_userDir 事件來源之伺服器的使用者目錄,例如 D:\wlp\usr
serverName was_serverName 事件來源之伺服器的伺服器名稱

如需伺服器名稱設定規則的相關資訊,請參閱將 Logstash 和 Bluemix 日誌收集器與正在 Docker 中執行的 Liberty 搭配使用

sequence was_sequence 事件的序號(在排序時間戳記相同的記錄時很有幫助)
除了一般欄位,每個事件類型也都有它自己的唯一欄位:
  • 訊息事件
    表 2. 訊息事件(類型:"liberty_message":)
    logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
    severity   嚴重性指示器 (F = 嚴重、E = 錯誤、W = 警告、A = 審核、I = 參考、O = 系統輸出、R = 系統錯誤)
      loglevel

    嚴重性指示器(FATAL、ERROR、WARNING、AUDIT、INFO、CONFIG、DETAIL)

    messageId was_messageId 日誌行中的訊息 ID,可用來找出特定的錯誤類型,例如:SRVE0250I
    methodName was_methodName 日誌記錄中的方法名稱
    className was_className 日誌記錄中的類別名稱
    loggerName module 日誌記錄中的日誌程式名稱
    threadId was_threadId 日誌行中的執行緒 ID,例如:00000015。請注意,執行緒 ID 是一個字串,而不是數字
    message message 日誌記錄中的訊息,開頭是訊息 ID
  • 追蹤事件
    表 3. 追蹤事件(類型:"liberty_trace":)
    logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
    severity   嚴重性指示器(1 = 細微、2 = 較細微、3 = 最細微、> = 進入、< = 結束)
      loglevel 嚴重性指示器(FINE、FINER、FINEST、ENTRY、EXIT)
    methodName was_methodName 日誌記錄中的方法名稱
    className was_className 日誌記錄中的類別名稱
    loggerName module 日誌記錄中的日誌程式名稱
    threadId was_threadId 日誌行中的執行緒 ID,例如:00000015。請注意,執行緒 ID 是一個字串,而不是數字
    message message 日誌記錄中的訊息
  • HTTP 存取日誌事件
    表 4. HTTP 存取日誌事件(類型:"liberty_accesslog":)
    logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
    uriPath was_uriPath 所要求 URL 的路徑資訊。這不包含查詢參數,例如:/pushworksserver/ push/apps/tags
    requestMethod was_requestMethod 使用的 HTTP 動詞,例如:GET
    remoteHost was_remoteHost 遠端主機 IP 位址,例如:127.0.0.1
    userAgent was_userAgent 要求中的 userAgent 值
    requestProtocol was_requestProtocol 通訊協定類型,例如 HTTP/1.1
    queryString was_queryString

    HTTP 要求中代表查詢字串的字串,例如:color=blue&size=large

    bytesReceived was_bytesReceived 在 URL 中收到的位元組,例如:94
    responseCode was_responseCode HTTP 回應碼,例如:200
    elapsedTime was_elapsedTime 處理要求所花費的時間(微秒)。
    requestHost was_requestHost 要求主機 IP 位址,例如:127.0.0.1
    requestPort was_requestPort 要求的埠號
  • FFDC 事件
    表 5. FFDC 事件(類型:"liberty_ffdc":)
    logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
    className was_className 產生 FFDC 項目的類別
    exceptionName was_exceptionName FFDC 項目中所報告的異常狀況
    probeID was_probeID 類別內 FFDC 點的唯一 ID。
    stackTrace was_stackTrace FFDC 發生事件的堆疊追蹤
    objectDetails was_objectDetails FFDC 發生事件的發生事件詳細資料
    threadId was_threadId FFDC 發生事件的執行緒 ID
  • 記憶體回收事件
    表 6. 記憶體回收事件(類型:"liberty_gc":)
    logstashCollector-1.0 欄位名稱 logstashCollector-1.1 / bluemixLogCollector-1.1 欄位名稱 欄位說明
    heap was_heap 可用的資料堆總計
    usedHeap was_usedHeap 使用的資料堆數量
    duration was_duration 記憶體回收的執行持續時間(微秒)
    gcType was_gcType 記憶體回收事件的類型(例如:區域、廣域等等)
    reason was_reason 記憶體回收的原因

將 Logstash 和 Bluemix 日誌收集器與正在 Docker 中執行的 Liberty 搭配使用

當 Liberty 伺服器在 Docker 儲存器或其他虛擬化環境中執行時,host/hostName 和 serverName/was_serverName 會設為如下:

host/hostName 欄位會設定為下列第一個可用值:
  • CONTAINER_HOST 環境變數的值
  • ${defaultHostName} Liberty 配置變數的值
  • JDK 所報告的標準主機名稱
serverName/was_serverName 會設定為下列第一個可用值:
  • CONTAINER_NAME 環境變數的值
  • ${wlp.server.name} Liberty 配置變數的值

當在「Bluemix 儲存器服務」中執行 Liberty 伺服器時,已為您設定 CONTAINER_HOST 和 CONTAINER_NAME。

當在「Liberty Docker 群體」中執行 Liberty 伺服器時,已為您設定 CONTAINER_HOST 和 CONTAINER_NAME。

當在 Docker 儲存器或您管理的其他虛擬環境中執行 Liberty 伺服器時,請在您執行映像檔時,設定 CONTAINER_HOST 和 CONTAINER_NAME 環境變數。這可確保 Logstash 收集器或 Bluemix 日誌收集器會以適當的主機和儲存器名稱來標示它們所傳送的記錄,以便有助於判斷問題。如果您沒有設定這些環境變數,當您使用的儀表板顯示來自多個儲存器的事件時,您可能會發現難以判斷哪個儲存器傳送了哪些事件。當啟動 Docker 儲存器時,請使用類似下列的指令:
docker run -d -e LICENSE=accept -e CONTAINER_NAME=yourContainerName -e CONTAINER_HOST=yourContainerHost --name=yourContainerName yourImageName

指示主題類型的圖示 概念主題



「時間戳記」圖示 前次更新: 2016 年 6 月 3 日
http://www14.software.ibm.com/webapp/wsbroker/redirect?version=cord&product=was-nd-dist&topic=cwlp_analytics_collectors
檔名:cwlp_analytics_collectors.html