Logstash-parsing-the-logs
Logstash-ログの解析
Logstashは入力プラグインを使用してログを受信し、フィルタープラグインを使用してデータを解析および変換します。 ログの解析と変換は、出力先に存在するシステムに従って実行されます。 Logstashはロギングデータを解析し、必要なフィールドのみを転送します。 後で、これらのフィールドは、宛先システムの互換性のある理解可能な形式に変換されます。
ログを解析する方法は?
ログの解析は、 GROK (知識のグラフィカルな表現)パターンを使用して実行され、Githubで見つけることができます-
[[1]]
Logstashは、ログのデータを、指定されたGROKパターンまたは「%\ {COMBINEDAPACHELOG}」のようなログを解析するためのパターンシーケンスと一致させます。これは、Apacheログに一般的に使用されます。
解析されたデータはより構造化されており、検索やクエリの実行が簡単です。 Logstashは、入力ログで指定されたGROKパターンを検索し、ログから一致する行を抽出します。 GROKデバッガーを使用して、GROKパターンをテストできます。
GROKパターンの構文は%\ {SYNTAX:SEMANTIC}です。 Logstash GROKフィルターは、次の形式で書かれています-
- %\ {PATTERN:FieldName} *
ここで、PATTERNはGROKパターンを表し、fieldnameはフィールドの名前であり、出力の解析済みデータを表します。
たとえば、オンラインGROKデバッガーhttps://grokdebug.herokuapp.com/を使用する
入力
ログのエラー行のサンプル-
GROKパターンシーケンス
このGROKパターンシーケンスは、タイムスタンプの後にログレベル、プロセスID、トランザクションID、エラーメッセージが続くログイベントに一致します。
出力
出力はJSON形式です。