Logstash-フィルター

Logstashは、入力と出力の間のパイプラインの途中でフィルターを使用します。 Logstashメジャーのフィルターは、 Apache-Access などのイベントを操作および作成します。 Logstashでイベントを管理するために使用される多くのフィルタープラグイン。ここで、 Logstash Aggregate Filter の例では、データベース内のすべてのSQLトランザクションの期間をフィルタリングし、合計時間を計算しています。

集約フィルタープラグインのインストール

Logstash-pluginユーティリティーを使用した集約フィルタープラグインのインストール。 Logstashプラグインは、Logstashの* binフォルダー*にあるWindows用のバッチファイルです。

>logstash-plugin install logstash-filter-aggregate

logstash.conf

この構成では、トランザクションの合計期間を*初期化、増分、生成*するための3つの「if」ステートメント、つまり *sql_duration を確認できます。集約プラグインは、入力ログのすべてのイベントに存在するsql_durationを追加するために使用されます。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} -
            %{NOTSPACE:taskid} - %{NOTSPACE:logger} -
            %{WORD:label}( - %{INT:duration:int})?"
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output.log"
   }
}

Logstashを実行する

次のコマンドを使用してLogstashを実行できます。

>logstash –f logstash.conf

input.log

次のコードブロックは、入力ログデータを示しています。

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END - end

output.log

構成ファイルで指定されているように、ロガーがある最後の「if」ステートメント– TRANSACTION_END。トランザクションの合計時間またはsql_durationを出力します。これは、output.logで黄色で強調表示されています。

{
   "path":"C:/tpwork/logstash/bin/log/input.log","@timestamp": "2016-12-22T19:04:37.214Z",
   "loglevel":"INFO","logger":"TRANSACTION_START","@version": "1","host":"wcnlab-PC",
   "message":"8566 - TRANSACTION_START - start\r","tags":[]
}
{
   "duration":320,"path":"C:/tpwork/logstash/bin/log/input.log",
   "@timestamp":"2016-12-22T19:04:38.366Z","loglevel":"INFO","logger":"SQL",
   "@version":"1","host":"wcnlab-PC","label":"transaction1",
   "message":" INFO - 48566 - SQL - transaction1 - 320\r","taskid":"48566","tags":[]
}
{
   "duration":200,"path":"C:/tpwork/logstash/bin/log/input.log",
   "@timestamp":"2016-12-22T19:04:38.373Z","loglevel":"INFO","logger":"SQL",
   "@version":"1","host":"wcnlab-PC","label":"transaction1",
   "message":" INFO - 48566 - SQL - transaction1 - 200\r","taskid":"48566","tags":[]
}
{
   "sql_duration":520,"path":"C:/tpwork/logstash/bin/log/input.log",
   "@timestamp":"2016-12-22T19:04:38.380Z","loglevel":"INFO","logger":"TRANSACTION_END",
   "@version":"1","host":"wcnlab-PC","label":"end",
   "message":" INFO - 48566 - TRANSACTION_END - end\r","taskid":"48566","tags":[]
}

Logstash-filters