Logstash-出力ステージ

出力はLogstashパイプラインの最後のステージであり、入力ログから指定された宛先にフィルターデータを送信します。 Logstashには、フィルタリングされたログイベントをさまざまなストレージおよび検索エンジンにスタッシュするための複数の出力プラグインが用意されています。

ログを保存する

Logstashは、フィルタリングされたログを* File、Elasticsearch Engine、stdout、AWS CloudWatchなどに保存できます。 Logstashでは、 TCP、UDP、Websocket などのネットワークプロトコルを使用して、ログイベントをリモートストレージシステムに転送することもできます。

ELKスタックでは、ユーザーはElasticsearchエンジンを使用してログイベントを保存します。ここで、次の例では、ローカルElasticsearchエンジンのログイベントを生成します。

Elasticsearch Outputプラグインのインストール

次のコマンドでElasticsearch出力プラグインをインストールできます。

>logstash-plugin install Logstash-output-elasticsearch

logstash.conf

この設定ファイルには、ローカルにインストールされたElasticsearchに出力イベントを保存するElasticsearchプラグインが含まれています。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
}
filter {
   grok {
      match => [ "message", "%{LOGLEVEL:loglevel} -
      %{NOTSPACE:taskid} - %{NOTSPACE:logger} -
      %{WORD:label}( - %{INT:duration:int})?" ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
   mutate {
      add_field => {"user" => "finddevguides.com"}
   }
}
output {
   elasticsearch {
      hosts => ["127.0.0.1:9200"]
   }
}

Input.log

次のコードブロックは、入力ログデータを示しています。

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END - end

LocalhostでElasticsearchを開始します

ローカルホストでElasticsearchを開始するには、次のコマンドを使用する必要があります。

C:\elasticsearch\bin> elasticsearch

Elasticsearchの準備ができたら、ブラウザに次のURLを入力して確認できます。

*http：//localhost：9200/*

応答

次のコードブロックは、localhostでのElasticsearchの応答を示しています。

{
   "name" : "Doctor Dorcas",
   "cluster_name" : "elasticsearch",
   "version" : {
      "number" : "2.1.1",
      "build_hash" : "40e2c53a6b6c2972b3d13846e450e66f4375bd71",
      "build_timestamp" : "2015-12-15T13:05:55Z",
      "build_snapshot" : false,
      "lucene_version" : "5.3.1"
   },
   "tagline" : "You Know, for Search"
}

注-Elasticsearchの詳細については、次のリンクをクリックしてください。

リンク：/elasticsearch/index [https://www.finddevguides.com/elasticsearch/indexl]

次に、上記のLogstash.confでLogstashを実行します

>Logstash –f Logstash.conf

出力ログに上記のテキストを貼り付けた後、そのテキストはLogstashによってElasticsearchに保存されます。ブラウザに次のURLを入力して、保存されたデータを確認できます。

*http：//localhost：9200/logstash-2017.01.01/_search？pretty*

応答

これは、インデックスLogstash-2017.01.01に保存されているJSON形式のデータです。

{
   "took" : 20,
   "timed_out" : false,
   "_shards" : {
      "total" : 5,
      "successful" : 5,
      "failed" : 0
   },
   "hits" : {
      "total" : 10,
      "max_score" : 1.0,
      "hits" : [ {
         "_index" : "logstash-2017.01.01",
         "_type" : "logs",
         "_id" : "AVlZ9vF8hshdrGm02KOs",
         "_score" : 1.0,
         "_source":{
            "duration":200,"path":"C:/tpwork/logstash/bin/log/input.log",
            "@timestamp":"2017-01-01T12:17:49.140Z","loglevel":"INFO",
            "logger":"SQL","@version":"1","host":"wcnlab-PC",
            "label":"transaction1",
            "message":" INFO - 48566 - SQL - transaction1 - 200\r",
            "user":"finddevguides.com","taskid":"48566","tags":[]
         }
      },
      {
         "_index" : "logstash-2017.01.01",
         "_type" : "logs",
         "_id" : "AVlZ9vF8hshdrGm02KOt",
         "_score" : 1.0,
         "_source":{
            "sql_duration":520,"path":"C:/tpwork/logstash/bin/log/input.log",
            "@timestamp":"2017-01-01T12:17:49.145Z","loglevel":"INFO",
            "logger":"TRANSACTION_END","@version":"1","host":"wcnlab-PC",
            "label":"end",
            "message":" INFO - 48566 - TRANSACTION_END - end\r",
            "user":"finddevguides.com","taskid":"48566","tags":[]
         }
      }
   }
}

Logstash-output-stage