Logstash-はじめに

Logstashは、ログまたはイベントを収集、処理、生成するためのフィルター/パイプパターンに基づくツールです。これは、さまざまなソースからのログとイベントのリアルタイム分析の一元化と作成に役立ちます。

LogstashはJVMで実行されるJRubyプログラミング言語で書かれているため、異なるプラットフォームでLogstashを実行できます。ほとんどすべてのタイプのソースから、ログ、パケット、イベント、トランザクション、タイムスタンプデータなどのさまざまなタイプのデータを収集します。データソースは、ソーシャルデータ、Eコマース、ニュース記事、CRM、ゲームデータ、Webトレンド、財務データ、モノのインターネット、モバイルデバイスなどです。

Logstashの一般的な機能

Logstashの一般的な機能は次のとおりです-

Logstashは、さまざまなソースからデータを収集し、複数の宛先に送信できます。
Logstashは、Apacheログ、Windowsイベントログ、ネットワークプロトコル上のデータ、標準入力からのデータなど、あらゆる種類のログデータを処理できます。
Logstashは、http要求と応答データも処理できます。
Logstashにはさまざまなフィルターが用意されており、ユーザーはデータを解析および変換することで、データのより多くの意味を見つけることができます。
Logstashは、モノのインターネットでセンサーデータを処理するためにも使用できます。
Logstashはオープンソースであり、Apacheライセンスバージョン2.0で利用できます。

Logstashの主要な概念

Logstashの主要な概念は次のとおりです-

イベントオブジェクト

これは、Logstashパイプラインのデータフローをカプセル化するLogstashのメインオブジェクトです。 Logstashはこのオブジェクトを使用して入力データを保存し、フィルターステージ中に作成されたフィールドを追加します。

Logstashは、イベントを操作する開発者にイベントAPIを提供します。このチュートリアルでは、このイベントは、ログデータイベント、ログイベント、ログデータ、入力ログデータ、出力ログデータなどのさまざまな名前で参照されます。

パイプライン

Logstashの入力から出力までのデータフローステージで構成されます。入力データはパイプラインに入力され、イベントの形式で処理されます。次に、ユーザーまたはエンドシステムの望ましい形式で出力先に送信します。

入力

これはLogstashパイプラインの最初の段階であり、Logstashでデータを取得してさらに処理するために使用されます。 Logstashは、さまざまなプラットフォームからデータを取得するためのさまざまなプラグインを提供します。最も一般的に使用されるプラグインには、File、Syslog、Redis、Beatsがあります。

フィルタ

これは、イベントの実際の処理が行われるLogstashの中間段階です。開発者は、Logstashによる事前定義の正規表現パターンを使用して、イベント内のフィールドと受け入れられた入力イベントの基準を区別するためのシーケンスを作成できます。

Logstashは、開発者がイベントを解析して望ましい構造に変換するのに役立つさまざまなプラグインを提供します。最も一般的に使用されるフィルタープラグインには、Grok、Mutate、Drop、Clone、Geoipがあります。

出力

これはLogstashパイプラインの最後の段階であり、出力イベントを宛先システムに必要な構造にフォーマットできます。最後に、プラグインを使用して宛先への処理が完了した後、出力イベントを送信します。最も一般的に使用されるプラグインには、Elasticsearch、File、Graphite、Statsdなどがあります。

Logstashの利点

以下のポイントは、Logstashのさまざまな利点を説明しています。

Logstashは、入力イベントのさまざまなフィールドを識別および解析するための正規表現パターンシーケンスを提供します。
Logstashは、ロギングデータを抽出するためのさまざまなWebサーバーとデータソースをサポートしています。
Logstashには、ロギングデータを解析してユーザーが希望する形式に変換するための複数のプラグインが用意されています。
Logstashは一元化されているため、さまざまなサーバーからのデータの処理と収集が簡単になります。
Logstashは、ロギングイベントの宛先ソースとして、多くのデータベース、ネットワークプロトコル、およびその他のサービスをサポートしています。
LogstashはHTTPプロトコルを使用します。これにより、ユーザーはロックステップでLogstashをアップグレードしなくてもElasticsearchバージョンをアップグレードできます。

Logstashの欠点

以下のポイントは、Logstashのさまざまな欠点を説明しています。

Logstashはhttpを使用します。これは、ロギングデータの処理に悪影響を及ぼします。
Logstashの操作は、入力ログデータを十分に理解して分析する必要があるため、少し複雑になる場合があります。
フィルタープラグインは汎用ではないため、ユーザーは解析のエラーを回避するために正しいパターンのシーケンスを見つける必要がある場合があります。

次の章では、ELKスタックとは何か、それがLogstashにどのように役立つかを理解します。

Logstash-introduction

目次