CentOS7にElasticsearch、Logstash、およびKibana(ELKスタック)をインストールする方法
序章
このチュートリアルでは、CentOS7へのElasticsearchELKスタックのインストールについて説明します。つまり、Elasticsearch 2.2.x、Logstash 2.2.x、およびKibana4.4.xです。 また、Filebeat 1.1.xを使用して、システムのsyslogを一元化された場所に収集して視覚化するように構成する方法についても説明します。 Logstashは、将来使用するためにログを収集、解析、および保存するためのオープンソースツールです。 Kibanaは、Logstashがインデックスを作成したログを検索および表示するために使用できるWebインターフェイスです。 これらのツールは両方とも、ログの保存に使用されるElasticsearchに基づいています。
一元化されたログは、サーバーまたはアプリケーションの問題を特定するときに非常に役立ちます。これにより、すべてのログを1か所で検索できるようになります。 また、特定の時間枠でログを相互に関連付けることにより、複数のサーバーにまたがる問題を特定できるので便利です。
Logstashを使用してすべてのタイプのログを収集することは可能ですが、このチュートリアルの範囲をsyslog収集に限定します。
私たちの目標
チュートリアルの目的は、複数のサーバーのsyslogを収集するようにLogstashを設定し、収集されたログを視覚化するようにKibanaを設定することです。
ELKスタックのセットアップには、次の4つの主要コンポーネントがあります。
- Logstash :受信ログを処理するLogstashのサーバーコンポーネント
- Elasticsearch :すべてのログを保存します
- Kibana :Nginxを介してプロキシされるログを検索および視覚化するためのWebインターフェイス
- Filebeat :ログをLogstashに送信するクライアントサーバーにインストールされたFilebeatは、lumberjackネットワーキングプロトコルを利用してLogstashと通信するログ配布エージェントとして機能します。
最初の3つのコンポーネントを単一のサーバーにインストールします。これをELKサーバーと呼びます。 Filebeatは、ログを収集するすべてのクライアントサーバーにインストールされます。これらをまとめてクライアントサーバーと呼びます。
前提条件
このチュートリアルを完了するには、CentOS7VPSへのルートアクセスが必要です。 これを設定する手順は、ここにあります(手順3および4): CentOS7を使用したサーバーの初期設定。
代わりにUbuntuを使用したい場合は、次のチュートリアルを確認してください: Ubuntu14.04にELKをインストールする方法。
ELKサーバーに必要なCPU、RAM、およびストレージの量は、収集するログの量によって異なります。 このチュートリアルでは、ELKサーバーに次の仕様のVPSを使用します。
- OS:CentOS 7
- RAM:4GB
- CPU:2
ELKサーバーに加えて、ログを収集するサーバーをいくつか用意する必要があります。
ELKサーバーのセットアップを始めましょう!
Java8をインストールします
ElasticsearchとLogstashにはJavaが必要なので、今すぐインストールします。 Elasticsearchが推奨する最新バージョンのOracleJava8をインストールします。 ただし、そのルートを選択する場合は、OpenJDKで正常に機能するはずです。 このセクションの手順に従うことは、JavaSEのOracleBinaryLicenseAgreementに同意することを意味します。
ホームディレクトリに移動し、次のコマンドを使用してOracle Java 8(Update 73、この記事の執筆時点で最新)JDKRPMをダウンロードします。
cd ~ wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.rpm"
次に、このyumコマンドを使用してRPMをインストールします(別のリリースをダウンロードした場合は、ここでファイル名に置き換えてください)。
sudo yum -y localinstall jdk-8u73-linux-x64.rpm
これで、Javaが/usr/java/jdk1.8.0_73/jre/bin/java
にインストールされ、/usr/bin/java
からリンクされるはずです。
以前にダウンロードしたアーカイブファイルを削除できます。
rm ~/jdk-8u*-linux-x64.rpm
Java 8がインストールされたので、ElasticSearchをインストールしましょう。
Elasticsearchをインストールする
Elasticsearchは、Elasticのパッケージリポジトリを追加することにより、パッケージマネージャーとともにインストールできます。
次のコマンドを実行して、Elasticsearchの公開GPGキーをrpmにインポートします。
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
Elasticsearch用の新しいyumリポジトリファイルを作成します。 これは単一のコマンドであることに注意してください。
echo '[elasticsearch-2.x] name=Elasticsearch repository for 2.x packages baseurl=http://packages.elastic.co/elasticsearch/2.x/centos gpgcheck=1 gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch enabled=1 ' | sudo tee /etc/yum.repos.d/elasticsearch.repo
次のコマンドでElasticsearchをインストールします。
sudo yum -y install elasticsearch
Elasticsearchがインストールされました。 構成を編集しましょう:
sudo vi /etc/elasticsearch/elasticsearch.yml
Elasticsearchインスタンス(ポート9200)への外部アクセスを制限して、部外者がHTTPAPIを介してデータを読み取ったりElasticsearchクラスターをシャットダウンしたりできないようにする必要があります。 network.host
を指定する行を見つけてコメントを外し、その値を「localhost」に置き換えて、次のようにします。
Elasticsearch.ymlの抜粋(更新)
network.host: localhost
elasticsearch.yml
を保存して終了します。
次にElasticsearchを起動します。
sudo systemctl start elasticsearch
次に、次のコマンドを実行して、起動時にElasticsearchを自動的に開始します。
sudo systemctl enable elasticsearch
Elasticsearchが稼働しているので、Kibanaをインストールしましょう。
Kibanaをインストールする
KibanaパッケージはElasticsearchと同じGPGキーを共有しており、その公開キーはすでにインストールされています。
Kibanaの新しいyumリポジトリファイルを作成および編集します。
sudo vi /etc/yum.repos.d/kibana.repo
次のリポジトリ構成を追加します。
/etc/yum.repos.d/kibana.repo
[kibana-4.4] name=Kibana repository for 4.4.x packages baseurl=http://packages.elastic.co/kibana/4.4/centos gpgcheck=1 gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch enabled=1
保存して終了。
次のコマンドでKibanaをインストールします。
sudo yum -y install kibana
Kibana構成ファイルを開いて編集します。
sudo vi /opt/kibana/config/kibana.yml
Kibana構成ファイルで、server.host
を指定する行を見つけ、IPアドレス(デフォルトでは「0.0.0.0」)を「localhost」に置き換えます。
kibana.ymlの抜粋(更新)
server.host: "localhost"
保存して終了。 この設定により、Kibanaはローカルホストのみがアクセスできるようになります。 Nginxリバースプロキシを同じサーバーにインストールして外部アクセスを許可するため、これは問題ありません。
次に、Kibanaサービスを開始し、有効にします。
sudo systemctl start kibana sudo chkconfig kibana on
Kibana Webインターフェースを使用する前に、リバースプロキシを設定する必要があります。 Nginxを使って今それをやってみましょう。
Nginxをインストールします
localhost
でリッスンするようにKibanaを構成したため、外部アクセスを許可するようにリバースプロキシを設定する必要があります。 この目的のためにNginxを使用します。
注:使用するNginxインスタンスが既にある場合は、代わりにそれを自由に使用してください。 Nginxサーバーから到達できるようにKibanaを構成してください(/opt/kibana/config/kibana.yml
のhost
値をKibanaサーバーのプライベートIPアドレスに変更することをお勧めします)。 また、SSL/TLSを有効にすることをお勧めします。
EPELリポジトリをyumに追加します。
sudo yum -y install epel-release
次に、yumを使用してNginxとhttpd-toolsをインストールします。
sudo yum -y install nginx httpd-tools
htpasswdを使用して、Kibana Webインターフェイスにアクセスできる「kibanaadmin」(別の名前を使用する必要があります)という管理ユーザーを作成します。
sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin
プロンプトでパスワードを入力します。 Kibana Webインターフェースにアクセスするために必要になるため、このログインを覚えておいてください。
次に、お気に入りのエディターでNginx構成ファイルを開きます。 viを使用します:
sudo vi /etc/nginx/nginx.conf
ファイルの最後の構成ブロックであるデフォルトのサーバーブロック(server {
で始まる)を見つけて削除します。 完了すると、ファイルの最後の2行は次のようになります。
nginx.confの抜粋
include /etc/nginx/conf.d/*.conf; }
保存して終了。
次に、新しいファイルにNginxサーバーブロックを作成します。
sudo vi /etc/nginx/conf.d/kibana.conf
次のコードブロックをファイルに貼り付けます。 サーバーの名前と一致するようにserver_name
を更新してください。
/etc/nginx/conf.d/kibana.conf
server { listen 80; server_name example.com; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/htpasswd.users; location / { proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'upgrade'; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; } }
保存して終了。 これにより、サーバーのHTTPトラフィックをlocalhost:5601
でリッスンしているKibanaアプリケーションに転送するようにNginxが構成されます。 また、Nginxは以前に作成したhtpasswd.users
ファイルを使用するため、基本認証が必要です。
次に、Nginxを起動して有効にし、変更を有効にします。
sudo systemctl start nginx sudo systemctl enable nginx
注:このチュートリアルは、SELinuxが無効になっていることを前提としています。 そうでない場合、Kibanaを正しく機能させるには、次のコマンドを実行する必要があります。sudo setsebool -P httpd_can_network_connect 1
これで、FQDNまたはELKサーバーのパブリックIPアドレスを介してKibanaにアクセスできます。 http://elk_server_public_ip/。 Webブラウザーでそこにアクセスすると、「kibanaadmin」クレデンシャルを入力した後、インデックスパターンの構成を求めるKibanaウェルカムページが表示されます。 他のすべてのコンポーネントをインストールした後、後でそれに戻りましょう。
Logstashをインストールします
LogstashパッケージはElasticsearchと同じGPGキーを共有しており、その公開キーはすでにインストールされているので、Logstash用の新しいYumリポジトリファイルを作成して編集しましょう。
sudo vi /etc/yum.repos.d/logstash.repo
次のリポジトリ構成を追加します。
/etc/yum.repos.d/logstash.repo
[logstash-2.2] name=logstash repository for 2.2 packages baseurl=http://packages.elasticsearch.org/logstash/2.2/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1
保存して終了。
次のコマンドでLogstashをインストールします。
sudo yum -y install logstash
Logstashはインストールされていますが、まだ構成されていません。
SSL証明書を生成する
Filebeatを使用してクライアントサーバーからELKサーバーにログを送信するため、SSL証明書とキーのペアを作成する必要があります。 この証明書は、FilebeatがELKサーバーのIDを確認するために使用されます。 次のコマンドを使用して、証明書と秘密鍵を格納するディレクトリを作成します。
これで、SSL証明書を生成するための2つのオプションがあります。 クライアントサーバーがELKサーバーのIPアドレスを解決できるようにするDNS設定がある場合は、オプション2を使用します。 それ以外の場合は、オプション1でIPアドレスを使用できます。
オプション1:IPアドレス
ELKサーバーのIPアドレスを解決するために、ログを収集するサーバーを許可するDNS設定がない場合は、ELKサーバーのプライベートIPアドレスを[に追加する必要があります。 X207X](SAN)生成しようとしているSSL証明書のフィールド。 これを行うには、OpenSSL構成ファイルを開きます。
sudo vi /etc/pki/tls/openssl.cnf
ファイル内の[ v3_ca ]
セクションを見つけて、その下に次の行を追加します(ELKサーバーのプライベートIPアドレスに置き換えます)。
openssl.cnfの抜粋
subjectAltName = IP: ELK_server_private_ip
保存して終了。
次に、次のコマンドを使用して、SSL証明書と秘密鍵を適切な場所(/ etc / pki / tls /)に生成します。
cd /etc/pki/tls sudo openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
logstash-forwarder.crt ファイルは、ログをLogstashに送信するすべてのサーバーにコピーされますが、少し後で行います。 Logstashの構成を完了しましょう。 このオプションを使用した場合は、オプション2をスキップして、Logstashの構成に進みます。
オプション2:FQDN(DNS)
プライベートネットワークでDNSを設定している場合は、ELKサーバーのプライベートIPアドレスを含むAレコードを作成する必要があります。このドメイン名は次のコマンドでSSL証明書を生成するために使用されます。 または、サーバーのパブリックIPアドレスを指すレコードを使用することもできます。 サーバー(ログを収集するサーバー)がドメイン名をELKサーバーに解決できることを確認してください。
次に、次のコマンドを使用して、適切な場所(/ etc / pki / tls /…)にSSL証明書と秘密鍵を生成します(ELKサーバーのFQDNに置き換えます)。
cd /etc/pki/tls sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
logstash-forwarder.crt ファイルは、ログをLogstashに送信するすべてのサーバーにコピーされますが、少し後で行います。 Logstashの構成を完了しましょう。
Logstashを構成する
Logstash構成ファイルはJSON形式であり、/ etc / logstash/conf.dにあります。 構成は、入力、フィルター、および出力の3つのセクションで構成されます。
02-beats-input.conf
という構成ファイルを作成し、「filebeat」入力を設定しましょう。
sudo vi /etc/logstash/conf.d/02-beats-input.conf
次の入力構成を挿入します。
02-beats-input.conf
input { beats { port => 5044 ssl => true ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" } }
保存して終了します。 これは、tcpポート5044
でリッスンするbeats
入力を指定し、前に作成したSSL証明書と秘密鍵を使用します。
次に、10-syslog-filter.conf
という構成ファイルを作成します。ここで、syslogメッセージのフィルターを追加します。
sudo vi /etc/logstash/conf.d/10-syslog-filter.conf
次のsyslogfilter構成を挿入します。
10-syslog-filter.conf
filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" } add_field => [ "received_at", "%{@timestamp}" ] add_field => [ "received_from", "%{host}" ] } syslog_pri { } date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } }
保存して終了します。 このフィルターは、(Filebeatによって)「syslog」タイプとしてラベル付けされたログを検索し、grok
を使用して着信syslogログを解析し、構造化およびクエリ可能にしようとします。
最後に、30-elasticsearch-output.conf
という構成ファイルを作成します。
sudo vi /etc/logstash/conf.d/30-elasticsearch-output.conf
次の出力構成を挿入します。
/etc/logstash/conf.d/30-elasticsearch-output.conf
output { elasticsearch { hosts => ["localhost:9200"] sniffing => true manage_template => false index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } }
保存して終了。 この出力は基本的に、localhost:9200
で実行されているElasticsearchのビートデータを、使用されているビートにちなんで名付けられたインデックス(この場合はfilebeat)に格納するようにLogstashを構成します。
Filebeat入力を使用する他のアプリケーションにフィルターを追加する場合は、入力構成と出力構成の間でソートされるように、必ずファイルに名前を付けてください(つまり、 02-と30-の間)。
次のコマンドを使用して、Logstash構成をテストします。
sudo service logstash configtest
構文エラーがない場合は、Configuration OK
と表示されます。 それ以外の場合は、エラー出力を読んで、Logstash構成の何が問題になっているのかを確認してください。
Logstashを再起動して有効にし、構成の変更を有効にします。
sudo systemctl restart logstash sudo chkconfig logstash on
次に、サンプルのKibanaダッシュボードをロードします。
Kibanaダッシュボードをロードする
Elasticには、Kibanaの使用を開始するのに役立ついくつかのサンプルKibanaダッシュボードとBeatsインデックスパターンが用意されています。 このチュートリアルではダッシュボードを使用しませんが、ダッシュボードをロードして、含まれているFilebeatインデックスパターンを使用できるようにします。
まず、サンプルダッシュボードアーカイブをホームディレクトリにダウンロードします。
cd ~ curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.1.0.zip
次のコマンドを使用して、unzip
パッケージをインストールします。
sudo yum -y install unzip
次に、アーカイブの内容を抽出します。
unzip beats-dashboards-*.zip
そして、次のコマンドを使用して、サンプルのダッシュボード、ビジュアライゼーション、BeatsインデックスパターンをElasticsearchにロードします。
cd beats-dashboards-* ./load.sh
ロードしたばかりのインデックスパターンは次のとおりです。
- [packetbeat-] YYYY.MM.DD
- [トップビート-]YYYY.MM.DD
- [filebeat-] YYYY.MM.DD
- [winlogbeat-] YYYY.MM.DD
Kibanaの使用を開始するときは、デフォルトとしてFilebeatインデックスパターンを選択します。
ElasticsearchにFilebeatインデックステンプレートをロードする
Filebeatを使用してログをElasticsearchに送信することを計画しているため、Filebeatインデックステンプレートをロードする必要があります。 インデックステンプレートは、着信Filebeatフィールドをインテリジェントな方法で分析するようにElasticsearchを構成します。
まず、Filebeatインデックステンプレートをホームディレクトリにダウンロードします。
cd ~ curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json
次に、次のコマンドを使用してテンプレートをロードします。
curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@filebeat-index-template.json
テンプレートが正しく読み込まれると、次のようなメッセージが表示されます。
Output:{ "acknowledged" : true }
ELKサーバーがFilebeatデータを受信する準備ができたので、各クライアントサーバーでのFilebeatの設定に移りましょう。
Filebeatのセットアップ(クライアントサーバーの追加)
ELKサーバーにログを送信するCentOSまたはRHEL7サーバーごとにこれらの手順を実行します。 DebianベースのLinuxディストリビューションにFilebeatをインストールする手順については(例: Ubuntu、Debianなど)、このチュートリアルのUbuntuバリエーションのファイルビートのセットアップ(クライアントサーバーの追加)セクションを参照してください。
SSL証明書をコピーする
ELKサーバーで、前提条件のチュートリアルで作成したSSL証明書をクライアントサーバーにコピーします(クライアントサーバーのアドレスと独自のログインに置き換えます)。
scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp
ログインの資格情報を入力したら、証明書のコピーが成功したことを確認します。 クライアントサーバーとELKサーバー間の通信に必要です。
次に、クライアントサーバーで、ELKサーバーのSSL証明書を適切な場所(/ etc / pki / tls / certs)にコピーします。
sudo mkdir -p /etc/pki/tls/certs sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/
次に、Topbeatパッケージをインストールします。
Filebeatパッケージをインストールする
クライアントサーバーで、次のコマンドを作成して実行し、Elasticsearchの公開GPGキーをrpmにインポートします。
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch
Filebeat用の新しいyumリポジトリファイルを作成および編集します。
sudo vi /etc/yum.repos.d/elastic-beats.repo
次のリポジトリ構成を追加します。
/etc/yum.repos.d/elastic-beats.repo
[beats] name=Elastic Beats Repository baseurl=https://packages.elastic.co/beats/yum/el/$basearch enabled=1 gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch gpgcheck=1
保存して終了。
次のコマンドでFilebeatをインストールします。
sudo yum -y install filebeat
Filebeatはインストールされていますが、まだ構成されていません。
Filebeatを構成する
次に、ELKサーバー上のLogstashに接続するようにFilebeatを構成します。 このセクションでは、Filebeatに付属しているサンプル構成ファイルを変更する手順を説明します。 手順を完了すると、thisのようなファイルが作成されます。
クライアントサーバーで、Filebeat構成ファイルを作成および編集します。
sudo vi /etc/filebeat/filebeat.yml
注: Filebeatの構成ファイルはYAML形式です。つまり、インデントが非常に重要です。 これらの説明に示されているのと同じ数のスペースを使用してください。
ファイルの上部近くにprospectors
セクションが表示されます。このセクションでは、出荷するログファイルとその処理方法を指定するプロスペクターを定義できます。 各プロスペクターは-
の文字で示されます。
secure
およびmessages
ログをLogstashに送信するように、既存のプロスペクターを変更します。 paths
の下で、- /var/log/*.log
ファイルをコメントアウトします。 これにより、Filebeatがそのディレクトリ内のすべての.log
をLogstashに送信するのを防ぎます。 次に、syslog
およびauth.log
の新しいエントリを追加します。 完了すると、次のようになります。
filebeat.ymlの抜粋1/5
... paths: - /var/log/secure - /var/log/messages # - /var/log/*.log ...
次に、document_type:
を指定する行を見つけ、コメントを外して、その値を「syslog」に変更します。 変更後は次のようになります。
filebeat.ymlの抜粋2/5
... document_type: syslog ...
これは、このプロスペクターのログのタイプが syslog (Logstashフィルターが検索するタイプ)であることを指定します。
ELKサーバーに他のファイルを送信したい場合、またはFilebeatがログを処理する方法に変更を加えたい場合は、プロスペクターエントリを自由に変更または追加してください。
次に、output
セクションで、elasticsearch:
という行を見つけます。これは、Elasticsearchの出力セクション(使用しません)を示します。 Elasticsearchの出力セクション全体を削除またはコメントアウトします(logstash:
と表示されている行まで)。
#logstash:
という行で示されている、コメント化されたLogstash出力セクションを見つけ、前の#
を削除してコメントを解除します。 このセクションでは、hosts: ["localhost:5044"]
行のコメントを解除します。 localhost
をELKサーバーのプライベートIPアドレス(または、そのオプションを使用した場合はホスト名)に変更します。
filebeat.ymlの抜粋3/5
### Logstash as output logstash: # The Logstash hosts hosts: ["ELK_server_private_IP:5044"]
これにより、ポート5044(以前に入力を指定したポート)でELKサーバーのLogstashに接続するようにFilebeatが構成されます。
hosts
エントリのすぐ下で、同じインデントを使用して、次の行を追加します。
filebeat.ymlの抜粋4/5
bulk_max_size: 1024
次に、tls
セクションを見つけて、コメントを外します。 次に、certificate_authorities
を指定する行のコメントを解除し、その値を["/etc/pki/tls/certs/logstash-forwarder.crt"]
に変更します。 次のようになります。
filebeat.ymlの抜粋5/5
... tls: # List of root certificates for HTTPS server verifications certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
これにより、ELKサーバーで作成したSSL証明書を使用するようにFilebeatが構成されます。
保存して終了します。
次に、Filebeatを起動して有効にし、変更を適用します。
sudo systemctl start filebeat sudo systemctl enable filebeat
繰り返しになりますが、Filebeatの構成が正しいかどうかわからない場合は、このサンプルのFilebeat構成と比較してください。
これで、Filebeatはsyslogmessages
およびsecure
ファイルをELKサーバーに送信します。 ログを収集する他のすべてのサーバーについて、このセクションを繰り返します。
Filebeatのインストールをテストする
ELKスタックが適切に設定されている場合、Filebeat(クライアントサーバー上)はログをELKサーバー上のLogstashに送信する必要があります。 Logstashは、Filebeatデータを日付スタンプ付きのインデックスfilebeat-YYYY.MM.DD
でElasticsearchにロードする必要があります。
ELKサーバーで、次のコマンドを使用してFilebeatインデックスをクエリし、Elasticsearchが実際にデータを受信していることを確認します。
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
次のような出力が表示されるはずです。
Sample Output:... { "_index" : "filebeat-2016.01.29", "_type" : "log", "_id" : "AVKO98yuaHvsHQLa53HE", "_score" : 1.0, "_source":{"message":"Feb 3 14:34:00 rails sshd[963]: Server listening on :: port 22.","@version":"1","@timestamp":"2016-01-29T19:59:09.145Z","beat":{"hostname":"topbeat-u-03","name":"topbeat-u-03"},"count":1,"fields":null,"input_type":"log","offset":70,"source":"/var/log/auth.log","type":"log","host":"topbeat-u-03"} } ...
出力に合計ヒット数が0と表示されている場合、Elasticsearchは検索したインデックスの下にログをロードしていないため、セットアップでエラーがないか確認する必要があります。 期待どおりの出力が得られたら、次の手順に進みます。
Kibanaに接続する
ログを収集するすべてのサーバーでFilebeatのセットアップが完了したら、前にインストールしたWebインターフェイスであるKibanaを見てみましょう。
Webブラウザーで、ELKサーバーのFQDNまたはパブリックIPアドレスに移動します。 「kibanaadmin」クレデンシャルを入力すると、デフォルトのインデックスパターンを構成するように求めるページが表示されます。
先に進み、インデックスパターンメニュー(左側)から [filebeat] -YYY.MM.DD を選択し、 Star(デフォルトインデックスとして設定)ボタンをクリックしてFilebeatを設定しますデフォルトとしてのインデックス。
次に、上部のナビゲーションバーにあるDiscoverリンクをクリックします。 デフォルトでは、これにより過去15分間のすべてのログデータが表示されます。 以下のログメッセージとともに、ログイベントのヒストグラムが表示されます。
現時点では、クライアントサーバーからsyslogを収集しているだけなので、それほど多くはありません。 ここでは、ログを検索および参照できます。 ダッシュボードをカスタマイズすることもできます。
次のことを試してください。
- 「root」を検索して、誰かがrootとしてサーバーにログインしようとしていないかどうかを確認します
- 特定のホスト名を検索します(
host: "hostname"
を検索します) - ヒストグラムの領域を選択するか、上のメニューから時間枠を変更します
- ヒストグラムの下のメッセージをクリックして、データがどのようにフィルタリングされているかを確認してください
Kibanaには、グラフ化やフィルタリングなど、他にも多くの機能がありますので、お気軽にご確認ください。
結論
これで、syslogがElasticsearchとLogstashを介して一元化され、Kibanaでそれらを視覚化できるようになったので、すべての重要なログを一元化することから始めることができます。 ほぼすべてのタイプのログまたはインデックス付きデータをLogstashに送信できますが、データがgrokで解析および構造化されると、データはさらに便利になります。
新しいELKスタックを改善するには、Logstashを使用して他のログを収集およびフィルタリングし、Kibanaダッシュボードを作成することを検討する必要があります。 ELKスタックでTopbeatを使用して、システムメトリックを収集することもできます。 これらのトピックはすべて、このシリーズの他のチュートリアルで説明されています。
幸運を!