Apache NiFi-監視

Apache NiFiには、エラー、メモリ使用量、CPU使用量、データフロー統計など、システムのさまざまな統計を監視する方法が複数あります。このチュートリアルでは、最も人気のあるものについて説明します。

ビルトイン監視

このセクションでは、Apache NiFiの組み込みモニタリングについて詳しく学習します。

掲示板

掲示板には、NiFiプロセッサによってリアルタイムで生成される最新のエラーと警告が表示されます。掲示板にアクセスするには、ユーザーは右側のドロップダウンメニューから[掲示板]オプションを選択する必要があります。これは自動的に更新され、ユーザーは無効にすることもできます。ユーザーは、エラーをダブルクリックして実際のプロセッサに移動することもできます。ユーザーはまた、次のようにワークアウトすることにより、速報をフィルタリングすることができます-

メッセージで
名前で
IDで
グループID別

データ来歴UI

特定のプロセッサまたはNiFi全体で発生するイベントを監視するために、ユーザーは掲示板と同じメニューからデータ起源にアクセスできます。ユーザーはまた、次のフィールドで作業することにより、データ来歴リポジトリ内のイベントをフィルタリングすることができます-

コンポーネント名別
コンポーネントタイプ別
タイプ別

NiFiサマリーUI

Apache NiFiの概要は、掲示板と同じメニューからもアクセスできます。このUIには、特定のNiFiインスタンスまたはクラスターのすべてのコンポーネントに関する情報が含まれています。名前、タイプ、またはURIでフィルターできます。コンポーネントの種類ごとに異なるタブがあります。以下は、NiFiサマリーUIで監視できるコンポーネントです-

プロセッサ
入力ポート
出力ポート
リモートプロセスグループ
つながり
プロセスグループ

このUIでは、右下にシステム診断という名前のリンクがあり、JVM統計を確認できます。

レポートタスク

Apache NiFiは、Ambari、Grafanaなどの外部監視システムをサポートする複数のレポートタスクを提供します。開発者は、カスタムレポートタスクを作成するか、組み込みのタスクを構成してNiFiのメトリックを外部監視システムに送信できます。次の表に、NiFi 1.7.1で提供されるレポートタスクを示します。

S.No.	Reporting Task Name	Description
1	AmbariReportingTask	To setup Ambari Metrics Service for NiFi.
2	ControllerStatusReportingTask	To report the information from the NiFi summary UI for the last 5 minute.
3	MonitorDiskUsage	To report and warn about the disk usage of a specific directory.
4	MonitorMemory	To monitor the amount of Java Heap used in a Java Memory pool of JVM.
5	SiteToSiteBulletinReportingTask	To report the errors and warning in bulletins using Site to Site protocol.
6	SiteToSiteProvenanceReportingTask	To report the NiFi Data Provenance events using Site to Site protocol.

NiFi API

システム診断という名前のAPIがあり、これを使用して、カスタム開発アプリケーションのNiFI統計を監視できます。 postmanでAPIを確認しましょう。

要求

http://localhost:8080/nifi-api/system-diagnostics

応答

{
   "systemDiagnostics": {
      "aggregateSnapshot": {
         "totalNonHeap": "183.89 MB",
         "totalNonHeapBytes": 192819200,
         "usedNonHeap": "173.47 MB",
         "usedNonHeapBytes": 181894560,
         "freeNonHeap": "10.42 MB",
         "freeNonHeapBytes": 10924640,
         "maxNonHeap": "-1 bytes",
         "maxNonHeapBytes": -1,
         "totalHeap": "512 MB",
         "totalHeapBytes": 536870912,
         "usedHeap": "273.37 MB",
         "usedHeapBytes": 286652264,
         "freeHeap": "238.63 MB",
         "freeHeapBytes": 250218648,
         "maxHeap": "512 MB",
         "maxHeapBytes": 536870912,
         "heapUtilization": "53.0%",
         "availableProcessors": 4,
         "processorLoadAverage": -1,
         "totalThreads": 71,
         "daemonThreads": 31,
         "uptime": "17:30:35.277",
         "flowFileRepositoryStorageUsage": {
            "freeSpace": "286.93 GB",
            "totalSpace": "464.78 GB",
            "usedSpace": "177.85 GB",
            "freeSpaceBytes": 308090789888,
            "totalSpaceBytes": 499057160192,
            "usedSpaceBytes": 190966370304,
            "utilization": "38.0%"
         },
         "contentRepositoryStorageUsage": [
            {
               "identifier": "default",
               "freeSpace": "286.93 GB",
               "totalSpace": "464.78 GB",
               "usedSpace": "177.85 GB",
               "freeSpaceBytes": 308090789888,
               "totalSpaceBytes": 499057160192,
               "usedSpaceBytes": 190966370304,
               "utilization": "38.0%"
            }
         ],
         "provenanceRepositoryStorageUsage": [
            {
               "identifier": "default",
               "freeSpace": "286.93 GB",
               "totalSpace": "464.78 GB",
               "usedSpace": "177.85 GB",
               "freeSpaceBytes": 308090789888,
               "totalSpaceBytes": 499057160192,
               "usedSpaceBytes": 190966370304,
               "utilization": "38.0%"
            }
         ],
         "garbageCollection": [
            {
               "name": "G1 Young Generation",
               "collectionCount": 344,
               "collectionTime": "00:00:06.239",
               "collectionMillis": 6239
            },
            {
               "name": "G1 Old Generation",
               "collectionCount": 0,
               "collectionTime": "00:00:00.000",
               "collectionMillis": 0
            }
         ],
         "statsLastRefreshed": "09:30:20 SGT",
         "versionInfo": {
            "niFiVersion": "1.7.1",
            "javaVendor": "Oracle Corporation",
            "javaVersion": "1.8.0_151",
            "osName": "Windows 7",
            "osVersion": "6.1",
            "osArchitecture": "amd64",
            "buildTag": "nifi-1.7.1-RC1",
            "buildTimestamp": "07/12/2018 12:54:43 SGT"
         }
      }
   }
}

Apache-nifi-monitoring

目次