Apache-nifi-introduction

Apache NiFi-はじめに

Apache NiFiは、異種システム間でデータを処理および配布するための強力で使いやすい信頼性の高いシステムです。 これは、NSAが開発したNiagara Filesテクノロジーに基づいており、8年後にApache Software Foundationに寄付されました。 2004年1月、Apache License Version 2.0の下で配布されています。 Apache NiFiの最新バージョンは1.7.1です。

Apache NiFiは、さまざまなソースシステムと宛先システム間のデータ転送を転送および管理できるリアルタイムデータ取り込みプラットフォームです。 ログ、地理的位置データ、ソーシャルフィードなど、さまざまなデータ形式をサポートしています。 また、SFTP、HDFS、およびKAFKAなどの多くのプロトコルもサポートしています。 このプラットフォームは、さまざまなデータソースとプロトコルをサポートしているため、多くのIT組織でこのプラットフォームが普及しています。

Apache NiFi-一般機能

Apache NiFiの一般的な機能は次のとおりです-

• Apache NiFiは、設計、制御、フィードバック、監視の間のシームレスなエクスペリエンスを提供するWebベースのユーザーインターフェイスを提供します。
• 高度な設定が可能です。 これにより、保証された配信、低遅延、高スループット、動的な優先順位付け、バックプレッシャー、実行時のフローの変更が可能になります。
• また、フローの最初から最後までデータを追跡および監視するためのデータ来歴モジュールも提供します。
• 開発者は、ニーズに応じて独自のカスタムプロセッサとレポートタスクを作成できます。
• NiFiは、SSL、HTTPS、SSH、その他の暗号化などの安全なプロトコルのサポートも提供します。
• また、ユーザーとロールの管理をサポートし、承認のためにLDAPで構成することもできます。

Apache NiFi-キーコンセプト

Apache NiFiの重要な概念は次のとおりです-

• プロセスグループ-ユーザーが階層的にフローを管理および維持するのに役立つNiFiフローのグループです。
• フロー-必要に応じて、1つまたは複数のデータソースから別のデータソースにデータを転送および変更するために、異なるプロセッサを接続して作成されます。
• プロセッサ-プロセッサは、ソースシステムからデータを取得するか、送信先システムにデータを保存するJavaモジュールです。 他のプロセッサも、フローファイルの属性を追加したり、コンテンツを変更したりするために使用されます。
• Flowfile -NiFiの基本的な使用法であり、NiFiのソースシステムから選択されたデータの単一オブジェクトを表します。 NiFiprocessorは、ソースプロセッサから宛先に移動する間にフローファイルに変更を加えます。 CREATE、CLONE、RECEIVEなどのさまざまなイベント フロー内の異なるプロセッサによってフローファイルで実行されます。
• イベント-イベントは、NiFiフローを通過する際のフローファイルの変更を表します。 これらのイベントは、データの出所で追跡されます。
• データの出所-リポジトリであり、ユーザーがフローファイルに関する情報を確認できるUIを備えており、フローファイルの処理中に問題が発生した場合のトラブルシューティングに役立ちます。

Apache NiFiの利点

• Apache NiFiは、SFTPを使用してリモートマシンからのデータフェッチを可能にし、データ系統を保証します。
• Apache NiFiはクラスタリングをサポートしているため、異なるデータを処理する同じフローで複数のノードで動作でき、データ処理のパフォーマンスが向上します。
• また、ユーザーレベル、プロセスグループレベル、その他のモジュールに関するセキュリティポリシーも提供します。
• UIはHTTPS上でも実行できるため、ユーザーとNiFiとの対話が安全になります。
• NiFiは約188個のプロセッサをサポートし、ユーザーはカスタムプラグインを作成してさまざまなデータシステムをサポートすることもできます。

Apache NiFiの欠点

• ユーザーが変更を行っている間にノードがNiFiクラスターから切断されると、flow.xmlは無効になります。管理者が接続されたノードからflow.xmlを手動でコピーしない限り、ノードはクラスターに接続できません。
• Apache NiFiには、プライマリノードスイッチの場合に状態の永続性の問題があります。これにより、プロセッサがソースシステムからデータを取得できないことがあります。