Apache-flink-batch-realtime-processing

Apache Flink-バッチ処理とリアルタイム処理

ビッグデータの観点では、2種類の処理があります-

• バッチ処理
• リアルタイム処理

時間の経過とともに収集されたデータに基づく処理は、バッチ処理と呼ばれます。 たとえば、銀行のマネージャーは、過去1か月にキャンセルされた小切手の数を知るために、過去1か月のデータ（時間の経過とともに収集される）を処理したいと考えています。

即時結果に基づく即時データに基づく処理は、リアルタイム処理と呼ばれます。 たとえば、銀行のマネージャーは、不正取引（即時結果）が発生した直後に不正警告を受け取ります。

以下の表は、バッチ処理とリアルタイム処理の違いを示しています-

Batch Processing	Real-Time Processing
Static Files	Event Streams
Processed Periodically in minute, hour, day etc.	Processed immediately ナノ秒
Past data on disk storage	In Memory Storage
Example − Bill Generation	Example − ATM Transaction Alert

最近では、リアルタイム処理がすべての組織で多く使用されています。 不正検出、ヘルスケアのリアルタイムアラート、ネットワーク攻撃アラートなどのユースケースでは、インスタントデータのリアルタイム処理が必要です。数ミリ秒の遅延でも大きな影響を与える可能性があります。

このようなリアルタイムのユースケースに理想的なツールは、バッチではなくストリームとしてデータを入力できるツールです。 Apache Flinkは、そのリアルタイム処理ツールです。