Amazon-web-services-kinesis

提供:Dev Guides
移動先:案内検索

アマゾンウェブサービス-Kinesis

*Amazon Kinesis* は、管理されたスケーラブルなクラウドベースのサービスであり、1秒あたりの大量のストリーミングデータのリアルタイム処理を可能にします。 リアルタイムアプリケーション向けに設計されており、開発者は複数のソースから任意の量のデータを取り込み、EC2インスタンスで実行できるスケールアップとスケールダウンを可能にします。

イベントログやソーシャルメディアフィードなどの大規模な分散ストリームからデータをキャプチャ、保存、処理するために使用されます。 データを処理した後、Kinesisはそのデータを複数のコンシューマーに同時に配信します。

Amazon KCLの使用方法は?

急速に移動するデータとその連続処理が必要な状況で使用されます。 Amazon Kinesisは、次の状況で使用できます-

  • データログとデータフィードの取り込み-データをバッチ処理するのを待つ必要はありません。データが生成されるとすぐにAmazon Kinesisストリームにデータをプッシュできます。 また、データプロデューサーに障害が発生した場合のデータ損失も保護します。 例:システムおよびアプリケーションのログは、ストリームに継続的に追加でき、必要に応じて数秒で利用できます。
  • リアルタイムグラフ-Amazon Kinesisストリームを使用してグラフ/メトリックを抽出し、レポート結果を作成できます。 データのバッチを待つ必要はありません。
  • リアルタイムデータ分析-Amazon Kinesisを使用して、リアルタイムストリーミングデータ分析を実行できます。

Amazon Kinesisの制限?

以下は、Amazon Kinesis Streamsを使用する際に留意すべき特定の制限です-

  • ストリームのレコードには、デフォルトで最大24時間アクセスでき、データ保持を延長することで最大7日間延長できます。
  • 1つのレコードのデータBLOB(Base64エンコード前のデータペイロード)の最大サイズは1メガバイト(MB)です。
  • 1つのシャードは、1秒あたり最大1000個のPUTレコードをサポートします。
  • 制限に関連する詳細については、次のリンクをご覧ください-https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limitsl

Amazon Kinesisの使用方法

Amazon Kinesisを使用する手順は次のとおりです-

  • ステップ1 *-次のステップを使用してKinesis Streamを設定します-
  • AWSアカウントにサインインします。 Amazon管理コンソールからAmazon Kinesisを選択します。
  • [ストリームの作成]をクリックして、ストリーム名やシャード数などの必須フィールドに入力します。 作成ボタンをクリックします。

ストリームの作成

  • これで、ストリームがストリームリストに表示されます。
  • ステップ2 *-Kinesisストリームでユーザーを設定します。 新しいユーザーを作成し、各ユーザーにポリシーを割り当てます(ユーザーを作成し、ポリシーをユーザーに割り当てる手順については上記で説明しました)
  • ステップ3 *-アプリケーションをAmazon Kinesisに接続します。ここでは、ZoomdataをAmazon Kinesisに接続しています。 接続手順は次のとおりです。
  • 管理者としてZoomdataにログインし、メニューの[ソース]をクリックします。

ソース

  • Kinesisアイコンを選択し、必要な詳細を入力します。 [次へ]ボタンをクリックします。

接続

  • [ストリーム]タブで目的のストリームを選択します。
  • [フィールド]タブで、必要に応じて一意のラベル名を作成し、[次へ]ボタンをクリックします。
  • [グラフ]タブで、データのグラフを有効にします。 必要に応じて設定をカスタマイズし、[完了]ボタンをクリックして設定を保存します。

Amazon Kinesisの機能

  • リアルタイム処理-株価のような情報をリアルタイムで収集および分析できます。そうでない場合は、データ出力レポートを待つ必要があります。
  • 使いやすい-Amazon Kinesisを使用して、新しいストリームを作成し、その要件を設定し、データのストリーミングをすばやく開始できます。
  • 高スループット、弾力性-株価などのリアルタイムで情報を収集および分析できます。そうでない場合は、データ出力レポートを待つ必要があります。
  • 他のAmazonサービスと統合-Amazon Redshift、Amazon S3、およびAmazon DynamoDBと統合できます。
  • * Kinesisアプリケーションの構築*-Amazon Kinesisは、リアルタイムデータ処理アプリケーションの設計と操作を可能にするクライアントライブラリを開発者に提供します。 Amazon Kinesis Client LibraryをJavaアプリケーションに追加すると、新しいデータが処理可能になったときに通知されます。
  • 費用対効果-Amazon Kinesisは、あらゆる規模のワークロードに対して費用効率が高いです。 使用したリソースに対しては従量課金し、必要なスループットに対しては1時間ごとに支払います。