Hadoop-big-data-solutions
提供：Dev Guides
Hadoop-ビッグデータソリューション
従来のアプローチ
このアプローチでは、企業はビッグデータを保存および処理するコンピューターを使用します。 ストレージの目的で、プログラマーはOracle、IBMなどのデータベースベンダーの選択を利用します。 このアプローチでは、ユーザーはアプリケーションと対話し、アプリケーションがデータストレージと分析の一部を処理します。
制限
このアプローチは、標準のデータベースサーバーで処理できる、またはデータを処理しているプロセッサの制限まで収容できる、より少ないデータを処理するアプリケーションでうまく機能します。 しかし、膨大な量のスケーラブルなデータを扱う場合、単一のデータベースのボトルネックを通じてそのようなデータを処理するのは多忙な作業です。
Googleのソリューション
GoogleはMapReduceと呼ばれるアルゴリズムを使用してこの問題を解決しました。 このアルゴリズムは、タスクを小さな部分に分割し、それらを多くのコンピューターに割り当て、それらから結果を収集して、統合時に結果データセットを形成します。
Hadoop
Googleが提供するソリューションを使用して、 Doug Cutting と彼のチームは HADOOP と呼ばれるオープンソースプロジェクトを開発しました。
Hadoopは、MapReduceアルゴリズムを使用してアプリケーションを実行します。このアルゴリズムでは、データは他のアルゴリズムと並行して処理されます。 つまり、Hadoopは、膨大な量のデータに対して完全な統計分析を実行できるアプリケーションの開発に使用されます。
