ビッグデータはHadoopではない、Hadoopはビッグデータの代表ではない」と言う人がいますが、言った人の目的は分かりませんが、私の意見では、今、ビッグデータに対する業界の知識はまだ深い状況ではなく、概念に絡みすぎるとビッグデータの応用に役立ちません。私の意見では、"Hadoopはビッグデータ "に重点を置く場合は、より多くの利点と少ない欠点を持っています。
ビッグデータについては、"大統領のオバマ再選とビッグデータ、公衆衛生部門の成功した予測は、米国のディスカウントショップの小売業者ターゲットと妊娠予測、UPSエクスプレス最高のドライブルートと車の修理予測、Amazonのビッグデータの書評は、専門家パネルよりも下向きの勝利を推奨する前に、H1N1インフルエンザAのアウトブレイク数週間で2009年のGoogleについて衝撃を受け...... "このようないくつかのケースはおなじみですが、ヒョウの管は、ビッグデータのアプリケーションの値にすることができますが、盲点は、彼らがどのように行うかを知ることではありませんが、ビッグデータのアプリケーションは、達成する方法です。
この意味で、Hadoopを理解することは非常に意味があります。Hadoopは、分散データベースは、唯一の単語から、その役割と価値を理解することはまだ困難であるビッグデータ、およびどのようにビッグデータのアプリケーションを実行するために何であるかを理解するのに役立ちます。この点で、それはどのように検索エンジンは、ビッグデータのアプリケーションです簡単な例を見て価値があるかもしれません。まず第一に、ネットワーククローラを通じて検索エンジンは自動的にコンテンツのインデックスを確立するために特定のアルゴリズムによると、Webコンテンツを取得し、これらのインデックスとHadoopに格納されている元のデータ、およびコピーの生産の規則に従って。ユーザーが検索要求を開始すると、検索エンジンは、複数の並列処理、検索のためのHadoopデータベース内のインデックスをマップされ、その結果はReduceされ、結果に集約され、要求を開始した端末に送信されます。これが検索エンジンのおおまかな作業プロセスです。
検索エンジンをビッグデータアプリケーションと呼ぶのは珍しいですが、確かに典型的なビッグデータアプリケーションです。その鍵は、比較的安価なX86サーバーを使って、大量の低価値密度非構造化データを保存・処理するHadoopの応用にあります。 水平方向のスケーラビリティという点では、そのストレージと処理能力は無制限に近く、サーバーを追加し続けるだけで済みます。ストレージに関しては、サーバーに付属するディスクに頼ることもできますし、ディスクアレイの利用を理解することもできます。Hadoopの観点からは、マルチコピー戦略により、データの信頼性はすでに保証されているため、RAID、スナップショット、レプリケーション/バックアップ技術への依存や要件も大幅に削減され、さらにコストが削減されます。
だから、ビッグデータとしてHadoopを理解することは何も間違っていない、少なくともデータの分散組織とストレージ、マルチコピー、NFS、Map / Reduceを知って、少なくともBI、ETLとビッグデータアプリケーションの間の関係でもつれ合うことはありません良いですが、2つのそれぞれが独自の適切なアプリケーションのシナリオを持って、クロスオーバーがありますが、それはお互いを補完するために多くのです。
Hadoop＋X86サーバーという安価な手段がなければ、ビッグデータ・アプリケーションは存在しなかったと認識すべきです。それは、この安価な手段のために、世界の非構造化データの膨大な量を分析することができます。そして、有名な "ビッグデータ時代 "の本では、特に "ランダムなサンプルではなく、全体のデータ "に強く、ビッグデータアプリケーションの中核的な特徴は、全体のデータの分析結果は、問題の結果を迅速に理解することができます。使用される手段としては、Hadoop、NFS、Map / Reduceと呼ばれていないと呼ばれ、それは知らないが、コアのアイデアや思考は、この意味で、Hadoopは、ビッグデータのアプリケーションと呼ばれ、何がそれをすることはできません継続されます！少なくともそれは私がそれを見る方法です。
