マイクロソフトとOpenStackがアマゾンの新しいHadoop-as-a-Serviceのライバルになる

Hadoopはデータ分析のためのツールとしてますます人気が高まっていますが、Hadoopクラスタを管理するためのシステム管理コストは大変なものです。そのような費用をかけずにHadoopを使用することを期待する企業を支援するために、AmazonはElastic MapReduceと呼ばれるHadoop-as-a-Serviceデプロイメントを開拓しました。ユーザーにも同様のオプションがあり、もちろんそれにはメリットとデメリットがあります。

HDInsightは、MicrosoftとApacheのツールを使用することで、Windows AzureユーザーがHadoopにアクセスできるようにします。

OpenStackのSavannaプロジェクトは、オープンソース・プロバイダー向けのオプションを提供していますが、発展途上のプロジェクトであるため、ユーザーはまだ完全なターンキー・ソリューションを期待することはできません。

Microsoftは、Hadoopエンタープライズ・デベロッパーであるHortonworksと提携し、Windows AzureユーザーにHortonworks Data Platformへのアクセスを提供します。システム管理者にとっては基盤となるオペレーティングシステムの選択が重要ですが、開発者にとってはHDPを含むツールの方が興味があるかもしれません。

Pigは、MapReduceコードを書く代わりに使用できる高レベルのデータ分析言語で、Javaでコーディングするアナリストにとって特に価値があります。HiveもApacheプロジェクトで、SQLライクな言語HiveQLを通じて大規模なデータセットを管理するデータウェアハウスシステムです。SQLライクな言語HiveQLを通じてクエリを実行するデータウェアハウスシステム。これらはすべてHadoopとリレーショナルデータベースで動作し、Apache SqoopはHadoopとリレーショナルデータベース間のバルクデータ転送に効果的です。

Hadoop-as-a-ServiceとMicrosoftやApacheのツールを組み合わせることで、既存のデータ管理インフラへのHadoopの統合をよりスムーズに行うことができます。

Hadoopユーザーは、HDFSまたはWindows Azure Blobストレージを使用する選択肢があります。これは、Amazon EMRでHDFSまたはAmazon Simple Object Storage Serviceを使用するのと似ています。HDFSはHadoopにビルトインされたストレージ形式ですが、HDInsightクラスタは永続的ではないため、HDFSからのデータをBlobストレージまたは他の永続ストレージにレプリケートして、他のHadoop作業のために保持する必要があります。

HDInsightの価格は、クラスタで使用するサーバーの数と支払い方法の種類に基づいています。すべてのHDInsightクラスタには、ヘッドノード、セキュリティゲートウェイノード、および1つ以上のコンピュートノードが含まれます。従量課金プランでは、大規模インスタンス1台あたり、ヘッドノードは1時間あたり0.64ドル、コンピュートノードは1時間あたり0.32ドルです。いずれのプランでも、セキュリティゲートウェイノードは無料です。半期プランと年間プランでは、ヘッダーノードは1時間あたり0.44ドルから0.51ドル、コンピュートノードは1時間あたり0.22ドルから0.26ドルです。正確な料金は、コミットメントの期間や、前払いか月払いかなど、その他の要因によって決まります。

OpenStackは、プライベートクラウドやRackspaceのようなパブリックなinfrastructure-as-a-service実装のためのオープンソースのクラウドコンピューティングシステムです。他のHadoop-as-a-service製品と同様に、Savannaプロジェクトの目標は、クラウドにおけるHadoopクラスタのデプロイを自動化することです。SavannaはOpenStack環境内で動作するように設計されたモジュラーコンポーネントで、管理用のHorizon、ユーザー認証用のKeystone、VM割り当て用のNova、イメージストレージ用のGlance、データストア用のSwiftなど、OpenStackの主要コンポーネントを統合しています。管理コンソール。

Amazon EMRやWindows AzureHDInsightのユーザーはHadoopクラスターをかなり簡単に使い始めることができますが、Savannaのユーザーは同じシステム管理者がHadoop構成で同様の作業を行うことを期待するため、利点の一部が損なわれる可能性があります。ディストリビューション固有のパラメータを指定します。