blog

ビッグデータ・アプリケーションはHadoopを仮想化する必要があるのか?

ビッグデータには仮想化は必要ありません。その理由は非常に簡単で、仮想化技術の核となる考え方はリソースのプーリングであり、リソースのプールスケジューリングによってリソースをフルに活用し、リソースの利用効...

Jun 30, 2025 · 3 min. read
シェア

なぜなら、仮想化技術の核心はリソースのプーリングであり、リソースをプーリングしてスケジューリングすることで、リソースをフルに活用し、リソースの利用効率を向上させることができるからです。しかし、CPUの利用率が70%から80%に達すると、仮想化の意義はなくなります。

例えば、HPCの分野では、仮想化は基本的に役に立ちません。ビッグデータの応用シナリオを分析すると、その核心は、X86やその他の比較的安価なサーバーの使用、比較的低価値の非構造化データの大量密度、半構造化データの処理と分析、データの並列大量処理のための分散ファイルシステムの助けを借りることです。コンピューティングノードが独立してタスクを引き受けることができる場合、さらに "潜在的な "をタップする能力、その後、また、並列コンピューティングは何をするため、コンピューティングノードサーバーのタスクについては、その処理能力は、限界に近い必要があります?これに基づいて、ビッグデータアプリケーションは、結論であるべき仮想化を必要としません。

VMwareが今年8月にvSphere Big Data Extensionソリューションを発表したとき、ビッグデータと仮想化がどのように交わるのか、多かれ少なかれ不可解でした。10月30日、31日に開催されたVMware vForum 2013のカンファレンスで、記者はVMwareのグローバルバイスプレジデント、CPD兼グローバルR&D兼日本R&Dセンターのゼネラルマネージャーであるイェン・ビン・リー博士と、VMwareの日本R&Dセンターの副ゼネラルマネージャーであり、VMwareの東京R&Dセンターの副ゼネラルマネージャーも兼任するVMwareのクラウドアプリケーションプラットフォーム&サービスの日本ゼネラルマネージャーであるダオユアン・レン氏にインタビューする機会に恵まれました。VMware東京R&Dセンターのゼネラルマネージャーを兼務。

ヤンビン・リー博士は、今日のビッグデータ・アプリケーションはソーシャルメディアから生成される非構造化データに重点を置いており、実際、クラウド・コンピューティングもビッグデータ・メーカーであると指摘。李博士によると、クラウド・コンピューティング環境でスナップショット・アプリケーションが生成するログファイルだけでも、1日あたり6500万件にのぼるとのこと。これだけのログファイルをマンパワーだけで処理するのは不可能です。そこで管理者は、ビッグデータの力を借りてログを分析し、経営ニーズに応えたいと考えています。

VMwareは、vSphere Big Data Extensionを通じて、ソフトウェア定義がユーザにもたらすコスト削減と柔軟性に関するメッセージを外部に発信しています。この目的のために、VMwareはソフトウェア定義データセンターというコンセプトを打ち出しました。 データセンターおよびクラウドインフラストラクチャのためのvCloud Suiteから、デスクトップ仮想化、モバイルコンピューティングまで、VMwareは、クラウドコンピューティングとモバイル端末インターネットに十分な柔軟性を与え、管理ニーズを満たすソフトウェア定義による完全なエンドツーエンドのソリューションを提供します。

クラウド・コンピューティングのインフラには、コンピュート、ネットワーク、ストレージ、管理が含まれますが、このうちコンピュートと管理は最も成熟しており、VMwareの仮想化ソリューションが広く認知され、導入されています。同時に、ネットワークとストレージがどのように変化やニーズに適応できるかが急務となっています。ネットワークを例にとると、ネットワークの設定と展開には専門の技術者が必要なだけでなく、数週間からそれ以上の時間がかかるため、コンピューティング・リソースの柔軟な展開とは対照的です。

VMware NSX 仮想化ソリューションは、現在多くのネットワークベンダーによってサポートされています。Dr. Yanbing Liによると、VMwareはOpenflow標準のイネーブラーでもあり、多くのソースコードを提供しているとのことです。ストレージに関しては、VMware VSDNソリューションはサーバーのローカルディスクをベースとしており、仮想マシンに最適化された分散共有ストレージ構造を構築できるため、ユーザーにより多くの選択肢を提供することができます。現時点では、ネットワーク仮想化とストレージ仮想化は、サーバ仮想化に比べてまだ距離がありますが、ソフトウェア定義のトレンドは方向性を示しています。

李延炳博士によると、VMwareは偶然にもこのようなトレンドに追いついているとのことです。このトレンドを利用するために、VMwareの戦略はよりオープンになることであり、一方ではOpenStackやOpenFlowのようなオープンソース組織をサポートし、他方ではHyperVのような製品のサポートを追加します。「我々は、ユーザーにできるだけ多くの選択肢を提供するエコシステムを作りたいと考えています。と李延炳博士。

Read next

ファーウェイの高精細なモニタリングは、東莞市が高精細な「安全な東莞」を構築するのに役立っている

ファーウェイは東莞電信との綿密な協力により、東莞松山湖安全城と東莞公共交通監視の建設を完了し、現在、東莞の33の町で第3期「安全城」の建設を積極的に推進しています。

Jun 30, 2025 · 3 min read