ここ数年、ビッグデータには膨大な量の価値ある情報が含まれているという事実が認識されつつあります。ベンダー各社は、このデータを価値ある情報資本に効率的に変換するため、Hadoop Map/Reduce、Dryad、Spark、HBaseなど、ビッグデータ分析のための新技術の開発に熱心に取り組み始めています。そしてこのトレンドは、Software-Defined Networkingというもう1つの新技術の登場から間違いなく恩恵を受けるでしょう。
この技術は、高速イーサネットで接続されたサーバー上の何千もの大規模クラスター・データを高速かつ効果的に並列計算解析するという問題を対象としています。したがって、ビッグデータのインテリジェントなマイニング処理は、主に次の3つのステップで構成されます：1）複数のサーバーノードへのデータ分割、2）各データブロックの並列分析、3）結果のマージ。
データセット全体が分析されるまで、これらの操作を連続して繰り返します。
このような並列コンピューティングの分割と結合の性質により、大きな負荷がかかる基礎となるネットワーク上にビッグデータ分析を配置することが可能です。世界最速のサーバーを使用しても、データ処理速度はビッグデータ処理速度の最大のボトルネックのままです。ビッグデータは、ネットワーク転送と同じ速度を維持することで、スプリット・マージの段階でサーバー間を可能な限り高速に転送することしかできません。例えば、Facebookの追跡調査によると、このような連続的なデータ転送は総実行時間の33パーセントを占め、多くのジョブでは通信フェーズが実行時間の50パーセント以上を占めていました。
このネットワークのボトルネックに対処することで、ビッグデータ分析のペースを大幅に加速することができます。その意味は2つあります。1）クラスタ管理をうまく活用することで、インフラを提供するクラウドサービスプロバイダーのTCOを削減すること、2）処理を高速化することで、インフラテナントがリアルタイム分析を実現できるようにすることです。
必要なのは、データ伝送の分割と結合の各段階の帯域幅要件を計算して適応的に調整し、速度を向上させるだけでなく、帯域幅の利用率も向上させるインテリジェントなネットワークです。
SDNの役割
Software-Defined Network はビッグデータ解析のためのインテリジェントな適応型ネットワークを構築する大きな可能性を秘めています。制御パネルとデータパネルの分離により、SDN は高度にカスタマイズ可能で、スケーラブルで、ビッグデータのニーズに柔軟に対応するインテリジェントなソフトウェアプログラムされたネットワークを実現する、明確に定義されたプログラミングインターフェースを提供します。#p#
SDN は VM コンピューティングのサイズと形状の要件を適切に満たすようにネットワークをオンデマンドで設定し、最適化することを可能にします。これは超並列アプリケーションを必要とするビッグデータが直面する処理速度の遅さという最大の課題に直接対処するものです。処理速度が遅いのは、VM 内のほとんどのビッグデータアプリケーションの計算が、処理を開始できるように大量のデータが分散集約された状態でオペレーティングプラットフォームに到着するのを待つのにかなりの時間を費やしているという事実によるものです。SDN を使えば、ネットワークは需要とキャパシティのスケールでスプリットマージオペレーションの間に安全な経路を作ることができ、待ち時間を大幅に削減し、その結果総処理時間を短縮することができます。
このソフトウェア定義ネットワークは非常にインテリジェントで、ビッグデータ・アプリケーションに提供される精度と効率を向上させるために、アプリケーションがネットワークから必要とするリソースを基本的に理解します。その理由は2つあります。1）Hadoop Split-MergeアナリティクスやMapreduceパラダイムのような、明確に定義された計算および通信モデルの存在、2）Hadoop SchedulerやHBase Masterのような、アプリケーションレベルの情報のペアを活用することを可能にする集中管理構造の存在です。
SDN コントローラが持つ基本的なネットワーク状態のグローバルなビューによって、インテリジェントなソフトウェアはプログラムされたネットワークを通してアプリケーションの要求を正確に解析することができます。
SDN はビッグデータの管理、統合、分析を支援する他の機能も提供します。新しい SDN は OpenFlow と OpenStack を含むネットワークプロトコルに対応し、ネットワーク管理をより簡単に、よりスマートに、より自動化します。OpenStack はネットワークエレメントのセットアップとコンフィギュレーションにかかる労力を大幅に削減し、OpenFlow はデータセンターの自動化のような新しい要求をサポートするためにネットワークの自動化をより柔軟にします、BYODのトレンド、セキュリティ、アプリケーションの高速化などです。
スケールの観点からも、SDN はビッグデータ用のネットワークインフラの開発において重要な役割を果たします。OpenFlowプロトコルは、あらゆるベンダーのOpenFlowデバイスと互換性があり、この相互運用性によって、組織がビッグデータを情報資本に変えるために独自のソリューションを使用することを妨げることはありません。
ビッグデータの強力な影響と潜在的な価値がますます明確になってきていることを考えると、企業ネットワークがこれらの新たな要求に対して拡張する準備ができていることを保証することは組織の長期的なビジネスの成功を保証するための重要なステップになります。成功するソリューションが2つの重要な要素を活用することは明らかです: ビッグデータアプリケーションによって提供されるプレゼンスモデルとネットワーク SDN によって提供されるプログラマビリティです。この観点から、SDN はネットワークがさらに速く適応し、より多くの知識を活用し、革新に追いつくための準備として重要な役割を果たします。
