ビッグデータは大きなメリットをもたらします。ここでは、ネットワークが直面する課題と考慮事項について説明します。
放送ネットワークが、テレビシリーズの第1話が放送された後に、その放送を正確に予測できるようなシナリオを想像してみてください。家電製品のセンサーからのデータを分析して、住民が消費電力を削減できるようにしたり、パケットをリアルタイムで追跡して、伝搬ルートやトラフィック消費を最適化したりするツールもあります。
時代を先取りしすぎ？実は、すでに実現されているのです。
モバイル・アプリケーション、オールIPワイヤレス・ネットワーク、オンライン商取引、POSシステム、ソーシャルメディア、センサーの台頭により、膨大な量のデータが生成されています。このようなデータの多くは「無線」で収集されるため、迅速に対応できれば、組織に独自の競争優位性をもたらし、問題を解決することができます。
しかし、このようなデータの量は膨大であり、速度も増しているため、ネットワークに対する要求も高まっています。ネットワークはデータ処理に責任を持つ必要があり、ビッグデータが目前に迫っている今、ネットワーク管理者とCIOはまったく新しい課題に直面しています。
データフローの変更
ビッグデータ環境は、ネットワークを通じてデータが流れる方法を変えました。ビッグデータは、南から北、つまりサーバーからクライアントへのトラフィックよりも、東から西、つまりサーバーからサーバーへのトラフィックをより多く発生させ、各クライアントインタラクションに対して、数百から数千のサーバーとデータノードが相互作用する可能性があります。アプリケーション・アーキテクチャは中央集権型から分散型にシフトしています。これは、過去20年間に構築された従来のクライアント／サーバー・ネットワーク・アーキテクチャとは正反対です。
ビッグデータがウェブに与える影響
さまざまなソースからデータを収集するビッグデータシステムは、複数のネットワークノードに分散されたサーバーのクラスタで実行されます。これらのクラスタは、外向きの並列パターンでタスクを実行します。トラフィック・パターンは、1対1（電話）、1対多数、多数対1（コンサート来場者）、多数対多数（並行して実行される複数のノード間のユニキャストとマルチキャスト・トラフィックを組み合わせたもの）などがあります。ネットワーク管理者は、個々のストリームを作成するものもあれば、複数のストリームを作成するものもある、この複合トラフィック・パターンに対処する必要があります。
さらに、データが計算ノードで利用可能になると、大量のネットワークトラフィックが発生します。分散ノード間のデータ照合処理には、高速で予測可能なデータ転送が必要です。アナリティクス・システムは、処理に直接接続されたストレージを使用し、データのクリーニングに中間ストレージを使用します。
データはネットワーク上を移動し、分析中に効率的に操作される必要があります。新しいデータセットが追加され、ソースが増加するにつれて、ワークロードも増加します。したがって重要なのは、ローカリティ、高性能、水平スケーリング、サービスノード間の直接接続を実現するネットワークアーキテクチャを最適化することです。
新しいネットワークモデルの必要性
設計モデルの1つは、ローエンドのコモディティ・ハードウェアを構築し、混雑のためにタイムアウトしたタスクを再開するなど、ネットワークの問題に分析ソフトウェアが対応することです。このモデルは、完了時間が重要でない非リアルタイム処理に使用され、データは主に1つのソースから取得されます。
もう一つのモデルは、継続的な処理を保証する決定論的性能を提供するハードウェアベースのシステムを構築することです。このようなモデルは、複数のソースからのデータをほぼリアルタイムで分析するために使用されます。
ネットワークノードはany-to-anyモデルで相互接続され、ノード間はシングルホップされます。これにより、複数の大規模データストリームを低損失かつ決定論的なパフォーマンスで処理する専用処理システムが提供され、リアルタイムのビッグデータシステムに貢献します。
スイッチ・ファブリックは、システム全体の帯域幅とパフォーマンス、特にレイテンシの削減という利点を提供します。場所の独立性により、クラスタとデータはアーキテクチャ内のどの場所からでも最適なパフォーマンスを実現できます。また、このアーキテクチャでは、配線を変更することなく、新しいデータ・ソースをクラスタにシームレスに収束させることができ、システムのスケーリングが大幅に簡素化されます。このアーキテクチャが提供するコンバージェンスにより、サーバ・クラスタだけでなくストレージ・エリア・ネットワークもネットワークを介して通信できます。すべてのリソースは1つのエンティティとして管理され、ポリシーもスイッチング・インフラ全体で容易に展開できます。
ビッグデータ・ソリューションの展開
ビッグデータは、企業がデータを取得し分析するための大きな機会を提供します。IT組織が独自のソリューションをテスト・構築し始める中、ネットワーク管理者は、これらのテクノロジーがサーバー、ストレージ、ネットワーク、運用インフラに与える影響を考慮する必要があります。増え続けるビッグデータ・トラフィックを活用し、分析するために、企業はどのように新しいインフラを開発するのがベストなのでしょうか。ネットワーク・トポロジーを開発する際には、以下の質問を必ず検討してください：
-データストリームの分析はリアルタイムで行われますか？
-複数のデータソースがあり、それらは静的か動的か？
-パイロットが成功した場合、クラスターの必要性はどの程度ですか？
-容量を追加するのは簡単で速いですか？
-ビッグデータ・アプリケーションは他のアプリケーションと統合する必要がありますか？
これらの質問に答えることで、ビッグデータに適したネットワークを構築することができ、インフラがデータセンターのアーキテクチャや相互接続要件にどのような影響を与えるかを示すことができます。
ビッグデータは、リアルタイムのビジネス分析と新たなビジネスインサイトを提供するための新たな戦略を開発することを組織に要求しています。データが急速に変化する中、明日のビジネスニーズを満たし、最高レベルの投資保護とビジネスの俊敏性を満たし、市場投入までの時間を短縮するために、組織はこれらの主要テクノロジーを検討する必要があります。
