ファーウェイは本日、2013 Hadoop Japan Technology Summitにおいて、中央研究所(CRI)のShannon Labsが業界初のHIMMモデルを発表したことを発表しました。このモデルを用いて表現されたグラフデータマイニングアルゴリズムは、リアルタイムのビッグデータ処理において重要な10倍の性能向上を達成することができます。
「ビッグデータ時代の重要な側面は、グラフのサイズが大きくなっていることです」。イェン・ユーリアンは、「フェイスブックの人間関係のネットワークは、10億以上の頂点を含んでいます。他のネットワークは数千万の頂点サイズです。このため、友人の推薦や最短経路の発見など、これらのグラフ上の多数のアプリケーションで準リアルタイムに結果を得ることは不可能です。"
Huawei Shannon Labsは、従来のグラフ計算モデルよりもシンプルな操作、実用的なインターフェース、容易なプログラミングという利点を持つ、業界初のHIMMモデルを提案します。アルゴリズム開発者は、HIMMモデルを使ってグラフ構造を行列で表現するだけでなく、カスタマイズした行列演算でグラフに対する様々な演算を表現し、グラフ演算オペレータのフルセットを提供することで効率的な並列グラフアルゴリズムを実装することができます。HIMMベースのグラフ計算フレームワークであるHiGraphは、その基盤フレームワーク上で、様々なハードウェア環境に応じていくつかの最適化手段を実装しており、HiGraphの性能は業界と比べて大幅に向上しています。Pagerankとシングルソースの最短パスアルゴリズムをテストした結果、クラスタ環境モードでは、HiGraphはSparkの反復計算における優位性を活用し、BagelやGiraphなどの他のソリューションと比較して、HiGraphの性能は3倍から20倍向上しました。スタンドアロン環境モードでは、HiGraphはマルチコアの並列処理能力をフルに活用し、設計の並列加速を最大化し、業界のオープンソース・ソリューションと比較して少なくとも10倍の性能向上を実現します。
"HiGraphの性能は業界よりも桁違いに高く、PageRankや単一ソース最短経路などのアルゴリズムを数秒で完了させることができ、ビッグデータ処理のリアルタイム要件に完全に対応できます。"とYan Youliang氏は述べています。
HIMMモデルとHiGraphフレームワークは、Shannon Labsのハイパフォーマンスコンピューティング研究のレイアウトを改善する上で大きな意義があります。Huawei Shannon Labsは、グラフコンピューティングとSparkフレームワークの分野でも努力を続け、HiGraphをさらに向上させることで、Huaweiのビッグデータ研究に強固な基盤を提供し、Huaweiのビッグデータ分野へのより良い参入を支援します。