HPCサービスは、スーパーコンピューティングに対する需要の高まりに応える方法かもしれませんが、利用シナリオによっては、必ずしもローカルのスーパーコンピューターを利用するよりも優れているとは限りません。
ミサイルや軍用ヘリコプターに搭載される電子機器は、極限状態で作動することが求められます。米国の防衛請負業者は、物理的な装置を配備する際に、それが実際にさらされる条件を事前にシミュレーションします。このシミュレーションは、ANSYSのような有限要素解析ソフトウェアに依存しており、膨大な計算能力を必要とします。
数年前のある日、思いがけず計算の限界を超えました。
マコーミック・スティーブンソン社の主任エンジニア、マイク・クラウチク氏は、「仕事によっては、オフィスのコンピューターを圧倒するものもあります。マシンを購入し、ソフトウェアをインストールすることは、経済的にもプログラム的にも適切ではありませんでした。その代わりに、スーパーコンピュータ・システムの処理能力を販売しているRescale社と契約しました。
マコーミック・スティーブンソンは、「Supercomputing as a Service」または「High Performance Computing as a Service」と呼ばれる市場をいち早く導入した企業のひとつです。国立計算科学研究所の定義によると、HPCとは計算が複雑な問題にスーパーコンピュータを応用することであり、スーパーコンピュータとは最先端の処理能力を持つものです。
呼び名が何であれ、これらのサービスは従来のスーパーコンピューティング市場を破壊し、これまで手が届かなかった顧客にもHPCの能力をもたらしています。しかし、それがすべてではありませんし、プラグアンドプレイでもありません。
HPC サービスの実際
エンドユーザーの視点から見ると、HPC-as-a-Service は初期のメインフレーム時代のバッチ処理モデルに似ています。 「ANSYSのバッチファイルを作成して送信し、実行した後、結果ファイルを取り出してローカルにインポートします」とKrawczyk氏。
HPCサービスの背後では、クラウドプロバイダーが自社のデータセンターでスーパーコンピューティングインフラを運用していますが、これは必ずしも「スーパーコンピューター」と聞いて最先端のハードウェアを思い浮かべるとは限りません。IBM OpenPOWERのコンピューティングテクノロジー担当バイスプレジデントであるDave Turek氏が説明するように、HPCサービスの中心は「相互接続されたサーバーの集合体」です。その仮想コンピューティング・インフラストラクチャを呼び出すことで、さまざまなサーバーが並列に動作し、依頼された問題を解決することができます」。
理論は単純に聞こえます。しかし、ダブリン・シティ大学でデジタルビジネスを研究するテオ・リン教授は、クラウドを実際に利用するためには、解決しなければならない技術的な問題がいくつもあると言います。通常のコンピューティングとHPCの違いは、高速、低レイテンシー、高価な相互接続にあります。HPCサービスを実現するためには、ストレージのパフォーマンスとデータ転送を、少なくともローカルのHPCと同じレベルまで引き上げる必要があります。
しかし、リンによれば、HPCサービスの普及には、テクノロジーよりも制度的な革新が役立っているとのことです。特に、「より多くの伝統的なHPCアプリケーションが、クラウドフレンドリーなライセンスモデルを採用しています。
クラウドサービスプロバイダーは、従来のHPCに必要な投資コストを負担できないローエンドのHPC購入者にも市場を開放することで、さらに市場を広げています。「クラウドサービスプロバイダーは、従来のHPCに必要な投資コストを払えないローエンドHPCの購入者にも市場を開放することで、さらに市場を広げています。市場が開放されれば、ハイパースケールの経済モデルもより利用しやすくなり、実行可能なものとなり、コストも下がり始めます。"
現地資本支出の回避
HPCサービスは、従来のスーパーコンピューティングが長い間優位を占めてきた民間部門の顧客にとって魅力的です。これらの顧客には、McCormick Stevensonのような防衛請負業者をはじめ、石油・ガス会社、金融サービス会社、バイオテクノロジー会社など、複雑な数学モデルに大きく依存する業界が含まれます。ダブリンシティ大学のLynn氏は、疎結合ワークロードは特に優れたユースケースであり、多くのアーリーアダプターが3Dイメージレンダリングや関連アプリケーションに使用していることを意味すると付け加えました。
しかし、ローカルのHPCではなく、HPCサービスを検討する意味があるのはどのような場合でしょうか。ドイツのhhpberlinは、建物内の煙の広がりや、火災が建物の構造部材に与えるダメージをシミュレートしています。
Hpberlin社の数値シミュレーション科学部門責任者であるSusanne Kilian氏は次のように述べています。しかし、アプリケーションが複雑化するにつれて、このアーキテクチャでは対応しきれなくなってきました。
しかし、新しいクラスタにお金をかけるだけでは理想的な解決策とは言えません。会社の規模や経営環境を考えると、クラスタを常に維持するのは現実的ではありません。さらに、モデリングが必要なプロジェクトの数は激しく変動するため、クラスタの使用率は予測できません。通常、利用が多い時期と少ない時期が交互にやってきます」。HPCサービスモデルに切り替えることで、hhpberlinは余剰容量を解放し、アップグレードのための費用を支払う必要がなくなりました。
IBMのトゥレック氏は、さまざまな企業が自社のニーズを評価する際のコンピューティング・プロセスについて説明しています。従業員30人のバイオサイエンス新興企業の場合、「計算は必要ですが、スタッフの15％を計算専用にすることはできません。専任の法律代理人はいらないから、サービスとしてやってくれというようなものです」。しかし、大企業にとっては、HPCサービスの運用コストと社内にスーパーコンピュータやHPCクラスタを購入するコストを天秤にかける必要があります。
ここまでは、どのクラウドサービスを採用する際にも遭遇するような議論です。しかし、HPC市場には、OPEXとCAPEXを比較して前者を選択するような特殊性があります。スーパーコンピューターは、ストレージやx86サーバーのような商用ハードウェアではなく、非常に高価で、技術の進歩によってすぐに時代遅れになります。マコーミック・スティーブンソンのクラウチクが言うように、「車を買うようなものです。多くの企業、特に大規模で柔軟性に欠ける企業にとって、スーパーコンピューターの購入プロセスは絶望的な泥沼に陥る可能性があります。ibm社のトゥレック氏は、「計画の問題、アーキテクチャの問題、建設の問題、トレーニングの問題に巻き込まれ、RFPを実行しなければなりません。サービスの継続性を確保するために、社内の顧客と協力しなければなりません。これは非常に複雑なプロセスであり、実行力のある組織は多くありません」。
ガートナー社のシニアディレクター兼アナリストであるChirag Dekate氏は、「HPCサービスを選択すれば、クラウドサービスに期待される多くのメリットが得られることがわかります。ガートナー社のシニア・ディレクター兼アナリストであるChirag Dekate氏は、次のように述べています。
製造業では、HPCの利用は製品設計の段階でピークに達する傾向があります。しかし、製品設計が完了すると、残りの製品開発サイクルではHPCリソースの利用は減少します。 これとは対照的に、「クラウドコンピューティングの経済性が低下するのは、大規模で長時間稼働するジョブがある場合です。
巧みなシステム設計により、これらのHPCサービスバーストを社内の従来型コンピューティングと統合することができます。APIを通じてアクセスするHPCは、従来のコンピューティングとシームレスに統合できます。従来のAIパイプラインは、モデル構築の段階ではハイエンドのスーパーコンピュータで学習されるかもしれませんが、最終的には、期待通りに繰り返し実行された学習済みモデルは、クラウド上の他のサービス、あるいはエッジデバイス上に展開されるでしょう。"
すべてのアプリケーションシナリオに適しているわけではありません。
HPCサービスは、バッチや疎結合のシナリオに適しています。これは、HPCの一般的な欠点であるデータ転送の問題に関連しています。IBMのTurek氏は次のように述べています。「バイオテクノロジー業界の顧客と話をすると、彼らはデータ料金だけで毎月1000万ドルを費やしています。
潜在的な問題はお金だけではありません。hhpberlinのKilian氏は、次のように述べています。「独自のHPCクラスタがあれば、もちろん、生成されたシミュレーション結果にいつでもアクセスでき、インタラクティブなアドホック評価が可能になります。大量のシミュレーションデータをダウンロードすることなく、シミュレーションのどの時点でも、クラウドで生成されたデータにアクセスし、より効率的かつインタラクティブに評価できるようになることを目指しています。"
Mike Krawczyk氏は、もう一つの障害であるコンプライアンスの問題について言及しました。マコーミック・スティーブンソンがRescaleを選んだのは、コンプライアンスに準拠した唯一のプロバイダーだったからです。今日、クラウドサービスを利用する企業が増えていますが、クラウドサービスを利用しようとする企業は、他人のインフラを利用することに伴う法的およびデータ保護の問題に注意する必要があります。
さらに、HPCサービスには、現在規制されている以上のITガバナンスが必要です。例えば、ソフトウェアライセンスがクラウド利用を許可しているかどうかを追跡する必要があります。特に、ローカルのHPCクラスタ上で実行するために特別に作成されたパッケージの場合です。多くの場合、HPCサービスがどのように使用されているかを追跡する必要があり、特に従業員が慣れ親しんでいるオンプレミスのシステムから、利用可能な予備のHPCキャパシティに移行する場合は、魅力的なリソースになり得ます。例えば、Avanadeのグローバルプラットフォーム担当シニアディレクター兼Azure Platform Servicesグローバル責任者であるRon Gilpin氏は、時間的制約のないタスクに使用する処理コア数を減らすことを提案しています。10分で終わる仕事を1時間で終わらせるのであれば、1,000個のプロセッサではなく165個のプロセッサを使用することで、数千ドルを節約できます」。
HPCスキルへの高い需要
多くのCIOは、多くのワークロードをクラウドに移行し、コスト削減、俊敏性、効率性の向上を実感しており、HPCエコシステムでも同様の結果が得られると考えています。彼らはコスト削減と効率性の向上を目の当たりにしており、HPCエコシステムでも同様の結果が得られると考えています」とDekate氏。よくある誤解は、システム管理者を完全に排除し、HPCワークロードに対応できるクラウドのスペシャリストを新たに雇うことで、何とか人件費を最適化できるというものです。これは特にHPC-as-a-Serviceに当てはまります。
「しかし、HPCは企業環境の主流ではありません。 と彼は言います。「高帯域幅、低レイテンシのネットワークで相互接続されたハイエンドのコンピュートノードや、かなり複雑なアプリケーションやミドルウェアの技術スタックを扱っています。多くの場合、ファイルシステム層さえもHPC環境特有のものです。対応するスキルがないと、不安定になりかねません」。
しかし、スーパーコンピューティング・スキルの供給は減少しており、Dekate氏はこれを「労働力の高齢化」と表現しています。その結果、HPCサービスプロバイダーはギャップを埋めるためにできることをしていると、IBMのTurek氏は言います。多くのHPCベテランは、常によく調整された独自のコードを実行したいと考えており、クラウドでそれを行うには専用のデバッガーやその他のツールが必要になると指摘します。しかし、HPC初心者であっても、スーパーコンピューティングの並列処理能力を活用するために、ベンダーが構築したコードライブラリを呼び出すことができます。サードパーティのソフトウェア・プロバイダが販売するターンキー・ソフトウェア・パッケージは、HPCの複雑さの大部分を軽減することができます。
アクセンチュアのトゥン氏は、業界が真に繁栄するためにはさらなる投資が必要だと言います。HPCaaSは大きな影響力を持つ新機能を生み出しましたが、データサイエンティストやエンタープライズアーキテクト、ソフトウェア開発者が簡単に使えるようにすることが課題です。これには、使いやすいAPI、ドキュメント、サンプルコードが含まれます。質問に答えるユーザーサポートも含まれます。APIを提供するだけでは不十分で、APIが特定の目的に適合している必要があります。データサイエンティストにとっては、PythonでAPIを提供し、すでに使っているフレームワークを簡単に変更できるようにすることかもしれません。これらのユーザーが新しい機能にアクセスできる限り、新しい効率とパフォーマンスで最終的に仕事をより良くすることを可能にすることで価値が生まれます」。 プロバイダーがこれを実現できれば、HPCサービスは本当にスーパーコンピューティングを大衆にもたらすことができます。
を経由して
