サティア・ナデラはマイクロソフトの新参者***ですが、アマゾンやグーグルに対抗するための同社の重要な社内ツールでありプログラムである、オートパイロットと呼ばれる非常に複雑なソフトウェアシステムについてはすでに熟知しています。
Autopilotは、マイクロソフトが何百万台ものサーバーと何万ペタバイトもの膨大なデータを、膨大で強力なコンピュート・リソースとストレージ・リソースのプールに融合させるためのツールです。Autopilotがなければ、ナデラ氏のサーバーやツール、オンラインサービス、検索、広告、さらにはクラウドやエンタープライズ部門は混乱し、まったく信頼できないものになっていたでしょう。
オートパイロットの使用感について、Windows Azure事業のジェネラル・マネージャーであるマイク・ニールは、"数十億ドルの超高級車のキーを握っているようなものだ "とインタビューで答えています。
マイクロソフトがAutopilotについて公の場で語ることはほとんどなく、今のところ2つの公式文書でこのツールについて語られているのみです。2007年に発表された「Autopilot: Automating Data Centre Management（オートパイロット：データセンター管理の自動化）」と題された今はなき記事と、2013年に発表されたウェブページでは、Autopilot開発チームがこのシステムのたゆまぬ開発作業に対して「Distinguished Technical Achievement（卓越した技術的功績）」賞を受賞したことが説明されています。2013年に公開されたウェブページでは、オートパイロット開発チームがシステム開発におけるたゆまぬ努力により「優秀技術功績賞」を受賞した経緯が説明されています。
オートパイロットが謎に包まれたままである理由のひとつは、これまでマイクロソフトのマーケティング部門が、クラウド環境の実行に使用するコンポーネントはすべて一般ユーザーが直接購入できると主張してきたからです。
分散システムの専門家にとって、大規模なIT施設の特殊性とそれに関連する要件の複雑さに対処するのは容易ではないため、マイクロソフトの主張は常に納得のいくものではありませんでした。しかし、ついにその答えが出ました。マイクロソフトは、クラウド環境を実行するために多くの自社製商用ソフトウェアを社内で使用していますが、マイクロソフトのデータセンターで実行されているアプリケーションの「大部分」は、最終的にAutopilotをベースにしています。
「マイクロソフトは、「Autopilotソフトウェアは、ブート、OSのインストールから、障害の検出と修復、繰り返される起動とベンダー不良品の返品に至るまで、サーバーのライフサイクル全体を完全に自動化しました。Autopilot技術チームは、その静かな運用を通じて、マイクロソフトのインターネット・スケール・サービスの変革に多大な影響を与え、それを支援するプログラムを構築したため、成功裏に幕を閉じることができます。"
また、アプリケーションへのリソースの割り当て、ジョブの実行中のプロセス計画の設定、数百万のコンピューティングデバイスからの情報収集、最適化された可用性を1分以内に提供するのに役立ちます。Bing、Xbox Live、Windows Azureとして知られるデータ分析エンジンは、このエンジンの上に構築されています。
*** オートパイロットは、再設計されたマイクロソフトのデータセンター・ハードウェアと緊密に統合されており、従来のサプライヤーからハイエンド機器を購入することから、市販の安価なサーバーを独自に設計する方向へとシフトしています。このようなコンピューティング・デバイスの構築方法は、マイクロソフトが1月にフェイスブックのオープン・コンピュート・プロジェクトに参加した際に公開されました。
言い換えれば、マイクロソフトのサーバーが糸で操られた人形だとすれば、オートパイロットは舞台裏の見えざる手であり、人形劇の舞台を作る重要な役者なのです。
ニールはオートパイロットをボーイング747に例えます。このシステムは "パイロットの負担を軽減し、優秀なパイロットたちが他のもっと重要なことに集中できるように "設計されていると彼は説明します。
オートパイロットの重要なタスクの1つは、基盤となるインフラの設定を処理することです。
マイクロソフトが世界中にある「10～100」のデータセンターにキャパシティ・リソースを追加したい場合、通常、数万台のコンピュート・ノードを輸送用コンテナに詰め込みます。ITPAC」。ITPACがデータセンターの電力網に接続されると、Autopilotは新しいサーバーがすべて正しく設定されているか、関連するネットワークが正常に動作しているかをチェックし、残りのシステムとのインターフェイスをサポートします。
「Autopilot はホストのオペレーティングシステムイメージの展開と管理だけでなく、展開されたアプリケーションの管理も行います。SDN ソリューションは東西と南北両方のトラフィックを管理し、トポロジーは十分なネットワーク帯域幅とパスの冗長性を提供します。
これらのサーバーがすでにマイクロソフトの「100万台以上」の世界的ネットワークに含まれていたとしても、オートパイロットはその管理に貢献することができます。
サーバーに障害が発生した場合、Autopilotの「自己修復」機能により、クラスタ規模の大規模な故障を防ぐことができると同氏は述べ、「機器の障害は常に発生するものであり、それを解決するのは容易ではありません。オートパイロットは、このような問題を解決するために改善措置を取ることができます。システムには多くの自動修復ルーチンがあるので、技術的なことではない小さなことを心配する必要はありません」。
Autopilotはまた、非常に洗練されたスケジューリング・コンポーネントを備えており、航空業界で例えるなら、マイクロソフトのグローバルなコンピューティング・デバイス・プールにある大小さまざまなワークロードに対して、航空管制官のような役割を果たします。
アクロバット、パペット、カルーセル・アクター、スーパーバイザー
スケジューリングとは、有料顧客向けのAzureワークロードなど、****層のアプリケーションに信頼性の高いパフォーマンス保証を提供すると同時に、システムがさまざまなタイプのアプリケーションを非の打ちどころのない精度で処理しなければならないことを意味します。優先順位の低いワークロードのリソース容量を "圧迫 "します。
"人々がオペレーティングシステムをコンピュータとして考えるなら、それはプリエンプティブなスケジューリング方式を選択することと同等です。つまり、環境内のタイムスライスと同様に複数のアプリケーションを同時に実行することです。"とニールは説明します。これは非常に古典的なパズルであり、****の答えを見つけることは簡単ではありませんし、ネットワークプロセッサに負担をかけることになります。"
ニールは、オートパイロットのスケジューリングメカニズムの詳細について詳しい情報を提供できませんでしたが、マイクロソフト・リサーチが最近発表した学術論文によると、同社は効率的なジョブスケジューリングを可能にするために、自動化された方法でワークロード圧縮プロセスをさらに強化することを計画しているようです。
このスケジューリング・コンポーネントの存在により、オートパイロットは人形を操るだけではなく、ターンテーブル役者としても機能します。
[]
コンテナ内のサーバーがマイクロソフトのデータセンターに到着したときに出会うソフトウェアは、オートパイロットです。
また、グーグルやツイッターで使われているシステムと同様、オートパイロットの複雑さは、実用的な管理システムというよりも、熟練しているがコミュニケーション能力のない同僚のようなものです。
「慣れるために学ばなければならないのは、このシステムの完全な制御を放棄し、正しい判断と操作をさせることに慣れるためには、このシステムを信頼しなければならないということです。「このようなシステムは非常に大きく、誰も完全に把握することはできません。そして、それこそが、すべてを詳細に処理するために設計されたシステムなのです」。
また、オートパイロットは大量のデータを収集するため、マイクロソフトが自社のインフラを分析し、問題を特定するのに役立ちます。
「プロセッサの負荷やメモリの負荷に関連するすべての情報を持っていると、所有する物理デバイスの容量に限界があるという一般的な状況を見落としがちです。メモリ不足を引き起こしている特定のアプリケーションがあるかもしれません。
このサービスには、CPU、メモリ、ネットワーク、ディスク使用量に関するさまざまな測定基準が含まれていますが、ニール氏は、「継続的なモニタリングによるエンドツーエンドのテスト結果が、より効果的であることが多いことを経験を通じて学びました。たとえば、検索クエリを発行し、有効な結果が得られることを確認し、結果の実際のリターンタイムを予想される範囲と比較することができます。このような作業要素をスーパーバイザーと呼びます。結果が異なれば、自動修正をトリガーしたり、もともとデプロイされていた以前のバージョンにロールバックすることができます。"
この観点から、オートパイロットはグーグルのシステムとはまったく異なる性格を持っています。対照的に、後者はCPI2と呼ばれる高度な技術を使用して、より詳細なメトリクスを収集し、それを使用して、Googleが単一のプロセッサ上で実行されている単一のタスクが遭遇するパフォーマンスの問題をピンポイントで特定し、選択的に対処するのに役立ちます。
数十億ドル規模のコンピューティングデバイスの管理効率を効果的に向上させたオートパイロットの力は、マイクロソフトに大きな利益をもたらしました。マイクロソフトがクラウドの第一人者であるナデラのもとで「デバイスとサービス」のビジネスへと変貌を遂げ、広大なデジタル世界に影響を与えるにつれて、オートパイロットの重要性は時間の経過とともに増していくでしょう。Autopilotによって、マイクロソフトは "この新しいクラウドの世界にとって十分なオペレーティング・システムを手に入れた "とニールは考えています。
ナデラも同じ期待を持っていると考えていいでしょう。
