従来のITアーキテクチャでは対応できない、永久保存が必要な地上観測データ
国立気象情報センター（NMIC）の沈文海副主任技師はインタビューで、気象庁全体が保管しているデータは現在4～5ペタバイト（PB）の範囲にあり、毎年およそ数百テラバイトずつ増加していると述べました。「これらのデータには、地上観測、人工衛星、レーダー、データ予報プロダクトなど、いくつかの主要な観測カテゴリーが含まれています」。
沈文海、国家気象情報センター副主任技師
その中でも、地上気象台の観測データは、通常の気象予報業務だけでなく、気候予測、気象農業、環境気象学、交通気象学、科学研究などの分野で必要とされ、永久保存が求められ、利用率も非常に高いものです。
「また、気象衛星やドップラー気象レーダーに代表されるリモートセンシングやテレメトリの分野では、従来の地上観測に加え、過去30年間に急速に発展してきたため、毎日テラバイト単位の観測データが生成される一方で、そのリモートセンシングデータを修正するための基礎データとして、地上観測やその他の実測データが必要とされています。"
沈文海が記者団に語ったところによると、ここでいう地上・高度の観測・検出データは構造化データであり、気象衛星や気象レーダーのデータは非構造化データ。これらのデータは主に、いわゆる "気象ビッグデータ "を構成する "気象ビッグデータ "と業界は現在、ビッグデータの特性として "4V "として認識されているものの、データの膨大な量と速度の急速な拡大の間にいくつかの違いがある10年前には完全に不可能です。気象ビッグデータ」と業界が「4V」として認識しているビッグデータには多少の違いはあるものの、膨大なデータ量と急速なデータの拡大は10年前には全く想像もできないものです。
また、観測頻度についても、1950年代から1990年代までは3時間に1回でしたが、ここ10年ほどの運用仕様の継続的な見直しにより、数年前には10分に1回、現在は5分に1回と徐々に見直されています。"しかし、これはまだ十分ではありません、気象の近代化の発展の要求に従って、近い将来、地表観測の頻度は1分に達するでしょう。"沈文海氏によると、観測地点の増加と観測頻度の増加により、地表面観測データは典型的な「気象ビッグデータ」になるとのこと。
地上観測データの構造化されたデータ利用特性は、最初の情報収集・送信から情報処理・保管・管理、さらには最終的なサービス提供など、気象ITビジネスにとって深刻な課題となっています。例えば、データ検索では、従来の技術アーキテクチャでは、多数のデータ情報検索時間のニーズに対応することが困難でした。
ビッグデータとクラウドコンピューティングがもたらす新しい考え方シェンWenhaiはインタビューで、気象部門は完全にビッグデータの波を満たすために準備されていませんが、ビッグデータとクラウドコンピューティングは、新しいコンセプトと技術アーキテクチャをもたらしますが、IT構築のこの分野に新しい考え方と方向を与えるだろう、と述べました。
郡の気象業務が改革に直面
瀋文海は記者団に、県気象局の草の根気象ユニットとして長年の蓄積は、多かれ少なかれ、いくつかのコンピュータ機器を蓄積しており、これらのデバイスは、互いに関連していない、能力が不均一です。その歴史的なルーツは、県気象局はここ数十年、地域社会と政府の気象サービスのニーズに応じて、様々な建設プロジェクトに依存し、常に開発し、ビジネスシステムのローカルサービスのニーズに適応するために構築し、独自の気象サービスの能力を高めるため。
また、気象業務システムは一般的に情報システムであるため、これらの業務システムの構築は、ほぼ必ず情報システムの構築となります。「これらの業務システムは、それぞれ異なる時期に構築され、機能も異なります。伝統的な慣行では、1つのシステムに対して1つの機器を構成します。
さらに、運用システムの運用をサポートするために、関連する大量の観測・検知データ、予報プロダクトなどが必要となるため、運用システムのデータサポートを提供するために、一定規模のデータ受信・管理・サービスシステム一式も、県気象局の多くの運用システムに装備されています。「県気象局の業務が複雑で人的資源が乏しいため、これらの業務システムの日々のメンテナンスは、多くの県気象局にとって次第に大きな負担となっています。と沈文海氏。
このため、気象庁では、気象業務の基盤である都道府県気象台の業務能力を総合的に向上させ、地域社会や行政に貢献することを目的として、平成23年度から「都道府県気象業務総合改革」に着手しています。この改革では、特に都道府県の業務情報システムの標準化、統合、改善、機能強化が行われています。改善された県レベルの統合運用システムの統合度は大幅に改善されますが、必要とされるデータの種類、量、適時性も大幅に増加するため、県レベルの運用システムの運用形態、特に県気象台により高スペックのコンピュータ室を設置するかどうかが議論の焦点の一つとなっています。
データセンター改革の2つの選択肢
この議論に関しては、当初はかなり白熱したものでした。沈文海氏によると、議論の焦点は主に気象局全体のデータセンターのレイアウトであり、プログラムのレイアウトは県レベルの運用システムの運用モード、すなわちによって決定されたとのこと：
選択肢1：当初の考えを引き継ぎ、すべての業務システムはローカルで稼動するため、サーバーシステム、データベースシステム、ネットワークシステム、通信システムなどはローカルで構成する必要があります。これらの設備は環境条件に対して一定の規範的な要求があるため、設備の正常稼動に必要な環境条件を満たすことができる対応する敷地環境をローカルで構築する必要があります。いわゆる「データセンター」、つまり「県気象局にデータセンターを構築する」ということです。データセンター"、すなわち "県気象局にデータセンターを建設"。
選択肢2：県レベルの運用システムの運用を省気象局に一元化するという当初の考え方を変更し、より高度な専門知識を有する省気象情報センターが運用・保守を担当。県気象局の運用担当者は、指示を出し、結果を得るのが仕事。つまり、「省気象局にデータセンターを構築し、県気象局で運用システムの終了を実現する」。
「2つ目のソリューションの利点は明らかです。
「しかし、明るい未来があることと、それを実現できることは別のことです。データ環境を例にとると、省内の百以上の県のデータ環境をすべて省気象局に集中させ、限られた数のデータベースから毎日数百万単位の構造化データと数十テラバイトの非構造化データを管理し、省内のすべての市と県局にビジネスサポートを提供することは、比較的伝統的な技術アーキテクチャでは現在不可能です。" とShen Wenhai氏は付け加えました。
クラウドコンピューティングとビッグデータの登場は、第2の選択肢の可能性を広げます。
沈文海（Shen Wenhai）氏によると、2つ目の選択肢の技術的な道筋を明確にするため、国家気象情報センターは2013年初めから、既存のITアーキテクチャを調整する検討を始めたとのこと。「主な検討事項は、分散ストレージと分散処理の技術、特に分散リレーショナルデータベース技術です。もちろん、仮想化やクラウドコンピューティングの技術も必要不可欠です」。シェン・ウェンハイは、テストの結果、いくつかの主要な指標は、第二のプログラムに必要な処理と検索のパフォーマンス要件を満たすことができたことを明らかにしました。
シェン・ウェンハイは、「2回目のプログラムにますます自信を深めています」と紹介。計画通り順調に進めば、2015年末には第2回プログラムが完了する予定です」。
会話の中で、沈文海は "気象ビッグデータ "という言葉の使用について非常に慎重で、彼は気象部門の "ビッグデータ "は主に "知覚 "の分野で生成され、いわゆる "気象ビッグデータ "は主に気象検出データを指すと説明しました。いわゆる "気象ビッグデータ "とは、主に気象観測データのこと。気象サウンディングデータは、気象の状態を反映できるデータであり、その固有情報の範囲は比較的決まっていました。
また、気象観測データはサイズが大きいものの、ほぼリアルタイムで処理することができ、本質的な情報を得ることができます。これらはすべて、現在業界で認識されている「ビッグデータ」の特徴とは全く異なります。ビッグデータ」の概念や手法をどのように気象観測データに適用し、より大きな利益を生み出すことができるのか、それが現在考え、模索されている主要な課題の一つです。
